آموزش تبدیل داده ها با Apache Pig

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

معرفی خوک Introducing Pig

• آنچه برای شروع به کار نیاز دارید What You Need to Get Started

• چرا به داده نیاز داریم؟ Why Do We Need Data?

• کندوی پردازش تحلیلی Hive for Analytical Processing

• چه موقع از خوک Apache استفاده می کنیم؟ When Do We Use Apache Pig?

• خوک برای استخراج ، تبدیل و بارگذاری عملیات Pig for Extract, Transform, and Load Operations

• معرفی خوک لاتین Introducing Pig Latin

• خوک در Hadoop و فن آوری های دیگر Pig on Hadoop and Other Technologies

با استفاده از GRUNT Shell Using the GRUNT Shell

• خوک را بر روی دستگاه محلی خود نصب و تنظیم کنید Install and Set up Pig on Your Local Machine

• حالت های خوک عملکرد Pig Modes of Operation

• دستورات اساسی و پیکربندی پیام های ورود به سیستم Basic Commands and Configuring Log Messages

• اجرای اسکریپت های خوک در حالت دسته ای Running Pig Scripts in Batch Mode

• پشت صحنه دستورات خوک Behind the Scenes of Pig Commands

بارگیری داده ها در روابط Loading Data into Relations

• ساختار متن خوک و مفهوم روابط The Structure of a Pig Script and the Concept of Relations

• بارگیری داده ها از پرونده ها و فهرست ها Loading Data from Files and Directories

• بارگیری داده ها با طرحواره Loading Data with Schema

• ذخیره روابط در دایرکتوری ها Storing Relations in Directories

• حساسیت موردی در خوک Case-sensitivity in Pig

• انواع داده های اسکالر Scalar Data Types

• انواع داده های پیچیده: Tuple Complex Data Types: The Tuple

• انواع داده های پیچیده: کیف Complex Data Types: The Bag

• انواع داده های پیچیده: نقشه Complex Data Types: The Map

• کار با مشخصات طرح جزئی Working with Partial Schema Specification

کار با تحولات اساسی داده ها Working with Basic Data Transformations

• Foreach-generate: تجسم Foreach-generate: Visualization

• Foreach-generate: فهرست ها و نام ستون ها Foreach-generate: Indexes and Column Names

• Foreach-generate: انواع داده های پیچیده Foreach-generate: Complex Data Types

• دسته های عملکردهای خوک Categories of Pig Functions

• توابع ریاضی ، رشته ای و تاریخ-زمان Math, String, and Date-time Functions

• عملیات فیلتر The Filter Operation

• متمایز ، محدود ، و بر اساس سفارش Distinct, Limit, and Order By

• عملیات تقسیم The Split Operation

کار با تحولات پیشرفته داده Working with Advanced Data Transformations

• بارگیری داده های برخورد NYC Download NYC Collision Data

• گروه را با عملیات تجسم کنید Visualize the Group by Operation

• گروه توسط عملیات The Group by Operation

• جمع آوری داده های گروه بندی شده Aggregations on Grouped Data

• به عملیات روابط بپیوندید Join Operations on Relations

• انواع پیوستن ها Types of Joins

• پیوندهای Left Outer ، Self و Cross را پیاده سازی کنید Implement the Left Outer, Self, and Cross Joins

• عملیات اتحادیه The Union Operation

• عملیات اتحادیه Onschema The Union Onschema Operation

• عملکرد تخت The Flatten Function

اجرای MapReduce با استفاده از خوک Executing MapReduce Using Pig

• عملیات Nested Foreach The Nested Foreach Operation

• تجزیه و تحلیل داده های برخورد NYC با استفاده از Nested Foreach Analyze NYC Collision Data Using the Nested Foreach

• مروری بر مدل برنامه نویسی MapReduce An Overview of the MapReduce Programming Model

• گردش داده از طریق یک عملیات MapReduce Dataflow Through a MapReduce Operation

• MapReduce عملیات در خوک لاتین MapReduce Operations in Pig Latin