لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش آپاچی پیگ (Apache Pig): تحلیل، تبدیل و بهینهسازی دادهها
- آخرین آپدیت
دانلود Apache Pig: Analyze, Transform & Optimize Data
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
با تکمیل این دوره، فراگیران قادر خواهند بود مفاهیم بنیادی Apache Pig را توضیح دهند، اسکریپتهای Pig Latin را برای پردازش دادههای حجیم (Big Data) به کار بگیرند، مجموعهدادهها را با استفاده از عملگرها و توابع تحلیل و تبدیل کنند و جریانهای کاری پیشرفته را با استفاده از UDFها و Piggy Bank طراحی نمایند.
این برنامه جامع، دانشجویان را به صورت ساختاریافته از مفاهیم مقدماتی به سطح پیشرفته میبرد. با شروع از پایههای Pig و نقش آن در اکوسیستم هادوپ (Hadoop)، کاربران حالتهای اجرا، انواع دادهها و دستورات ضروری برای مدیریت و نمایش دادهها را بررسی میکنند. سپس دوره به تسلط بر عملگرهای Pig از جمله GROUP، JOIN، UNION، SPLIT و FILTER میپردازد و استفاده از توابع داخلی برای آمادهسازی دادهها جهت تحلیل را نمایش میدهد. در نهایت، فراگیران تجربه عملی در زمینه اسکریپتنویسی Pig، عیبیابی (Debugging)، برنامههای اجرایی و گسترش قابلیتهای Pig با استفاده از توابع تعریفشده توسط کاربر (UDF) و کتابخانههای جامعه کاربری را کسب میکنند.
برخلاف کدنویسی سنتی MapReduce، ابزار Pig یک محیط اسکریپتنویسی ساده شده ارائه میدهد که زمان توسعه و پیچیدگی را کاهش میدهد. این دوره به دلیل ترکیب تمرینات عملی اسکریپتنویسی با سناریوهای واقعی تبدیل دادهها منحصربهفرد است و مهارتهای لازم برای پردازش بهینه مجموعهدادههای مقیاس بزرگ را به کاربران میآموزد. در پایان، فراگیران با اعتماد به نفس کامل از Apache Pig برای بهینهسازی جریانهای کاری ETL و ارتقای تحلیلهای بیگ دیتا استفاده خواهند کرد.
سرفصل ها و درس ها
مبانی آپاچی پیگ
Foundations of Apache Pig
آشنایی با پیگ
Introduction to Pig
ویژگیهای آپاچی پیگ
Features of Apache Pig
مقایسه پیگ و هایو (Pig vs Hive)
Pig Vs Hive
حالتهای Local و MR در آپاچی پیگ
Apache Pig Local and MR Modes
اجرای حالت محلی (Local Mode)
Launching Local Modes
انواع دادهها در پیگ
Data Types in Pig
دستورات پیگ: Store و Load
Pig Commands - Store and Load
دستور Load
Load Command
تسلط بر عملگرها و توابع پیگ
Mastering Pig Operators and Functions
دستورات پیگ: Group
Pig Commands - Group
عملگر CoGroup
CoGroup Operator
عملگرهای Join و Cross در پیگ
Join and Cross operators in Pig
ادامه عملگرهای Join و Cross در پیگ
Join and Cross operators in Pig Continues
عملگرهای Union و Split در پیگ
Union and Split Operators in Pig
توضیحات بیشتر درباره عملگرهای Split
More on Split Operators
دستورات Filter، Distinct و For each
Filter Distinct and For each
توابع پیگ
Pig Functions
ادامه توابع پیگ
Pig Functions Continues
اندازه دادههای ورودی
Input Data Size
برنامهنویسی پیشرفته در پیگ
Advanced Pig Programming
شروع کار با PIG
Getting Started with PIG
فرآیند نصب
Installation Process
زبان PIG Latin
PIG Latin
آپلود فایل در HDFS
Uploading the File in HDFS
اسکریپت PIG
PIG Script
مبانی PIG Latin
PIG Latin Basics
راه اندازی و اجرای پیگ
Up and Running with Pig
بارگذاری و ذخیرهسازی
Loading and Storage
ادامه بارگذاری و ذخیرهسازی
Loading and Storage Continue
نمایش نظرات