آموزش Hadoop MAPREDUCE در عمق | دوره بیدرنگ در Mapreduce

سرفصل ها و درس ها

معرفی Introduction

• مقدمه ای بر Mapreduce Introduction to Mapreduce

• رویکرد سنتی در مقابل رویکرد هادوپ Traditional approach VS Hadoop approach

• جریان اصلی یک برنامه Mapreduce Basic Flow of a Mapreduce program

• جریان برنامه Mapreduce با مثال Mapreduce Program flow with Example

• انواع فرمت های ورودی فایل در Mapreduce Types of File Input formats in Mapreduce

ساختار پیش فرض کلاس های مختلف در Mapreduce Default structure of various classes in Mapreduce

• ساختار کلاس Mapper Mapper Class structure

• ساختار کلاس کاهنده Reducer Class structure

• ساختار کلاس راننده Driver Class structure

• ساختار کلاس پارتیشن Partitioner Class structure

• مخلوط کردن، مرتب سازی و پارتیشن بندی در جزئیات Shuffling, Sorting & Partitioning in Detail

• نصب Hadoop Hadoop Installation

برنامه شمارش کلمات در Mapreduce Word Count program in Mapreduce

• Writable ها در Hadoop چیست؟ What are Writables in Hadoop

• برنامه شمارش کلمات در Mapreduce Word Count program in Mapreduce

• برنامه شمارش کلمات کد اجرا می شود Word count program Code run

• Combiner در Hadoop Mapreduce چیست؟ What is Combiner in Hadoop Mapreduce

• پیاده سازی Combiner در برنامه WordCount Mapreduce Implementing Combiner in WordCount Mapreduce program

برنامه های Mapreduce - مثال ها Mapreduce programs - Examples

• مجموع اعداد زوج را محاسبه کنید Calculate Sum of Even Odd numbers

• محاسبه میزان موفقیت تبلیغات فیس بوک Calculate success rate of Facebook ads

• Writables - نوع داده خودمان را در Mapreduce ایجاد کنیم Writables - Create our own datatype in Mapreduce

• مشتریان کلاهبردار یک وب سایت تجارت الکترونیک - قسمت 1 Fraud customers of an Ecommerce website - part 1

• مشتریان کلاهبرداری از یک وب سایت تجارت الکترونیک - قسمت 2 Fraud customers of an Ecommerce website - part 2

• تکلیف 1 Assignment 1

پیاده سازی کش توزیع شده Distributed Cache Implementation

• Distributed Cache چیست و در فریم ورک Mapreduce کاربرد دارد What is Distributed Cache and it's uses in Mapreduce framework

• با استفاده از حافظه پنهان توزیع شده میانگین حقوق را محاسبه کنید Using Distributed cache calculate average salary

برخورد با کلاس تقسیم ورودی Dealing with Input Split Class

• تقسیمات ورودی در Hadoop چیست؟ What are Input splits in Hadoop

• کلاس تقسیم ورودی در Mapreduce Input split Class in Mapreduce

کلاس ورودی و خروجی چندگانه Multiple Inputs & Output class

• کلاس چند ورودی و پیاده سازی آن Multiple Inputs class and its Implementation

• کلاس خروجی چندگانه و پیاده سازی آن Multiple Output class and its Implementation

• آزمون 1 Quiz 1

به Mapreduce می پیوندد Joins in Mapreduce

• جریان کد مفهومی Joins در Mapreduce Conceptual code flow of Joins in Mapreduce

• 2 فایل را در یک برنامه Mapreduce بپیوندید Join 2 files in a Mapreduce program

• اجرای Outer Join در Mapreduce Performing Outer Join in Mapreduce

• Map Join چیست و کجا استفاده می شود What is Map Join and Where it is Used

• پیاده سازی Map Join در برنامه Mapreduce Implementing Map Join in a Mapreduce program

شمارنده در Mapreduce Counters in Mapreduce

• شمارنده ها در هادوپ چیست؟ What are Counters in Hadoop

• پیشخوان های شغلی Job Counters

• شمارنده های سفارشی خود را در برنامه Mapreduce ایجاد کنید Create our own Custom Counters in Mapreduce program

• تکلیف 2 Assignment 2

ایجاد قالب ورودی سفارشی Creating Custom Input Formatter

• فرمت ورودی فایل ساختار پیش فرض کلاس در Mapreduce File Input format Class's default structure in Mapreduce

• بیانیه نیاز و مشکل Formatter ورودی سفارشی Custom Input Formatter Need & Problem statement

• ایجاد کلاس فرمت ورودی سفارشی برای خواندن فایل XML | قسمت 1 Create custom Input Format class to read XML file | Part 1

• ایجاد کلاس فرمت ورودی سفارشی برای خواندن فایل XML | قسمت 2 Create custom Input Format class to read XML file | Part 2

• ایجاد کلاس فرمت ورودی سفارشی برای خواندن فایل XML | قسمت 3 Create custom Input Format class to read XML file | Part 3

• آزمون 2 Quiz 2

انواع مختلف فایل ها در Hadoop Different Types of Files in Hadoop

• متن، دنباله، فایل های Avro Text, Sequence, Avro Files

• فایل های RC، ORC، پارکت RC, ORC, Parquet Files

• نتایج تست عملکرد فایل های مختلف Performance Test results of Various Files

• کدام فرمت فایل را انتخاب کنید Which File Format to choose

• پیاده سازی فایل Sequence در MapReduce Sequence File Implementation in MapReduce

زنجیر زدن در Mapreduce Chaining in Mapreduce

• نقشه‌بردار زنجیره‌ای و پیاده‌سازی آن Chain Mapper and its Implementation

• چگونه چندین برنامه MR را زنجیره ای کنیم How to Chain Multiple MR Programs

مطالعه موردی 1 - شناسایی مشتریان وفادار بانک Case study 1 - Bank Loyal Customers Identification

• شناسایی مشتریان وفادار بانک Identifying Bank's Loyal Customers

مطالعه موردی 2 - پیش بینی مشتریان Churn Case study 2 - Predicting Churn customers

• پیش بینی مشتریان Churn | قسمت 1 Predicting Churn customers | Part 1

• پیش بینی مشتریان Churn | قسمت 2 Predicting Churn customers | Part 2

مطالعه موردی 3 - تجزیه و تحلیل داده های پرواز Case study 3 - Flight data Analysis

• تجزیه و تحلیل داده های پرواز | قسمت 1 Flight data Analysis | Part 1

• تجزیه و تحلیل داده های پرواز | قسمت 2 Flight data Analysis | Part 2

جایزه BONUS

• جایزه Bonus