آموزش با مثال بیاموزید: Hadoop، MapReduce برای مشکلات کلان داده

سرفصل ها و درس ها

معرفی Introduction

معرفی Introduction

• شما، این دوره و ما You, this course and Us

• شما، این دوره و ما You, this course and Us

چرا داده های بزرگ یک معامله بزرگ است؟ Why is Big Data a Big Deal

• سریال در مقابل محاسبات توزیع شده Serial vs Distributed Computing

• YARN یا یک مذاکره کننده منبع دیگر YARN or Yet Another Resource Negotiator

چرا داده های بزرگ یک معامله بزرگ است؟ Why is Big Data a Big Deal

• پارادایم کلان داده The Big Data Paradigm

• پارادایم کلان داده The Big Data Paradigm

• سریال در مقابل محاسبات توزیع شده Serial vs Distributed Computing

• هادوپ چیست؟ What is Hadoop?

• هادوپ چیست؟ What is Hadoop?

• HDFS یا سیستم فایل توزیع شده Hadoop HDFS or the Hadoop Distributed File System

• HDFS یا سیستم فایل توزیع شده Hadoop HDFS or the Hadoop Distributed File System

• MapReduce معرفی شد MapReduce Introduced

• MapReduce معرفی شد MapReduce Introduced

• YARN یا یک مذاکره کننده منبع دیگر YARN or Yet Another Resource Negotiator

نصب Hadoop در یک محیط محلی Installing Hadoop in a Local Environment

• نصب حالت مستقل Hadoop Hadoop Standalone mode Install

• نصب حالت شبه توزیع شده Hadoop Hadoop Pseudo-Distributed mode Install

نصب Hadoop در یک محیط محلی Installing Hadoop in a Local Environment

• حالت های نصب Hadoop Hadoop Install Modes

• حالت های نصب Hadoop Hadoop Install Modes

• نصب حالت مستقل Hadoop Hadoop Standalone mode Install

• نصب حالت شبه توزیع شده Hadoop Hadoop Pseudo-Distributed mode Install

MapReduce "Hello World" The MapReduce "Hello World"

• فلسفه اساسی MapReduce The basic philosophy underlying MapReduce

• "Hello World" در MapReduce "Hello World" in MapReduce

• کاهنده The Reducer

MapReduce "Hello World" The MapReduce "Hello World"

• فلسفه اساسی MapReduce The basic philosophy underlying MapReduce

• MapReduce - تجسم و توضیح داده شده است MapReduce - Visualized And Explained

• MapReduce - تجسم و توضیح داده شده است MapReduce - Visualized And Explained

• MapReduce - در هر مرحله کمی عمیق تر حفاری کنید MapReduce - Digging a little deeper at every step

• MapReduce - در هر مرحله کمی عمیق تر حفاری کنید MapReduce - Digging a little deeper at every step

• "Hello World" در MapReduce "Hello World" in MapReduce

• نقشه بردار The Mapper

• نقشه بردار The Mapper

• کاهنده The Reducer

• کار The Job

• کار The Job

یک کار MapReduce را اجرا کنید Run a MapReduce Job

• با HDFS راحت باشید Get comfortable with HDFS

یک کار MapReduce را اجرا کنید Run a MapReduce Job

• با HDFS راحت باشید Get comfortable with HDFS

• اولین MapReduce Job خود را اجرا کنید Run your first MapReduce Job

• اولین MapReduce Job خود را اجرا کنید Run your first MapReduce Job

آبگیری MapReduce - Combiners، Shuffle and Sort و Streaming API Juicing your MapReduce - Combiners, Shuffle and Sort and The Streaming API

• فاز کاهش را موازی کنید - از Combiner استفاده کنید Parallelize the reduce phase - use the Combiner

• همه Reducer ها Combiner نیستند Not all Reducers are Combiners

• MapReduce به زبان جاوا محدود نمی شود - معرفی Streaming API MapReduce is not limited to the Java language - Introducing the Streaming API

آبگیری MapReduce - Combiners، Shuffle and Sort و Streaming API Juicing your MapReduce - Combiners, Shuffle and Sort and The Streaming API

• فاز کاهش را موازی کنید - از Combiner استفاده کنید Parallelize the reduce phase - use the Combiner

• همه Reducer ها Combiner نیستند Not all Reducers are Combiners

• MapReduce شما چند نقشه کش و کاهش دهنده دارد؟ How many mappers and reducers does your MapReduce have?

• MapReduce شما چند نقشه کش و کاهش دهنده دارد؟ How many mappers and reducers does your MapReduce have?

• کاهش موازی با استفاده از Shuffle And Sort Parallelizing reduce using Shuffle And Sort

• کاهش موازی با استفاده از Shuffle And Sort Parallelizing reduce using Shuffle And Sort

• MapReduce به زبان جاوا محدود نمی شود - معرفی Streaming API MapReduce is not limited to the Java language - Introducing the Streaming API

• پایتون برای MapReduce Python for MapReduce

• پایتون برای MapReduce Python for MapReduce

HDFS و نخ HDFS and Yarn

• HDFS - محافظت در برابر از دست دادن داده ها با استفاده از تکرار HDFS - Protecting against data loss using replication

• HDFS - نقطه بازرسی برای پشتیبان گیری از اطلاعات گره نام HDFS - Checkpointing to backup name node information

• نخ - خط‌مشی‌های زمان‌بندی را وصل کنید Yarn - Plug in scheduling policies

• نخ - زمانبندی را پیکربندی کنید Yarn - Configure the scheduler

HDFS و نخ HDFS and Yarn

• HDFS - محافظت در برابر از دست دادن داده ها با استفاده از تکرار HDFS - Protecting against data loss using replication

• HDFS - نام گره ها و دلیل مهم بودن آنها HDFS - Name nodes and why they're critical

• HDFS - نام گره ها و دلیل مهم بودن آنها HDFS - Name nodes and why they're critical

• HDFS - نقطه بازرسی برای پشتیبان گیری از اطلاعات گره نام HDFS - Checkpointing to backup name node information

• نخ - اجزای اصلی Yarn - Basic components

• نخ - اجزای اصلی Yarn - Basic components

• Yarn - ارائه کار به Yarn Yarn - Submitting a job to Yarn

• Yarn - ارائه کار به Yarn Yarn - Submitting a job to Yarn

• نخ - خط‌مشی‌های زمان‌بندی را وصل کنید Yarn - Plug in scheduling policies

• نخ - زمانبندی را پیکربندی کنید Yarn - Configure the scheduler

MapReduce Customizations برای کنترل دانه بندی ظریف تر MapReduce Customizations For Finer Grained Control

• تنظیم MapReduce خود برای پذیرش آرگومان های خط فرمان Setting up your MapReduce to accept command line arguments

MapReduce Customizations برای کنترل دانه بندی ظریف تر MapReduce Customizations For Finer Grained Control

• تنظیم MapReduce خود برای پذیرش آرگومان های خط فرمان Setting up your MapReduce to accept command line arguments

• ابزار، ToolRunner و GenericOptionsParser The Tool, ToolRunner and GenericOptionsParser

• ابزار، ToolRunner و GenericOptionsParser The Tool, ToolRunner and GenericOptionsParser

• پیکربندی ویژگی های شی Job Configuring properties of the Job object

• پیکربندی ویژگی های شی Job Configuring properties of the Job object

• سفارشی کردن پارتیشن‌کننده، مرتب‌سازی مقایسه‌کننده و مقایسه‌گر گروهی Customizing the Partitioner, Sort Comparator, and Group Comparator

• سفارشی کردن پارتیشن‌کننده، مرتب‌سازی مقایسه‌کننده و مقایسه‌گر گروهی Customizing the Partitioner, Sort Comparator, and Group Comparator

شاخص معکوس، انواع داده های سفارشی برای کلیدها، شمارش بیگرام و تست های واحد! The Inverted Index, Custom Data Types for Keys, Bigram Counts and Unit Tests!

• ایجاد شاخص معکوس با استفاده از MapReduce Generating the inverted index using MapReduce

• انواع داده های سفارشی برای کلیدها - رابط قابل نوشتن Custom data types for keys - The Writable Interface

• MapReduce برای شمارش Bigrams در متن ورودی MapReduce to count the Bigrams in input text

شاخص معکوس، انواع داده های سفارشی برای کلیدها، شمارش بیگرام و تست های واحد! The Inverted Index, Custom Data Types for Keys, Bigram Counts and Unit Tests!

• قلب موتورهای جستجو - شاخص معکوس The heart of search engines - The Inverted Index

• قلب موتورهای جستجو - شاخص معکوس The heart of search engines - The Inverted Index

• ایجاد شاخص معکوس با استفاده از MapReduce Generating the inverted index using MapReduce

• انواع داده های سفارشی برای کلیدها - رابط قابل نوشتن Custom data types for keys - The Writable Interface

• یک Bigram را با استفاده از WritableComparable نمایش دهید Represent a Bigram using a WritableComparable

• یک Bigram را با استفاده از WritableComparable نمایش دهید Represent a Bigram using a WritableComparable

• MapReduce برای شمارش Bigrams در متن ورودی MapReduce to count the Bigrams in input text

• راه اندازی پروژه Hadoop خود Setting up your Hadoop project

• راه اندازی پروژه Hadoop خود Setting up your Hadoop project

• کار MapReduce خود را با استفاده از MRUnit آزمایش کنید Test your MapReduce job using MRUnit

• کار MapReduce خود را با استفاده از MRUnit آزمایش کنید Test your MapReduce job using MRUnit

فرمت های ورودی و خروجی و پارتیشن بندی سفارشی Input and Output Formats and Customized Partitioning

• فرمت های فایل متنی و ترتیبی Text And Sequence File Formats

• مرتب سازی ثانویه Secondary Sort

فرمت های ورودی و خروجی و پارتیشن بندی سفارشی Input and Output Formats and Customized Partitioning

• معرفی فرمت ورودی فایل Introducing the File Input Format

• معرفی فرمت ورودی فایل Introducing the File Input Format

• فرمت های فایل متنی و ترتیبی Text And Sequence File Formats

• پارتیشن بندی داده ها با استفاده از یک پارتیشن سفارشی Data partitioning using a custom partitioner

• پارتیشن بندی داده ها با استفاده از یک پارتیشن سفارشی Data partitioning using a custom partitioner

• پارتیشن‌کننده سفارشی را در کد واقعی کنید Make the custom partitioner real in code

• پارتیشن‌کننده سفارشی را در کد واقعی کنید Make the custom partitioner real in code

• پارتیشن بندی کل سفارش Total Order Partitioning

• پارتیشن بندی کل سفارش Total Order Partitioning

• نمونه گیری ورودی، توزیع، پارتیشن بندی و پیکربندی اینها Input Sampling, Distribution, Partitioning and configuring these

• نمونه گیری ورودی، توزیع، پارتیشن بندی و پیکربندی اینها Input Sampling, Distribution, Partitioning and configuring these

• مرتب سازی ثانویه Secondary Sort

سیستم های توصیه با استفاده از فیلتر مشارکتی Recommendation Systems using Collaborative Filtering

• توصیه های دوستان با استفاده از مشاغل زنجیره ای MR Friend recommendations using chained MR jobs

• برای هر جفت کاربر دوستان مشترک پیدا کنید - اولین MapReduce Get common friends for every pair of users - the first MapReduce

سیستم های توصیه با استفاده از فیلتر مشارکتی Recommendation Systems using Collaborative Filtering

• مقدمه ای بر فیلتر مشارکتی Introduction to Collaborative Filtering

• مقدمه ای بر فیلتر مشارکتی Introduction to Collaborative Filtering

• توصیه های دوستان با استفاده از مشاغل زنجیره ای MR Friend recommendations using chained MR jobs

• برای هر جفت کاربر دوستان مشترک پیدا کنید - اولین MapReduce Get common friends for every pair of users - the first MapReduce

• 10 توصیه دوست برتر برای هر کاربر - MapReduce دوم Top 10 friend recommendation for every user - the second MapReduce

• 10 توصیه دوست برتر برای هر کاربر - MapReduce دوم Top 10 friend recommendation for every user - the second MapReduce

Hadoop به عنوان یک پایگاه داده Hadoop as a Database

• داده های ساخت یافته در Hadoop Structured data in Hadoop

• اجرای SQL Select با MapReduce Running an SQL Select with MapReduce

• اجرای یک گروه SQL توسط MapReduce Running an SQL Group By with MapReduce

• پیوستن به MapReduce - سمت نقشه A MapReduce Join - The Map Side

• یک MapReduce Join - The Reduce Side A MapReduce Join - The Reduce Side

• پیوستن به MapReduce - مرتب سازی و پارتیشن بندی A MapReduce Join - Sorting and Partitioning

• یک MapReduce Join - قرار دادن همه آن در کنار هم A MapReduce Join - Putting it all together

Hadoop به عنوان یک پایگاه داده Hadoop as a Database

• داده های ساخت یافته در Hadoop Structured data in Hadoop

• اجرای SQL Select با MapReduce Running an SQL Select with MapReduce

• اجرای یک گروه SQL توسط MapReduce Running an SQL Group By with MapReduce

• پیوستن به MapReduce - سمت نقشه A MapReduce Join - The Map Side

• یک MapReduce Join - The Reduce Side A MapReduce Join - The Reduce Side

• پیوستن به MapReduce - مرتب سازی و پارتیشن بندی A MapReduce Join - Sorting and Partitioning

• یک MapReduce Join - قرار دادن همه آن در کنار هم A MapReduce Join - Putting it all together

K-Means Clustering K-Means Clustering

• K-Means Clustering چیست؟ What is K-Means Clustering?

• K-Means Clustering - اندازه گیری فاصله بین نقاط K-Means Clustering - Measuring the distance between points

K-Means Clustering K-Means Clustering

• K-Means Clustering چیست؟ What is K-Means Clustering?

• یک کار MapReduce برای K-Means Clustering A MapReduce job for K-Means Clustering

• یک کار MapReduce برای K-Means Clustering A MapReduce job for K-Means Clustering

• K-Means Clustering - اندازه گیری فاصله بین نقاط K-Means Clustering - Measuring the distance between points

• K-Means Clustering - Writable های سفارشی برای ورودی/خروجی K-Means Clustering - Custom Writables for Input/Output

• K-Means Clustering - Writable های سفارشی برای ورودی/خروجی K-Means Clustering - Custom Writables for Input/Output

• K-Means Clustering - پیکربندی کار K-Means Clustering - Configuring the Job

• K-Means Clustering - پیکربندی کار K-Means Clustering - Configuring the Job

• K-Means Clustering - The Mapper and Reducer K-Means Clustering - The Mapper and Reducer

• K-Means Clustering - The Mapper and Reducer K-Means Clustering - The Mapper and Reducer

• K-Means Clustering: The Iterative MapReduce Job K-Means Clustering : The Iterative MapReduce Job

• K-Means Clustering: The Iterative MapReduce Job K-Means Clustering : The Iterative MapReduce Job

راه اندازی Hadoop Cluster Setting up a Hadoop Cluster

راه اندازی Hadoop Cluster Setting up a Hadoop Cluster

• پیکربندی دستی خوشه Hadoop (VMهای لینوکس) Manually configuring a Hadoop cluster (Linux VMs)

• پیکربندی دستی خوشه Hadoop (VMهای لینوکس) Manually configuring a Hadoop cluster (Linux VMs)

• شروع کار با خدمات وب آمازون Getting started with Amazon Web Servicies

• شروع کار با خدمات وب آمازون Getting started with Amazon Web Servicies

• یک Hadoop Cluster را با Cloudera Manager در AWS راه اندازی کنید Start a Hadoop Cluster with Cloudera Manager on AWS

• یک Hadoop Cluster را با Cloudera Manager در AWS راه اندازی کنید Start a Hadoop Cluster with Cloudera Manager on AWS

ضمیمه Appendix

ضمیمه Appendix

• راه اندازی یک نمونه لینوکس مجازی (برای کاربران ویندوز) Setup a Virtual Linux Instance (For Windows users)

• راه اندازی یک نمونه لینوکس مجازی (برای کاربران ویندوز) Setup a Virtual Linux Instance (For Windows users)

• [برای مبتدیان شل سیستم عامل لینوکس/مک] مسیر و سایر متغیرهای محیطی [For Linux/Mac OS Shell Newbies] Path and other Environment Variables

• [برای مبتدیان شل سیستم عامل لینوکس/مک] مسیر و سایر متغیرهای محیطی [For Linux/Mac OS Shell Newbies] Path and other Environment Variables