آموزش با مثال بیاموزید: Hadoop، MapReduce برای مشکلات کلان داده

سرفصل ها و درس ها

معرفی Introduction

• شما، این دوره و ما You, this course and Us

• شما، این دوره و ما You, this course and Us

معرفی Introduction

چرا داده های بزرگ یک معامله بزرگ است؟ Why is Big Data a Big Deal

• پارادایم کلان داده The Big Data Paradigm

• پارادایم کلان داده The Big Data Paradigm

• سریال در مقابل محاسبات توزیع شده Serial vs Distributed Computing

• هادوپ چیست؟ What is Hadoop?

• هادوپ چیست؟ What is Hadoop?

• HDFS یا سیستم فایل توزیع شده Hadoop HDFS or the Hadoop Distributed File System

• HDFS یا سیستم فایل توزیع شده Hadoop HDFS or the Hadoop Distributed File System

• MapReduce معرفی شد MapReduce Introduced

• MapReduce معرفی شد MapReduce Introduced

• YARN یا یک مذاکره کننده منبع دیگر YARN or Yet Another Resource Negotiator

چرا داده های بزرگ یک معامله بزرگ است؟ Why is Big Data a Big Deal

• سریال در مقابل محاسبات توزیع شده Serial vs Distributed Computing

• YARN یا یک مذاکره کننده منبع دیگر YARN or Yet Another Resource Negotiator

نصب Hadoop در یک محیط محلی Installing Hadoop in a Local Environment

• حالت های نصب Hadoop Hadoop Install Modes

• حالت های نصب Hadoop Hadoop Install Modes

• نصب حالت مستقل Hadoop Hadoop Standalone mode Install

• نصب حالت شبه توزیع شده Hadoop Hadoop Pseudo-Distributed mode Install

نصب Hadoop در یک محیط محلی Installing Hadoop in a Local Environment

• نصب حالت مستقل Hadoop Hadoop Standalone mode Install

• نصب حالت شبه توزیع شده Hadoop Hadoop Pseudo-Distributed mode Install

MapReduce "Hello World" The MapReduce "Hello World"

• فلسفه اساسی MapReduce The basic philosophy underlying MapReduce

• MapReduce - تجسم و توضیح داده شده است MapReduce - Visualized And Explained

• MapReduce - تجسم و توضیح داده شده است MapReduce - Visualized And Explained

• MapReduce - در هر مرحله کمی عمیق تر حفاری کنید MapReduce - Digging a little deeper at every step

• MapReduce - در هر مرحله کمی عمیق تر حفاری کنید MapReduce - Digging a little deeper at every step

• "Hello World" در MapReduce "Hello World" in MapReduce

• نقشه بردار The Mapper

• نقشه بردار The Mapper

• کاهنده The Reducer

• کار The Job

• کار The Job

MapReduce "Hello World" The MapReduce "Hello World"

• فلسفه اساسی MapReduce The basic philosophy underlying MapReduce

• "Hello World" در MapReduce "Hello World" in MapReduce

• کاهنده The Reducer

یک کار MapReduce را اجرا کنید Run a MapReduce Job

• با HDFS راحت باشید Get comfortable with HDFS

• اولین MapReduce Job خود را اجرا کنید Run your first MapReduce Job

• اولین MapReduce Job خود را اجرا کنید Run your first MapReduce Job

یک کار MapReduce را اجرا کنید Run a MapReduce Job

• با HDFS راحت باشید Get comfortable with HDFS

آبگیری MapReduce - Combiners، Shuffle and Sort و Streaming API Juicing your MapReduce - Combiners, Shuffle and Sort and The Streaming API

• فاز کاهش را موازی کنید - از Combiner استفاده کنید Parallelize the reduce phase - use the Combiner

• همه Reducer ها Combiner نیستند Not all Reducers are Combiners

• MapReduce شما چند نقشه کش و کاهش دهنده دارد؟ How many mappers and reducers does your MapReduce have?

• MapReduce شما چند نقشه کش و کاهش دهنده دارد؟ How many mappers and reducers does your MapReduce have?

• کاهش موازی با استفاده از Shuffle And Sort Parallelizing reduce using Shuffle And Sort

• کاهش موازی با استفاده از Shuffle And Sort Parallelizing reduce using Shuffle And Sort

• MapReduce به زبان جاوا محدود نمی شود - معرفی Streaming API MapReduce is not limited to the Java language - Introducing the Streaming API

• پایتون برای MapReduce Python for MapReduce

• پایتون برای MapReduce Python for MapReduce

آبگیری MapReduce - Combiners، Shuffle and Sort و Streaming API Juicing your MapReduce - Combiners, Shuffle and Sort and The Streaming API

• فاز کاهش را موازی کنید - از Combiner استفاده کنید Parallelize the reduce phase - use the Combiner

• همه Reducer ها Combiner نیستند Not all Reducers are Combiners

• MapReduce به زبان جاوا محدود نمی شود - معرفی Streaming API MapReduce is not limited to the Java language - Introducing the Streaming API

HDFS و نخ HDFS and Yarn

• HDFS - محافظت در برابر از دست دادن داده ها با استفاده از تکرار HDFS - Protecting against data loss using replication

• HDFS - نام گره ها و دلیل مهم بودن آنها HDFS - Name nodes and why they're critical

• HDFS - نام گره ها و دلیل مهم بودن آنها HDFS - Name nodes and why they're critical

• HDFS - نقطه بازرسی برای پشتیبان گیری از اطلاعات گره نام HDFS - Checkpointing to backup name node information

• نخ - اجزای اصلی Yarn - Basic components

• نخ - اجزای اصلی Yarn - Basic components

• Yarn - ارائه کار به Yarn Yarn - Submitting a job to Yarn

• Yarn - ارائه کار به Yarn Yarn - Submitting a job to Yarn

• نخ - خط‌مشی‌های زمان‌بندی را وصل کنید Yarn - Plug in scheduling policies

• نخ - زمانبندی را پیکربندی کنید Yarn - Configure the scheduler

HDFS و نخ HDFS and Yarn

• HDFS - محافظت در برابر از دست دادن داده ها با استفاده از تکرار HDFS - Protecting against data loss using replication

• HDFS - نقطه بازرسی برای پشتیبان گیری از اطلاعات گره نام HDFS - Checkpointing to backup name node information

• نخ - خط‌مشی‌های زمان‌بندی را وصل کنید Yarn - Plug in scheduling policies

• نخ - زمانبندی را پیکربندی کنید Yarn - Configure the scheduler

MapReduce Customizations برای کنترل دانه بندی ظریف تر MapReduce Customizations For Finer Grained Control

• تنظیم MapReduce خود برای پذیرش آرگومان های خط فرمان Setting up your MapReduce to accept command line arguments

• ابزار، ToolRunner و GenericOptionsParser The Tool, ToolRunner and GenericOptionsParser

• ابزار، ToolRunner و GenericOptionsParser The Tool, ToolRunner and GenericOptionsParser

• پیکربندی ویژگی های شی Job Configuring properties of the Job object

• پیکربندی ویژگی های شی Job Configuring properties of the Job object

• سفارشی کردن پارتیشن‌کننده، مرتب‌سازی مقایسه‌کننده و مقایسه‌گر گروهی Customizing the Partitioner, Sort Comparator, and Group Comparator

• سفارشی کردن پارتیشن‌کننده، مرتب‌سازی مقایسه‌کننده و مقایسه‌گر گروهی Customizing the Partitioner, Sort Comparator, and Group Comparator

MapReduce Customizations برای کنترل دانه بندی ظریف تر MapReduce Customizations For Finer Grained Control

• تنظیم MapReduce خود برای پذیرش آرگومان های خط فرمان Setting up your MapReduce to accept command line arguments

شاخص معکوس، انواع داده های سفارشی برای کلیدها، شمارش بیگرام و تست های واحد! The Inverted Index, Custom Data Types for Keys, Bigram Counts and Unit Tests!

• قلب موتورهای جستجو - شاخص معکوس The heart of search engines - The Inverted Index

• قلب موتورهای جستجو - شاخص معکوس The heart of search engines - The Inverted Index

• ایجاد شاخص معکوس با استفاده از MapReduce Generating the inverted index using MapReduce

• انواع داده های سفارشی برای کلیدها - رابط قابل نوشتن Custom data types for keys - The Writable Interface

• یک Bigram را با استفاده از WritableComparable نمایش دهید Represent a Bigram using a WritableComparable

• یک Bigram را با استفاده از WritableComparable نمایش دهید Represent a Bigram using a WritableComparable

• MapReduce برای شمارش Bigrams در متن ورودی MapReduce to count the Bigrams in input text

• راه اندازی پروژه Hadoop خود Setting up your Hadoop project

• راه اندازی پروژه Hadoop خود Setting up your Hadoop project

• کار MapReduce خود را با استفاده از MRUnit آزمایش کنید Test your MapReduce job using MRUnit

• کار MapReduce خود را با استفاده از MRUnit آزمایش کنید Test your MapReduce job using MRUnit

شاخص معکوس، انواع داده های سفارشی برای کلیدها، شمارش بیگرام و تست های واحد! The Inverted Index, Custom Data Types for Keys, Bigram Counts and Unit Tests!

• ایجاد شاخص معکوس با استفاده از MapReduce Generating the inverted index using MapReduce

• انواع داده های سفارشی برای کلیدها - رابط قابل نوشتن Custom data types for keys - The Writable Interface

• MapReduce برای شمارش Bigrams در متن ورودی MapReduce to count the Bigrams in input text

فرمت های ورودی و خروجی و پارتیشن بندی سفارشی Input and Output Formats and Customized Partitioning

• معرفی فرمت ورودی فایل Introducing the File Input Format

• معرفی فرمت ورودی فایل Introducing the File Input Format

• فرمت های فایل متنی و ترتیبی Text And Sequence File Formats

• پارتیشن بندی داده ها با استفاده از یک پارتیشن سفارشی Data partitioning using a custom partitioner

• پارتیشن بندی داده ها با استفاده از یک پارتیشن سفارشی Data partitioning using a custom partitioner

• پارتیشن‌کننده سفارشی را در کد واقعی کنید Make the custom partitioner real in code

• پارتیشن‌کننده سفارشی را در کد واقعی کنید Make the custom partitioner real in code

• پارتیشن بندی کل سفارش Total Order Partitioning

• پارتیشن بندی کل سفارش Total Order Partitioning

• نمونه گیری ورودی، توزیع، پارتیشن بندی و پیکربندی اینها Input Sampling, Distribution, Partitioning and configuring these

• نمونه گیری ورودی، توزیع، پارتیشن بندی و پیکربندی اینها Input Sampling, Distribution, Partitioning and configuring these

• مرتب سازی ثانویه Secondary Sort

فرمت های ورودی و خروجی و پارتیشن بندی سفارشی Input and Output Formats and Customized Partitioning

• فرمت های فایل متنی و ترتیبی Text And Sequence File Formats

• مرتب سازی ثانویه Secondary Sort

سیستم های توصیه با استفاده از فیلتر مشارکتی Recommendation Systems using Collaborative Filtering

• مقدمه ای بر فیلتر مشارکتی Introduction to Collaborative Filtering

• مقدمه ای بر فیلتر مشارکتی Introduction to Collaborative Filtering

• توصیه های دوستان با استفاده از مشاغل زنجیره ای MR Friend recommendations using chained MR jobs

• برای هر جفت کاربر دوستان مشترک پیدا کنید - اولین MapReduce Get common friends for every pair of users - the first MapReduce

• 10 توصیه دوست برتر برای هر کاربر - MapReduce دوم Top 10 friend recommendation for every user - the second MapReduce

• 10 توصیه دوست برتر برای هر کاربر - MapReduce دوم Top 10 friend recommendation for every user - the second MapReduce

سیستم های توصیه با استفاده از فیلتر مشارکتی Recommendation Systems using Collaborative Filtering

• توصیه های دوستان با استفاده از مشاغل زنجیره ای MR Friend recommendations using chained MR jobs

• برای هر جفت کاربر دوستان مشترک پیدا کنید - اولین MapReduce Get common friends for every pair of users - the first MapReduce

Hadoop به عنوان یک پایگاه داده Hadoop as a Database

• داده های ساخت یافته در Hadoop Structured data in Hadoop

• اجرای SQL Select با MapReduce Running an SQL Select with MapReduce

• اجرای یک گروه SQL توسط MapReduce Running an SQL Group By with MapReduce

• پیوستن به MapReduce - سمت نقشه A MapReduce Join - The Map Side

• یک MapReduce Join - The Reduce Side A MapReduce Join - The Reduce Side

• پیوستن به MapReduce - مرتب سازی و پارتیشن بندی A MapReduce Join - Sorting and Partitioning

• یک MapReduce Join - قرار دادن همه آن در کنار هم A MapReduce Join - Putting it all together

Hadoop به عنوان یک پایگاه داده Hadoop as a Database

• داده های ساخت یافته در Hadoop Structured data in Hadoop

• اجرای SQL Select با MapReduce Running an SQL Select with MapReduce

• اجرای یک گروه SQL توسط MapReduce Running an SQL Group By with MapReduce

• پیوستن به MapReduce - سمت نقشه A MapReduce Join - The Map Side

• یک MapReduce Join - The Reduce Side A MapReduce Join - The Reduce Side

• پیوستن به MapReduce - مرتب سازی و پارتیشن بندی A MapReduce Join - Sorting and Partitioning

• یک MapReduce Join - قرار دادن همه آن در کنار هم A MapReduce Join - Putting it all together

K-Means Clustering K-Means Clustering

• K-Means Clustering چیست؟ What is K-Means Clustering?

• یک کار MapReduce برای K-Means Clustering A MapReduce job for K-Means Clustering

• یک کار MapReduce برای K-Means Clustering A MapReduce job for K-Means Clustering

• K-Means Clustering - اندازه گیری فاصله بین نقاط K-Means Clustering - Measuring the distance between points

• K-Means Clustering - Writable های سفارشی برای ورودی/خروجی K-Means Clustering - Custom Writables for Input/Output

• K-Means Clustering - Writable های سفارشی برای ورودی/خروجی K-Means Clustering - Custom Writables for Input/Output

• K-Means Clustering - پیکربندی کار K-Means Clustering - Configuring the Job

• K-Means Clustering - پیکربندی کار K-Means Clustering - Configuring the Job

• K-Means Clustering - The Mapper and Reducer K-Means Clustering - The Mapper and Reducer

• K-Means Clustering - The Mapper and Reducer K-Means Clustering - The Mapper and Reducer

• K-Means Clustering: The Iterative MapReduce Job K-Means Clustering : The Iterative MapReduce Job

• K-Means Clustering: The Iterative MapReduce Job K-Means Clustering : The Iterative MapReduce Job

K-Means Clustering K-Means Clustering

• K-Means Clustering چیست؟ What is K-Means Clustering?

• K-Means Clustering - اندازه گیری فاصله بین نقاط K-Means Clustering - Measuring the distance between points

راه اندازی Hadoop Cluster Setting up a Hadoop Cluster

• پیکربندی دستی خوشه Hadoop (VMهای لینوکس) Manually configuring a Hadoop cluster (Linux VMs)

• پیکربندی دستی خوشه Hadoop (VMهای لینوکس) Manually configuring a Hadoop cluster (Linux VMs)

• شروع کار با خدمات وب آمازون Getting started with Amazon Web Servicies

• شروع کار با خدمات وب آمازون Getting started with Amazon Web Servicies

• یک Hadoop Cluster را با Cloudera Manager در AWS راه اندازی کنید Start a Hadoop Cluster with Cloudera Manager on AWS

• یک Hadoop Cluster را با Cloudera Manager در AWS راه اندازی کنید Start a Hadoop Cluster with Cloudera Manager on AWS

راه اندازی Hadoop Cluster Setting up a Hadoop Cluster

ضمیمه Appendix

• راه اندازی یک نمونه لینوکس مجازی (برای کاربران ویندوز) Setup a Virtual Linux Instance (For Windows users)

• راه اندازی یک نمونه لینوکس مجازی (برای کاربران ویندوز) Setup a Virtual Linux Instance (For Windows users)

• [برای مبتدیان شل سیستم عامل لینوکس/مک] مسیر و سایر متغیرهای محیطی [For Linux/Mac OS Shell Newbies] Path and other Environment Variables

• [برای مبتدیان شل سیستم عامل لینوکس/مک] مسیر و سایر متغیرهای محیطی [For Linux/Mac OS Shell Newbies] Path and other Environment Variables

ضمیمه Appendix