آموزش توسعه دهنده Hadoop در دنیای واقعی

سرفصل ها و درس ها

با تشکر از شما و بیایید شروع کنیم Thank You and Let's Get Started

• ساختار دوره Course Structure

• ابزارها و تنظیمات (ویندوز) Tools & Setup (Windows)

• ابزارها و تنظیمات (لینوکس) Tools & Setup (Linux)

مقدمه ای بر داده های بزرگ Introduction To Big Data

• کلان داده چیست؟ What is Big Data?

• درک مشکل کلان داده Understanding Big Data Problem

• تاریخچه هادوپ History of Hadoop

• درک خود را از کلان داده آزمایش کنید Test your understanding of Big Data

HDFS HDFS

• HDFS - چرا یک سیستم فایل دیگر؟ HDFS - Why Another Filesystem?

• بلوک ها Blocks

• کار با HDFS Working With HDFS

• HDFS - خواندن و نوشتن HDFS - Read & Write

• HDFS - خواندن و نوشتن (برنامه) HDFS - Read & Write (Program)

• درک خود را از HDFS آزمایش کنید Test your understanding of HDFS

• تکلیف HDFS HDFS Assignment

MapReduce MapReduce

• مقدمه ای بر MapReduce Introduction to MapReduce

• تشریح اجزای MapReduce Dissecting MapReduce Components

• تشریح برنامه MapReduce (قسمت 1) Dissecting MapReduce Program (Part 1)

• تشریح برنامه MapReduce (قسمت 2) Dissecting MapReduce Program (Part 2)

• ترکیب کننده Combiner

• شمارنده ها Counters

• فیس بوک - دوستان متقابل Facebook - Mutual Friends

• نیویورک تایمز - ماشین زمان New York Times - Time Machine

• درک خود را از MapReduce آزمایش کنید Test your understanding of MapReduce

• MapReduce Assignment MapReduce Assignment

خوک آپاچی Apache Pig

• مقدمه ای بر آپاچی پیگ Introduction to Apache Pig

• بارگیری و پروجکشن مجموعه داده ها Loading & Projecting Datasets

• حل یک مشکل Solving a Problem

• انواع پیچیده Complex Types

• خوک لاتین - می پیوندد Pig Latin - Joins

• مجموعه داده های میلیون آهنگ (قسمت 1) Million Song Dataset (Part 1)

• مجموعه داده میلیون آهنگ (قسمت 2) Million Song Dataset (Part 2)

• رتبه بندی صفحه (قسمت 1) Page Ranking (Part 1)

• رتبه بندی صفحه (قسمت 2) Page Ranking (Part 2)

• رتبه بندی صفحه (قسمت 3) Page Ranking (Part 3)

• درک خود را از خوک آپاچی آزمایش کنید Test your understanding of Apache Pig

• تکلیف خوک آپاچی Apache Pig Assignment

Apache Hive Apache Hive

• آشنایی با Apache Hive Introduction to Apache Hive

• جدا کردن یک جدول کندو Dissect a Hive Table

• در حال بارگیری جداول کندو Loading Hive Tables

• انتخاب های ساده Simple Selects

• جدول مدیریت شده در مقابل جدول خارجی Managed Table vs. External Table

• ترتیب بر اساس در مقابل مرتب سازی بر اساس در مقابل خوشه بر اساس Order By vs. Sort By vs. Cluster By

• پارتیشن ها Partitions

• سطل Buckets

• Hive QL - می پیوندد Hive QL - Joins

• توییتر (قسمت اول) Twitter (Part 1)

• توییتر (قسمت دوم) Twitter (Part 2)

• درک خود را از Apache Hive آزمایش کنید Test your understanding of Apache Hive

• Apache Hive Assignment Apache Hive Assignment

پنجره کندو و توابع تحلیلی Hive Window and Analytical Functions

• مقدمه ای بر پنجره کندو و توابع تحلیلی Introduction to Hive Window and Analytical functions

• کمپین های کپی کیک استارتر و کمپین های برتر Kickstarter campaign duplicates and top campaigns

• باندهای کمپین کیک استارتر و جلسات کاربر Kickstarter campaign bands and user sessions

معماری Architechture

• معماری HDFS HDFS Architechture

• نام ثانویه Secondary Namenode

• Hadoop بسیار در دسترس Highly Available Hadoop

• معماری MRv1 MRv1 Architechture

• نخ YARN

• درک خود را از Hadoop Architechture آزمایش کنید Test your understanding of Hadoop Architechture

راه اندازی خوشه Cluster Setup

• فروشندگان و میزبانی Vendors & Hosting

• راه اندازی کلاستر (قسمت 1) Cluster Setup (Part 1)

• راه اندازی کلاستر (قسمت 2) Cluster Setup (Part 2)

• راه اندازی کلاستر (قسمت 3) Cluster Setup (Part 3)

• آمازون EMR Amazon EMR

• درک خود را از Cluster Setup آزمایش کنید Test your understanding of Cluster Setup

مدیر Hadoop در دنیای واقعی (پیش نمایش) Hadoop Administrator In Real World (Preview)

• مدیر کلودرا - مقدمه Cloudera Manager - Introduction

• مدیر کلودرا - نصب Cloudera Manager - Installation

فرمت های فایل File Formats

• فشرده سازی Compression

• فایل توالی Sequence File

• AVRO AVRO

• فرمت های فایل - Pig File Formats - Pig

• فرمت های فایل - Hive File Formats - Hive

• مقدمه ای بر RCFile Introduction to RCFile

• کار با RCFile Working with RCFile

• مقدمه ای بر ORC Introduction to ORC

• کار با ORC Working with ORC

• پارکت - فرمت ستونی دیگر Parquet - Another Columnar Format

• Avro Schema و اهمیت آن Avro Schema and It's Importance

• Schema Evolution در Avro (قسمت 1) Schema Evolution in Avro (Part 1)

• Schema Evolution در Avro (قسمت 2) Schema Evolution in Avro (Part 2)

• درک خود را از فرمت های فایل تست کنید Test your understanding of File Formats

عیب یابی و بهینه سازی Troubleshooting and Optimizations

• کاوش سیاههها Exploring Logs

• MRUnit MRUnit

• MapReduce Tuning MapReduce Tuning

• بهینه‌سازی‌های عضویت Pig (قسمت 1) Pig Join Optimizations (Part 1)

• بهینه سازی های عضویت Pig (قسمت 2) Pig Join Optimizations (Part 2)

• Hive Join Optimizations Hive Join Optimizations

• درک خود را از عیب‌یابی و بهینه‌سازی‌ها آزمایش کنید Test your understanding of Troubleshooting & Optimizations

آپاچی اسکوب Apache Sqoop

• Sqoop Imports Sqoop Imports

• Sqoop - فرمت های فایل Sqoop - File Formats

• مشاغل و واردات افزایشی Jobs & Incremental Imports

• کندو - صادرات Hive - Exports

آپاچی فلوم Apache Flume

• مقدمه ای بر فلوم Introduction to Flume

• همانند سازی Replication

• تثبیت و Mutliplexing Consolidation & Mutliplexing

• پخش جریانی توییتر با Flume Streaming Twitter with Flume

کافکا Kafka

• کافکا - چرا و چیست؟ Kafka - The Why & the What?

• مفاهیم کافکا Kafka Concepts

• تحمل شکست ها - تولیدکنندگان و مصرف کنندگان Tolerating Failures - Producers & Consumers

• تحمل شکست ها - کارگزاران Tolerating Failures - Brokers

• نصب کافکا Kafka Installation

• آزمایش با کافکا Experiments with Kafka

• نشست جریانی با کافکا (بخش اول) Streaming Meetup with Kafka (Part-1)

• نشست جریانی با کافکا (قسمت دوم) Streaming Meetup with Kafka (Part-2)

• نوشتن برنامه آماده تولید کافکا Writing production ready Kafka application

• مدیریت طرحواره با ثبت طرحواره کافکا Schema management with Kafka Schema Registry

• تکامل طرحواره با ثبت طرحواره کافکا Schema evolution with Kafka Schema Registry

جایزه Bonus

• آماده شدن برای مصاحبه هادوپ Preparing For Hadoop Interviews