آموزش بیگ دیتا را بیاموزید: کلاس کارشناسی ارشد اکوسیستم هادوپ

سرفصل ها و درس ها

معرفی Introduction

• معرفی دوره Course Introduction

• راهنمای دوره Course Guide

Big Data و Hadoop چیست؟ What is Big Data and Hadoop

• کلان داده چیست What is Big Data

• نمونه هایی از داده های بزرگ Examples of Big Data

• علم داده چیست What is Data Science

• هادوپ چیست؟ What is Hadoop

• Hadoop Distributions Hadoop Distributions

• آزمون کلان داده چیست؟ What is Big Data Quiz

مقدمه ای بر هادوپ Introduction to Hadoop

• نصب Hadoop Hadoop Installation

• نسخه ی نمایشی: Hortonworks Sandbox Demo: Hortonworks Sandbox

• نسخه ی نمایشی: نصب Hadoop - قسمت 1 Demo: Hadoop Installation - Part 1

• نسخه ی نمایشی: نصب Hadoop - قسمت 2 Demo: Hadoop Installation - Part 2

• مقدمه ای بر HDFS Introduction to HDFS

• ارتباطات DataNode DataNode Communications

• نسخه ی نمایشی: HDFS - قسمت 1 Demo: HDFS - Part 1

• نسخه ی نمایشی: HDFS - قسمت 2 - با استفاده از Ambari Demo: HDFS - Part 2 - Using Ambari

• MapReduce WordCount مثال MapReduce WordCount Example

• نسخه ی نمایشی: MapReduce WordCount Demo: MapReduce WordCount

• خطوطی که بلوک ها را در بر می گیرند Lines that span blocks

• مقدمه ای بر نخ Introduction to Yarn

• نسخه ی نمایشی: رابط کاربری Yarn و ResourceManager Demo: Yarn and ResourceManager UI

• Ambari API و Blueprints Ambari API and Blueprints

• نسخه ی نمایشی: Ambari API و Blueprints Demo: Ambari API and Blueprints

• پردازش ETL در Hadoop ETL Processing in Hadoop

• مسابقه مقدمه Introduction Quiz

خوک Pig

• مقدمه ای بر خوک Introduction to Pig

• نسخه ی نمایشی: قسمت 1 - نصب Pig Demo: Part 1 - Pig Installation

• نسخه ی نمایشی: قسمت 2 - دستورات خوک Demo: Part 2 - Pig Commands

• نسخه ی نمایشی: قسمت 3 - دستورات بیشتر خوک Demo: Part 3 - More Pig Commands

آپاچی اسپارک Apache Spark

• مقدمه ای بر آپاچی اسپارک Introduction to Apache Spark

• Spark WordCount Spark WordCount

• نسخه ی نمایشی: نصب Spark و WordCount Demo: Spark installation and WordCount

• RDD ها RDDs

• نسخه ی نمایشی: RDD Transformations and Actions Demo: RDD Transformations and Actions

• مروری بر تحولات و اقدامات RDD Overview of RDD Transformations and Actions

• Spark MLLib Spark MLLib

کندو Hive

• مقدمه ای بر کندو Introduction to Hive

• پرس و جوهای کندو Hive Queries

• نسخه ی نمایشی: نصب Hive و Queries Hive Demo: Hive Installation and Hive Queries

• پارتیشن بندی کندو، سطل ها، UDF ها و SerDes Hive Partitioning, Buckets, UDFs, and SerDes

• ابتکار استینگر The Stinger Initiative

• کندو در اسپارک Hive in Spark

پردازش زمان واقعی Real Time Processing

• مقدمه ای بر پردازش بیدرنگ Introduction to Realtime Processing

کافکا Kafka

• مقدمه ای بر کافکا Introduction to Kafka

• موضوعات کافکا Kafka Topics

• پیام های کافکا و فشرده سازی لاگ Kafka Messages and Log Compaction

• موارد استفاده و کاربرد کافکا Kafka Use Cases and Usage

• نسخه ی نمایشی: نصب و استفاده کافکا Demo: Kafka Installation and Usage

طوفان Storm

• مقدمه ای بر طوفان Introduction to Storm

• توپولوژی طوفان A Storm Topology

• نسخه ی نمایشی: نصب طوفان و نمونه توپولوژی Demo: Storm installation and Example Topology

• پردازش پیام طوفان و قابلیت اطمینان Storm Message Processing and Reliability

• سه گانه Trident

جریان جرقه Spark Streaming

• مقدمه ای بر جریان اسپارک Introduction to Spark Streaming

• معماری جریان جرقه Spark Streaming Architecture

• گیرنده های اسپارک و نمونه های جریانی WordCount Spark Receivers and WordCount Streaming Example

• نسخه ی نمایشی: جریان جرقه با کافکا Demo: Spark Streaming with Kafka

• وضعیت جریان جرقه و ایست بازرسی Spark Streaming State and Checkpointing

• نسخه ی نمایشی: Stateful Spark Streaming Demo: Stateful Spark Streaming

• ویژگی های بیشتر Spark Streaming More Spark Streaming Features

HBase HBase

• آشنایی با HBase Introduction to HBase

• جداول HBase HBase Tables

• جدول متا HBase The HBase Meta Table

• HBase می نویسد HBase Writes

• HBase می خواند HBase Reads

• فشرده سازی ها Compactions

• بازیابی تصادف Crash Recovery

• تقسیمات منطقه Region Splits

• هات اسپاتینگ Hotspotting

• نسخه ی نمایشی: نصب HBase Demo: HBase Install

• نسخه ی نمایشی: HBase Shell Demo: HBase Shell

• نسخه ی نمایشی: Spark HBase Demo: Spark HBase

ققنوس Phoenix

• آشنایی با فونیکس Introduction to Phoenix

• نمک، فشرده سازی، و شاخص ها در فونیکس Salting, Compression, and Indexes in Phoenix

• JOIN، VIEW و Phoenix در Spark JOINs, VIEWs, and Phoenix in Spark

• نسخه ی نمایشی: Phoenix Demo: Phoenix

امنیت هادوپ Hadoop Security

• معرفی Kerberos Introduction to Kerberos

• Kerberos در Hadoop Kerberos on Hadoop

• اصطلاحات کربروس Kerberos Terminology

• نسخه ی نمایشی: فعال کردن Kerberos Demo: Enabling Kerberos

• مقدمه ای بر SPNEGO Introduction to SPNEGO

• نسخه ی نمایشی: SPNEGO Demo: SPNEGO

• مقدمه ای بر ناکس Introduction to Knox

تکاور Ranger

• مقدمه ای بر رنجر Introduction to Ranger

• نسخه ی نمایشی: نصب رنجر Demo: Ranger Installation

• نسخه ی نمایشی: رنجر با کندو Demo: Ranger with Hive

رمزگذاری HDFS HDFS Encryption

• مقدمه ای بر رمزگذاری شفاف HDFS Introduction to HDFS Transparent Encryption

• نسخه ی نمایشی: رمزگذاری HDFS با استفاده از Ranger KMS Demo: HDFS Encryption using Ranger KMS

موضوعات پیشرفته Advanced Topics

• زمانبندی نخ Yarn Schedulers

• نسخه ی نمایشی: زمانبندی ظرفیت Demo: Capacity Scheduler

• برنامه ریزی بر اساس برچسب Label based scheduling

• سایز بندی نخ Yarn Sizing

• Hive Query Optimizations Hive Query Optimizations

• به استراتژی ها بپیوندید Join Strategies

• بهینه سازی جرقه Spark Optimizations

• NameNode در دسترس بودن بالا NameNode High Availability

• نسخه ی نمایشی: NameNode راه اندازی در دسترس بودن بالا Demo: NameNode High Availability Setup

• در دسترس بودن بالا پایگاه داده Database High Availability

متشکرم Thank You

• متشکرم! Thank You!

• سخنرانی جایزه: دوره های دیگر من Bonus Lecture: My Other Courses