آموزش The Ultimate Hands-On Hadoop: Big Data خود را رام کنید!

سرفصل ها و درس ها

همه کلمات کلیدی را یاد بگیرید! و Hortonworks Data Platform Sandbox را نصب کنید. Learn all the buzzwords! And install the Hortonworks Data Platform Sandbox.

• Udemy 101: بیشترین بهره را از این دوره ببرید Udemy 101: Getting the Most From This Course

• نکاتی برای استفاده از این دوره Tips for Using This Course

• اگر در دانلود Hortonworks Data Platform مشکل دارید... If you have trouble downloading Hortonworks Data Platform...

• هشدار برای کاربران Apple M1 Warning for Apple M1 users

• نصب Hadoop [گام به گام] Installing Hadoop [Step by Step]

• ادغام Hortonworks و Cloudera، و چگونگی تأثیر آن بر این دوره. The Hortonworks and Cloudera Merger, and how it affects this course.

• بررسی اجمالی و تاریخچه Hadoop Hadoop Overview and History

• مروری بر اکوسیستم هادوپ Overview of the Hadoop Ecosystem

• یادداشت مهم Important note

با استفاده از Hadoop's Core: HDFS و MapReduce Using Hadoop's Core: HDFS and MapReduce

• HDFS: چیست و چگونه کار می کند HDFS: What it is, and how it works

• مکان دانلود جایگزین MovieLens Alternate MovieLens download location

• نصب مجموعه داده MovieLens Installing the MovieLens Dataset

• [فعالیت] مجموعه داده MovieLens را با استفاده از خط فرمان در HDFS نصب کنید [Activity] Install the MovieLens dataset into HDFS using the command line

• MapReduce: چیست و چگونه کار می کند MapReduce: What it is, and how it works

• چگونه MapReduce پردازش را توزیع می کند How MapReduce distributes processing

• مثال MapReduce: رتبه بندی فیلم ها را بر اساس امتیاز رتبه بندی تجزیه کنید MapReduce example: Break down movie ratings by rating score

• نکاتی در مورد نصب MRJob Notes on MRJob installation

• [فعالیت] نصب Python، MRJob و nano [Activity] Installing Python, MRJob, and nano

• [فعالیت] کار MapReduce هیستوگرام رتبه‌بندی را کدنویسی کنید و آن را اجرا کنید [Activity] Code up the ratings histogram MapReduce job and run it

• [تمرین] رتبه بندی فیلم ها بر اساس محبوبیت آنها [Exercise] Rank movies by their popularity

• توجه: مرتب سازی فقط بر اساس پارتیشن کار می کند. Note: Sorting will only work by partition.

• [فعالیت] نتایج خود را در برابر من بررسی کنید! [Activity] Check your results against mine!

برنامه نویسی Hadoop با Pig Programming Hadoop with Pig

• معرفی آمبری Introducing Ambari

• معرفی خوک Introducing Pig

• مثال: با استفاده از Pig، قدیمی‌ترین فیلم با امتیاز 5 ستاره را پیدا کنید Example: Find the oldest movie with a 5-star rating using Pig

• [فعالیت] فیلم های قدیمی 5 ستاره را با خوک پیدا کنید [Activity] Find old 5-star movies with Pig

• بیشتر خوک لاتین More Pig Latin

• [تمرین] فیلم تک ستاره با بیشترین امتیاز را پیدا کنید [Exercise] Find the most-rated one-star movie

• چالش خوک: نتایج خود را با من مقایسه کنید! Pig Challenge: Compare Your Results to Mine!

برنامه نویسی Hadoop با Spark Programming Hadoop with Spark

• چرا اسپارک؟ Why Spark?

• مجموعه داده های توزیع شده انعطاف پذیر (RDD) The Resilient Distributed Dataset (RDD)

• [فعالیت] فیلمی را با کمترین میانگین امتیاز پیدا کنید - با RDD [Activity] Find the movie with the lowest average rating - with RDD's

• مجموعه داده ها و Spark 2.0 Datasets and Spark 2.0

• [فعالیت] فیلمی را با کمترین میانگین امتیاز پیدا کنید - با DataFrames [Activity] Find the movie with the lowest average rating - with DataFrames

• [فعالیت] توصیه های فیلم با MLLib [Activity] Movie recommendations with MLLib

• [تمرین] فیلم های با کمترین امتیاز را بر اساس تعداد رتبه بندی فیلتر کنید [Exercise] Filter the lowest-rated movies by number of ratings

• [فعالیت] نتایج خود را در برابر من بررسی کنید! [Activity] Check your results against mine!

استفاده از فروشگاه های داده های رابطه ای با Hadoop Using relational data stores with Hadoop

• کندو چیست؟ What is Hive?

• [فعالیت] از Hive برای پیدا کردن محبوب ترین فیلم استفاده کنید [Activity] Use Hive to find the most popular movie

• کندو چگونه کار می کند How Hive works

• [تمرین] از Hive برای پیدا کردن فیلمی با بالاترین میانگین امتیاز استفاده کنید [Exercise] Use Hive to find the movie with the highest average rating

• راه حل خود را با راه حل من مقایسه کنید. Compare your solution to mine.

• ادغام MySQL با Hadoop Integrating MySQL with Hadoop

• برگه تقلب برای سخنرانی زیر Cheat sheet for the following lecture

• [فعالیت] MySQL را نصب کنید و داده های فیلم ما را وارد کنید [Activity] Install MySQL and import our movie data

• [فعالیت] از Sqoop برای وارد کردن داده ها از MySQL به HFDS/Hive استفاده کنید [Activity] Use Sqoop to import data from MySQL to HFDS/Hive

• [فعالیت] از Sqoop برای صادرات داده ها از Hadoop به MySQL استفاده کنید [Activity] Use Sqoop to export data from Hadoop to MySQL

استفاده از فروشگاه های داده غیر رابطه ای با Hadoop Using non-relational data stores with Hadoop

• چرا NoSQL؟ Why NoSQL?

• HBase چیست؟ What is HBase

• [فعالیت] رتبه بندی فیلم را به HBase وارد کنید [Activity] Import movie ratings into HBase

• [فعالیت] از HBase با Pig برای وارد کردن داده ها در مقیاس استفاده کنید. [Activity] Use HBase with Pig to import data at scale.

• نمای کلی کاساندرا Cassandra overview

• اگر در نصب کاساندرا مشکل دارید... If you have trouble installing Cassandra...

• [فعالیت] نصب Cassandra [Activity] Installing Cassandra

• [فعالیت] خروجی Spark را در Cassandra بنویسید [Activity] Write Spark output into Cassandra

• نمای کلی MongoDB MongoDB overview

• [فعالیت] MongoDB را نصب کنید و Spark را با MongoDB ادغام کنید [Activity] Install MongoDB, and integrate Spark with MongoDB

• [فعالیت] استفاده از پوسته MongoDB [Activity] Using the MongoDB shell

• انتخاب فناوری پایگاه داده Choosing a database technology

• [تمرین] یک پایگاه داده برای یک مشکل داده شده انتخاب کنید [Exercise] Choose a database for a given problem

پرس و جو داده های شما به صورت تعاملی Querying your Data Interactively

• نمای کلی دریل Overview of Drill

• [فعالیت] راه اندازی Drill [Activity] Setting up Drill

• [فعالیت] پرس و جو در چندین پایگاه داده با Drill [Activity] Querying across multiple databases with Drill

• مروری بر فونیکس Overview of Phoenix

• [فعالیت] Phoenix را نصب کنید و HBase را با آن پرس و جو کنید [Activity] Install Phoenix and query HBase with it

• [فعالیت] فونیکس را با خوک ادغام کنید [Activity] Integrate Phoenix with Pig

• مروری بر Presto Overview of Presto

• [فعالیت] Presto را نصب کنید و Hive را با آن پرس و جو کنید. [Activity] Install Presto, and query Hive with it.

• [فعالیت] از Cassandra و Hive با استفاده از Presto پرس و جو کنید. [Activity] Query both Cassandra and Hive using Presto.

مدیریت خوشه شما Managing your Cluster

• YARN توضیح داد YARN explained

• تز توضیح داد Tez explained

• [فعالیت] از Hive در Tez استفاده کنید و سود عملکرد را اندازه گیری کنید [Activity] Use Hive on Tez and measure the performance benefit

• مزوس توضیح داد Mesos explained

• ZooKeeper توضیح داد ZooKeeper explained

• [فعالیت] شبیه سازی یک استاد شکست خورده با ZooKeeper [Activity] Simulating a failing master with ZooKeeper

• اوزی توضیح داد Oozie explained

• [فعالیت] یک گردش کار ساده Oozie را تنظیم کنید [Activity] Set up a simple Oozie workflow

• بررسی اجمالی زپلین Zeppelin overview

• [فعالیت] از Zeppelin برای تجزیه و تحلیل رتبه بندی فیلم، قسمت 1 استفاده کنید [Activity] Use Zeppelin to analyze movie ratings, part 1

• [فعالیت] از Zeppelin برای تجزیه و تحلیل رتبه بندی فیلم، قسمت 2 استفاده کنید [Activity] Use Zeppelin to analyze movie ratings, part 2

• نمای کلی رنگ Hue overview

• فن آوری های دیگر قابل ذکر است Other technologies worth mentioning

تغذیه داده ها به خوشه شما Feeding Data to your Cluster

• کافکا توضیح داد Kafka explained

• [فعالیت] راه اندازی کافکا و انتشار برخی داده ها. [Activity] Setting up Kafka, and publishing some data.

• [فعالیت] انتشار لاگ های وب با کافکا [Activity] Publishing web logs with Kafka

• فلوم توضیح داد Flume explained

• [فعالیت] Flume را راه‌اندازی کنید و گزارش‌ها را با آن منتشر کنید. [Activity] Set up Flume and publish logs with it.

• [فعالیت] Flume را برای نظارت بر دایرکتوری و ذخیره داده های آن در HDFS تنظیم کنید [Activity] Set up Flume to monitor a directory and store its data in HDFS

تجزیه و تحلیل جریان داده ها Analyzing Streams of Data

• Spark Streaming: مقدمه Spark Streaming: Introduction

• [فعالیت] گزارش‌های وب منتشر شده با Flume را با استفاده از Spark Streaming تجزیه و تحلیل کنید [Activity] Analyze web logs published with Flume using Spark Streaming

• [تمرین] گزارش‌های منتشر شده توسط Flume را برای خطاها در زمان واقعی نظارت کنید [Exercise] Monitor Flume-published logs for errors in real time

• راه حل تمرین: تجمیع کدهای دسترسی HTTP با Spark Streaming Exercise solution: Aggregating HTTP access codes with Spark Streaming

• طوفان آپاچی: مقدمه Apache Storm: Introduction

• [فعالیت] شمارش کلمات با طوفان [Activity] Count words with Storm

• فلینک: یک مرور کلی Flink: An Overview

• [فعالیت] شمارش کلمات با Flink [Activity] Counting words with Flink

طراحی سیستم های دنیای واقعی Designing Real-World Systems

• بهترین بقیه The Best of the Rest

• بررسی: چگونه قطعات با هم قرار می گیرند Review: How the pieces fit together

• درک نیازهای شما Understanding your requirements

• نمونه برنامه: لاگ های وب سرور را مصرف کنید و فروشندگان برتر را پیگیری کنید Sample application: consume webserver logs and keep track of top-sellers

• نمونه برنامه: ارائه توصیه های فیلم به یک وب سایت Sample application: serving movie recommendations to a website

• [تمرین] سیستمی برای گزارش جلسات وب در روز طراحی کنید [Exercise] Design a system to report web sessions per day

• راه حل تمرین: سیستمی برای شمارش جلسات روزانه طراحی کنید Exercise solution: Design a system to count daily sessions

یادگیری بیشتر Learning More

• کتاب ها و منابع آنلاین Books and online resources

• سخنرانی جایزه: دوره های بیشتری برای کشف! Bonus Lecture: More courses to explore!