آموزش جامع و عملی هادوپ (The Ultimate Hands-On Hadoop) - آخرین آپدیت

سرفصل ها و درس ها

آشنایی با مفاهیم کلیدی و نصب Hortonworks Data Platform Sandbox Learning All the Buzzwords and Installing the Hortonworks Data Platform Sandbox

• مقدمه و نصب هادوپ Introduction and Installation of Hadoop

• ادغام Hortonworks و Cloudera و اثرات آن بر دوره The Hortonworks and Cloudera Merger and its Effects on the Course

• مرور کلی و تاریخچه هادوپ Hadoop Overview and History

• مرور اکوسیستم هادوپ Overview of the Hadoop Ecosystem

استفاده از هسته هادوپ: سیستم فایل توزیع‌شده (HDFS) و MapReduce Using the Hadoop's Core: Hadoop Distributed File System (HDFS) and MapReduce

• سیستم فایل توزیع‌شده هادوپ (HDFS): چیست و چگونه کار می‌کند Hadoop Distributed File System (HDFS): What it is and How it Works

• نصب مجموعه‌داده MovieLens Installing the MovieLens Dataset

• فعالیت: نصب مجموعه‌داده MovieLens در HDFS با استفاده از خط فرمان Activity - Installing the MovieLens Dataset into Hadoop's Distributed File System (HDFS) using the Command Line

• MapReduce: چیست و چگونه کار می‌کند MapReduce: What it is and How it Works

• نحوه توزیع پردازش در MapReduce How MapReduce Distributes Processing

• مثال MapReduce: تفکیک رتبه‌بندی فیلم‌ها بر اساس امتیاز MapReduce Example: Breaking Down the Movie Ratings by Rating Score

• فعالیت: نصب Python، MRJob و Nano Activity - Installing Python, MRJob, and Nano

• فعالیت: کدنویسی و اجرای Job مربوط به هیستوگرام رتبه‌بندی‌ها Activity - Coding Up and Running the Ratings Histogram MapReduce Job

• تمرین: رتبه‌بندی فیلم‌ها بر اساس محبوبیت Exercise - Ranking Movies by Their Popularity

• فعالیت: بررسی نتایج Activity - Checking Results

برنامه‌نویسی هادوپ با Pig Programming Hadoop with Pig

• معرفی Ambari Introducing Ambari

• معرفی Pig Introducing the Pig

• مثال: یافتن قدیمی‌ترین فیلم با رتبه پنج ستاره با استفاده از Pig Example - Finding the Oldest Movie with Five-Star Rating Using the Pig

• فعالیت: یافتن فیلم‌های قدیمی پنج ستاره با Pig Activity - Finding the Old Five-Star Movies with Pig

• بیشتر درباره زبان Pig Latin More Pig Latin

• تمرین: یافتن فیلم یک ستاره با بیشترین تعداد رای Exercise - Finding the Most-Rated One-Star Movie

• چالش Pig: مقایسه نتایج Pig Challenge - Comparing Results

برنامه‌نویسی هادوپ با Spark Programming Hadoop with Spark

• چرا Spark؟ Why Spark?

• مجموعه‌های داده توزیع‌شده مقاوم (RDD) The Resilient Distributed Datasets (RDD)

• فعالیت: یافتن فیلم با کمترین میانگین امتیاز با استفاده از RDD Activity - Finding the Movie with the Lowest Average Rating with the Resilient Distributed Datasets (RDD)

• Datasets و Spark 2.0 Datasets and Spark 2.0

• فعالیت: یافتن فیلم با کمترین میانگین امتیاز با DataFrames Activity - Finding the movie with the Lowest Average Rating with DataFrames

• فعالیت: پیشنهاد فیلم با کتابخانه یادگیری ماشین اسپارک (MLLib) Activity - Recommending a Movie with Spark's Machine Learning Library (MLLib)

• تمرین: فیلتر کردن فیلم‌های کم‌امتیاز بر اساس تعداد رای‌ها Exercise - Filtering the Lowest-Rated Movies by Number of Ratings

• فعالیت: بررسی نتایج Activity - Checking Results

استفاده از ذخیره‌سازهای داده رابطه‌ای با هادوپ Using Relational Datastores with Hadoop

• Hive چیست؟ What is Hive?

• فعالیت: استفاده از Hive برای یافتن محبوب‌ترین فیلم Activity - Using Hive to Find the Most Popular Movie

• Hive چگونه کار می‌کند؟ How Hive Works?

• تمرین: استفاده از Hive برای یافتن فیلم با بالاترین میانگین امتیاز Exercise - Using Hive to Find the Movie with the Highest Average Rating

• مقایسه راهکارها Comparing Solutions

• یکپارچه‌سازی MySQL با هادوپ Integrating MySQL with Hadoop

• فعالیت: نصب MySQL و وارد کردن داده‌های فیلم Activity - Installing MySQL and Importing Movie Data

• فعالیت: استفاده از Sqoop برای انتقال داده از MySQL به HDFS/Hive Activity - Using Sqoop to Import Data from MySQL to HFDS/Hive

• فعالیت: استفاده از Sqoop برای خروجی گرفتن از هادوپ به MySQL Activity - Using Sqoop to Export Data from Hadoop to MySQL

استفاده از ذخیره‌سازهای داده غیررابطه‌ای با هادوپ Using Non-Relational Data Stores with Hadoop

• چرا NoSQL؟ Why NoSQL?

• HBase چیست؟ What is HBase?

• فعالیت: وارد کردن رتبه‌بندی فیلم‌ها به HBase Activity - Importing Movie Ratings into HBase

• فعالیت: استفاده از HBase همراه با Pig برای وارد کردن داده‌ها در مقیاس بالا Activity - Using HBase with Pig to Import Data at Scale

• مرور کلی Cassandra Cassandra - Overview

• فعالیت: نصب Cassandra Activity - Installing Cassandra

• فعالیت: نوشتن خروجی Spark در Cassandra Activity - Writing Spark Output into Cassandra

• مرور کلی MongoDB MongoDB - Overview

• فعالیت: نصب MongoDB و یکپارچه‌سازی Spark با MongoDB Activity - Installing MongoDB and Integrating Spark with MongoDB

• فعالیت: استفاده از MongoDB Shell Activity - Using the MongoDB Shell

• انتخاب تکنولوژی پایگاه داده Choosing Database Technology

• تمرین: انتخاب دیتابیس مناسب برای یک مسئله خاص Exercise - Choosing a Database for a Given Problem

پرس‌وجوی تعاملی داده‌ها Querying Data Interactively

• مرور کلی Drill Overview of Drill

• فعالیت: راه‌اندازی Drill Activity - Setting Up Drill

• فعالیت: پرس‌وجو در چندین دیتابیس مختلف با Drill Activity - Querying Across Multiple Databases with Drill

• مرور کلی Phoenix Overview of Phoenix

• فعالیت: نصب Phoenix و پرس‌وجو در HBase Activity - Installing Phoenix and Querying HBase

• فعالیت: یکپارچه‌سازی Phoenix با Pig Activity - Integrating Phoenix with the Pig

• مرور کلی Presto Overview of Presto

• فعالیت: نصب Presto و پرس‌وجو در Hive Activity - Installing Presto and Querying Hive

• فعالیت: پرس‌وجو در Cassandra و Hive با استفاده از Presto Activity - Querying Both Cassandra and Hive Using Presto

مدیریت کلاستر Managing Your Cluster

• معرفی YARN (مدیریت منابع کلاستر) Yet Another Resource Negotiator (YARN)

• معرفی Tez Tez

• فعالیت: استفاده از Hive روی Tez و اندازه‌گیری بهبود عملکرد Activity - Using Hive on Tez and Measuring the Performance Benefit

• معرفی Mesos Mesos

• معرفی ZooKeeper ZooKeeper

• فعالیت: شبیه‌سازی شکست Master با استفاده از ZooKeeper Activity - Simulating a Failing Master with ZooKeeper

• معرفی Oozie Oozie

• فعالیت: راه‌اندازی یک جریان کاری ساده در Oozie Activity - Setting Up a Simple Oozie Workflow

• مرور کلی Zeppelin Zeppelin - Overview

• کار عملی با Zeppelin برای تحلیل Spark و MovieLens Hands-On with Zeppelin for Spark and MovieLens Analysis

• SQL و بصری‌سازی داده‌ها در Zeppelin: تحلیل MovieLens با Spark SQL and Data Visualization in Zeppelin: MovieLens Analysis with Spark

• مرور کلی Hue Hue - Overview

• سایر تکنولوژی‌های قابل ذکر Other Technologies Worth Mentioning

تغذیه داده‌ها به کلاستر Feeding Data to Your Cluster

• معرفی Kafka Kafka

• فعالیت: راه‌اندازی Kafka و انتشار داده‌ها Activity - Setting Up Kafka and Publishing Data

• فعالیت: انتشار لاگ‌های وب با Kafka Activity - Publishing Web Logs with Kafka

• معرفی Flume Flume

• فعالیت: راه‌اندازی Flume و انتشار لاگ‌ها Activity - Setting up Flume and Publishing Logs

• فعالیت: تنظیم Flume برای نظارت بر یک دایرکتوری و ذخیره داده‌ها در HDFS Activity - Setting Up Flume to Monitor a Directory and Store its Data in Hadoop Distributed File System (HDFS)

تحلیل جریان‌های داده (Data Streams) Analyzing Streams of Data

• مقدمه‌ای بر Spark Streaming Spark Streaming: Introduction

• فعالیت: تحلیل لاگ‌های وب منتشر شده توسط Flume با استفاده از Spark Streaming Activity - Analyzing Web Logs Published with Flume using Spark Streaming

• تمرین: نظارت بر لاگ‌های Flume برای یافتن خطاها در زمان واقعی Exercise - Monitor Flume-Published Logs for Errors in Real Time

• پاسخ تمرین: تجمیع کدهای دسترسی HTTP با Spark Streaming Exercise Solution: Aggregating the Hypertext Transfer Protocol (HTTP) Access Codes with Spark Streaming

• مقدمه‌ای بر Apache Storm Apache Storm: Introduction

• فعالیت: شمارش کلمات با Storm Activity - Counting Words with Storm

• مرور کلی Flink Flink: Overview

• فعالیت: شمارش کلمات با Flink Activity - Counting Words with Flink

طراحی سیستم‌های دنیای واقعی Designing Real-World Systems

• بهترین‌های باقی‌مانده The Best of the Rest

• مرور: قطعات چگونه در کنار هم قرار می‌گیرند؟ Review: How the Pieces Fit Together?

• درک نیازهای پروژه Understanding Your Requirements

• نمونه اپلیکیشن: تحلیل لاگ‌های سرور وب و ردیابی پرفروش‌ترین‌ها Sample Application: Consuming Web Server Logs and Keeping Track of Top-Sellers

• نمونه اپلیکیشن: ارائه پیشنهادهای فیلم در یک وب‌سایت Sample Application: Serving Movie Recommendations to a Website

• تمرین: طراحی سیستمی برای گزارش جلسات وب در هر روز Exercise - Designing a System to Report Web Sessions Per Day

• پاسخ تمرین: طراحی سیستم شمارش جلسات روزانه Exercise Solution: Designing a System to Count Daily Sessions

یادگیری بیشتر Learning More

• کتاب‌ها و منابع آنلاین Books and Online Resources