آموزش هدوپ (2020)

سرفصل ها و درس ها

معرفی Introduction

• شروع کار با Hadoop Getting started with Hadoop

• آنچه باید قبل از تماشای این دوره بدانید What you should know before watching this course

• استفاده از خدمات ابری Using cloud services

1. چرا تغییر؟ 1. Why Change?

• محدودیت های سیستم های مدیریت پایگاه داده رابطه ای Limits of relational database management systems

• معرفی CAP (ثبات، در دسترس بودن، پارتیشن بندی) Introducing CAP (consistency, availability, partitioning)

• درک کلان داده Understanding big data

2. هادوپ چیست؟ 2. What Is Hadoop?

• معرفی Hadoop Introducing Hadoop

• آشنایی با توزیع های Hadoop Understanding Hadoop distributions

• درک تفاوت بین HBase و Hadoop Understanding the difference between HBase and Hadoop

• کاوش در آینده Hadoop Exploring the future of Hadoop

3. درک اجزای هسته Hadoop 3. Understanding Hadoop Core Components

• آشنایی با ماشین های مجازی جاوا (JVM) Understanding Java Virtual Machines (JVMs)

• کاوش HDFS و سایر سیستم های فایل Exploring HDFS and other file systems

• معرفی اجزای خوشه Hadoop Introducing Hadoop cluster components

• معرفی Hadoop Spark Introducing Hadoop Spark

• کاوش در توزیع های Apache و Cloudera Hadoop Exploring the Apache and Cloudera Hadoop distributions

• استفاده از ابر عمومی برای میزبانی Hadoop: AWS یا GCP Using the public cloud to host Hadoop: AWS or GCP

4. راه اندازی Hadoop Development Environment 4. Setting up Hadoop Development Environment

• شناخت قطعات و قطعات Understanding the parts and pieces

• میزبانی Hadoop به صورت محلی با توزیع توسعه دهنده Cloudera Hosting Hadoop locally with the Cloudera developer distribution

• راه اندازی ماشین مجازی توسعه دهنده Cloudera Hadoop Setting up the Cloudera Hadoop developer virtual machine

• افزودن کتابخانه های Hadoop به محیط آزمایشی شما Adding Hadoop libraries to your test environment

• انتخاب زبان برنامه نویسی و IDE شما Picking your programming language and IDE

• از GCP Dataproc برای توسعه استفاده کنید Use GCP Dataproc for development

5. درک MapReduce 1.0 5. Understanding MapReduce 1.0

• آشنایی با MapReduce 1.0 Understanding MapReduce 1.0

• کاوش اجزای یک کار MapReduce Exploring the components of a MapReduce job

• کار با فایل سیستم Hadoop Working with the Hadoop file system

• اجرای یک کار MapReduce با استفاده از کنسول Running a MapReduce job using the console

• مرور کد برای کار MapReduce WordCount Reviewing the code for a MapReduce WordCount job

• اجرای و ردیابی مشاغل Hadoop Running and tracking Hadoop jobs

6. تنظیم MapReduce 6. Tuning MapReduce

• تنظیم با روش های فیزیکی Tuning by physical methods

• تنظیم نقشه‌بردار Tuning a Mapper

• تنظیم یک کاهش دهنده Tuning a Reducer

• استفاده از کش برای جستجو Using a cache for lookups

7. درک MapReduce 2.0/YARN 7. Understanding MapReduce 2.0/YARN

• آشنایی با MapReduce 2.0 Understanding MapReduce 2.0

• کدنویسی یک WordCount در جاوا با استفاده از MapReduce 2.0 Coding a basic WordCount in Java using MapReduce 2.0

• کاوش WordCount پیشرفته در جاوا با استفاده از MapReduce 2.0 Exploring advanced WordCount in Java using MapReduce 2.0

8. درک Hive 8. Understanding Hive

• معرفی Hive و HBase Introducing Hive and HBase

• درک کندو Understanding Hive

• بازبینی WordCount با استفاده از Hive Revisiting WordCount using Hive

• درک بیشتر در مورد بهینه سازی پرس و جو HQL Understanding more about HQL query optimization

• استفاده از Hive در GCP Dataproc Using Hive in GCP Dataproc

9. درک خوک 9. Understanding Pig

• معرفی خوک Introducing Pig

• درک خوک Understanding Pig

• بررسی موارد استفاده برای Pig Exploring use cases for Pig

• کاوش ابزارهای Pig در GCP Dataproc Exploring Pig tools in GCP Dataproc

10. درک گردش کار و اتصالات 10. Understanding Workflows and Connectors

• معرفی Oozie Introducing Oozie

• ایجاد یک گردش کار با Oozie Building a workflow with Oozie

• معرفی Sqoop Introducing Sqoop

• وارد کردن داده ها با Sqoop Importing data with Sqoop

• معرفی ZooKeeper Introducing ZooKeeper

• هماهنگی گردش کار با ZooKeeper Coordinating workflows with ZooKeeper

11. استفاده از Spark 11. Using Spark

• معرفی آپاچی اسپارک Introducing Apache Spark

• اجرای یک کار Spark برای محاسبه Pi Running a Spark job to calculate Pi

• اجرای یک کار اسپارک در نوت بوک Jupyter Running a Spark job in a Jupyter Notebook

12. Hadoop Today 12. Hadoop Today

• آشنایی با گزینه های یادگیری ماشینی Understanding machine learning options

• درک دریاچه های داده Understanding data lakes

• تجسم سیستم های هدوپ Visualizing Hadoop systems

مراحل بعدی Next Steps

• مراحل بعدی با Hadoop Next steps with Hadoop