آموزش یادگیری Hadoop

سرفصل ها و درس ها

مقدمه Introduction

• شروع کار با Hadoop Getting started with Hadoop

• آنچه باید قبل از تماشای این دوره بدانید What you should know before watching this course

• استفاده از خدمات ابری Using cloud services

1. چرا تغییر می کنید؟ 1. Why Change?

• محدودیت سیستم های مدیریت پایگاه داده رابطه ای Limits of relational database management systems

• معرفی CAP (قوام ، در دسترس بودن ، تقسیم بندی) Introducing CAP (consistency, availability, partitioning)

• درک داده های بزرگ Understanding big data

2. Hadoop چیست؟ 2. What Is Hadoop?

• معرفی Hadoop Introducing Hadoop

• درک توزیع Hadoop Understanding Hadoop distributions

• درک تفاوت HBase و Hadoop Understanding the difference between HBase and Hadoop

• کاوش در آینده Hadoop Exploring the future of Hadoop

3. درک اجزای اصلی هسته Hadoop 3. Understanding Hadoop Core Components

• درک ماشینهای مجازی جاوا (JVM) Understanding Java Virtual Machines (JVMs)

• کاوش در HDFS و سایر سیستمهای پرونده Exploring HDFS and other file systems

• معرفی اجزای خوشه Hadoop Introducing Hadoop cluster components

• معرفی Harkop Spark Introducing Hadoop Spark

• کاوش در توزیع های Apache و Cloudera Hadoop Exploring the Apache and Cloudera Hadoop distributions

• استفاده از ابر عمومی برای میزبانی Hadoop: AWS یا GCP Using the public cloud to host Hadoop: AWS or GCP

4- تنظیم محیط توسعه Hadoop 4. Setting up Hadoop Development Environment

• درک قسمت ها و قطعات Understanding the parts and pieces

• میزبانی از Hadoop به صورت محلی با توزیع توسعه دهنده Cloudera Hosting Hadoop locally with the Cloudera developer distribution

• راه اندازی ماشین مجازی توسعه دهنده Cloudera Hadoop Setting up the Cloudera Hadoop developer virtual machine

• کتابخانه های Hadoop را به محیط آزمایش خود اضافه کنید Adding Hadoop libraries to your test environment

• انتخاب زبان برنامه نویسی و IDE خود Picking your programming language and IDE

• برای توسعه از GCP Dataproc استفاده کنید Use GCP Dataproc for development

5. درک MapReduce 1.0 5. Understanding MapReduce 1.0

• درک MapReduce 1.0 Understanding MapReduce 1.0

• کاوش در مؤلفه های یک کار MapReduce Exploring the components of a MapReduce job

• کار با سیستم پرونده Hadoop Working with the Hadoop file system

• کار MapReduce را با استفاده از کنسول اجرا کنید Running a MapReduce job using the console

• مرور کد برای یک کار MapReduce WordCount Reviewing the code for a MapReduce WordCount job

• در حال اجرا و پیگیری کارهای Hadoop Running and tracking Hadoop jobs

6. تنظیم MapReduce 6. Tuning MapReduce

• تنظیم با روش های فیزیکی Tuning by physical methods

• تنظیم یک Mapper Tuning a Mapper

• تنظیم یک Reducer Tuning a Reducer

• استفاده از حافظه نهان برای جستجوی Using a cache for lookups

7. درک MapReduce 2.0 / YARN 7. Understanding MapReduce 2.0/YARN

• درک MapReduce 2.0 Understanding MapReduce 2.0

• کدگذاری یک WordCount اساسی در جاوا با استفاده از MapReduce 2.0 Coding a basic WordCount in Java using MapReduce 2.0

• کاوش پیشرفته WordCount در جاوا با استفاده از MapReduce 2.0 Exploring advanced WordCount in Java using MapReduce 2.0

8. درک کندو 8. Understanding Hive

• معرفی کندو و HBase Introducing Hive and HBase

• درک کندو Understanding Hive

• بارگیری مجدد WordCount با استفاده از کندو Revisiting WordCount using Hive

• شناخت بیشتر در مورد بهینه سازی درخواست HQL Understanding more about HQL query optimization

• استفاده از کندو در GCP Dataproc Using Hive in GCP Dataproc

9. درک خوک 9. Understanding Pig

• معرفی خوک Introducing Pig

• درک خوک Understanding Pig

• بررسی موارد استفاده برای Pig Exploring use cases for Pig

• بررسی ابزارهای خوک در GCP Dataproc Exploring Pig tools in GCP Dataproc

10. درک جریان کار و اتصالات 10. Understanding Workflows and Connectors

• معرفی اوزی Introducing Oozie

• ایجاد یک گردش کار با اوزی Building a workflow with Oozie

• معرفی Sqoop Introducing Sqoop

• وارد کردن داده با Sqoop Importing data with Sqoop

• معرفی ZooKeeper Introducing ZooKeeper

• هماهنگی گردش کار با ZooKeeper Coordinating workflows with ZooKeeper

11. با استفاده از جرقه 11. Using Spark

• معرفی جرقه آپاچی Introducing Apache Spark

• اجرای یک کار Spark برای محاسبه Pi Running a Spark job to calculate Pi

• اجرای یک کار Spark در یک نوت بوک Jupyter Running a Spark job in a Jupyter Notebook

12. Hadoop امروز 12. Hadoop Today

• درک گزینه های یادگیری ماشین Understanding machine learning options

• درک دریاچه های داده Understanding data lakes

• تجسم سیستم های Hadoop Visualizing Hadoop systems

مراحل بعدی Next Steps

• مراحل بعدی با Hadoop Next steps with Hadoop