آموزش یادگیری هدوپ

سرفصل ها و درس ها

معرفی Introduction

• از خدمات ابری استفاده کنید Use cloud services

• هادوپ چی و چرا؟ What and why Hadoop?

• آنچه شما باید بدانید What you should know

1. Cloud Hadoop را راه اندازی کنید 1. Set Up Cloud Hadoop

• هادوپ چیست؟ What is Hadoop?

• GCP Dataproc Metastore و VM Cluster را راه اندازی کنید Set up GCP Dataproc Metastore and VM cluster

• توزیع هادوپ و خدمات ابری را مرور کنید Review Hadoop distributions and cloud services

• خوشه GCP Dataproc VM را تأیید کنید Verify GCP Dataproc VM cluster

2. اجزای هسته Hadoop را درک کنید 2. Understand Hadoop Core Components

• آشنایی با ماشین های مجازی جاوا (JVM) Understand Java virtual machines (JVMs)

• سیستم های فایل Hadoop را کاوش کنید: HDFS Explore Hadoop file systems: HDFS

• سیستم های فایل Hadoop را کاوش کنید: AWS S3 Explore Hadoop file systems: AWS S3

• اجزای Hadoop را درک کنید Understand Hadoop components

• بررسی اجزای خوشه Hadoop Review Hadoop cluster components

3. محیط توسعه را تنظیم و تأیید کنید 3. Set Up and Verify Development Environment

• بررسی خروجی کار Review job output

• بررسی مشاغل آزمون Review test jobs

• رابط های وب Hadoop را در محیط آزمایشی خود تأیید کنید Verify Hadoop web interfaces in your test environment

• از رابط Jupyter برای Hadoop استفاده کنید Use the Jupyter interface for Hadoop

• رابط های وب Hadoop Spark را در محیط آزمایشی خود تأیید کنید Verify Hadoop Spark web interfaces in your test environment

4. MapReduce را درک کنید 4. Understand MapReduce

• MapReduce تعداد کلمات چیست؟ What is MapReduce word count?

• MapReduce چیست؟ What is MapReduce?

• بررسی MapReduce کار تعداد کلمات Review MapReduce word count job

• کد شغل MapReduce WordCount را مرور کنید Review MapReduce WordCount job code

• برای کدنویسی جاوا MapReduce آماده شوید Prepare for MapReduce Java coding

5. MapReduce را تنظیم کنید 5. Tune MapReduce

• از MR 2.0 و 3.0 استفاده کنید Use MR 2.0 and 3.0

• نمونه های بهینه سازی MR را مرور کنید Review MR optimization examples

• تنظیم با روش های فیزیکی Tune by physical methods

• درک انواع داده ها Understanding data types

• تنظیم یک کاهنده Tune a Reducer

• یک نقشه‌بردار را تنظیم کنید Tune a Mapper

6. Scale Cloud Hadoop 6. Scale Cloud Hadoop

• به Cloud Hadoop مهاجرت کنید Migrate to Cloud Hadoop

• مقیاس خوشه های Kubernetes Spark Scale Kubernetes Spark clusters

• از سیاست های مقیاس خودکار استفاده کنید Use autoscale policies

• مقیاس بندی خوشه های مبتنی بر VM Scale VM-based Clusters

7. از Hive، Pig و Spark استفاده کنید 7. Use Hive, Pig, and Spark

• جداول را با Hive ایجاد و پرس و جو کنید Create and query tables with Hive

• معماری Spark را مرور کنید Review Spark architecture

• Hive و HBase را درک کنید Understand Hive and HBase

• WordCount را با استفاده از Pig اجرا کنید Run WordCount using Pig

• خوک را درک کنید Understand Pig

• مقیاس کاری Spark برای محاسبه Pi Scale a Spark job to calculate Pi

نتیجه Conclusion

• درباره استفاده از Hadoop بیشتر بدانید Learn more about using Hadoop