آموزش یادگیری هدوپ

Learning Hadoop

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: Hadoop هنگام پردازش کلان داده ضروری است - همانطور که سرورها برای ذخیره اطلاعات شما لازم است. در این دوره، معمار ابر، لین لنگیت، معرفی کاملی از Hadoop ارائه می دهد. نحوه راه اندازی Cloud Hadoop را بیاموزید و در مورد اجزای اصلی مانند JVM ها، سیستم فایل HDFS، AWS S3 و اجزای کلاستر بیاموزید. مراحل تنظیم و تأیید محیط توسعه خود را طی کنید. راه‌هایی را که می‌توانید از MapReduce با Hadoop استفاده کنید، کاوش کنید و یاد بگیرید که چگونه هر کار MapReduce را تنظیم کنید. به مقیاس‌بندی خوشه‌های Hadoop مبتنی بر VM در GCP Dataproc HDFS بروید. نحوه انتخاب گزینه های NoSQL مناسب برای Hadoop با Hive، HBase و Pig را بیاموزید. به علاوه، به معماری Apache Spark و نحوه اجرای یک کار Apache Spark در یک کلاستر Hadoop بپردازید.

سرفصل ها و درس ها

معرفی Introduction

  • از خدمات ابری استفاده کنید Use cloud services

  • هادوپ چی و چرا؟ What and why Hadoop?

  • آنچه شما باید بدانید What you should know

1. Cloud Hadoop را راه اندازی کنید 1. Set Up Cloud Hadoop

  • هادوپ چیست؟ What is Hadoop?

  • GCP Dataproc Metastore و VM Cluster را راه اندازی کنید Set up GCP Dataproc Metastore and VM cluster

  • توزیع هادوپ و خدمات ابری را مرور کنید Review Hadoop distributions and cloud services

  • خوشه GCP Dataproc VM را تأیید کنید Verify GCP Dataproc VM cluster

2. اجزای هسته Hadoop را درک کنید 2. Understand Hadoop Core Components

  • آشنایی با ماشین های مجازی جاوا (JVM) Understand Java virtual machines (JVMs)

  • سیستم های فایل Hadoop را کاوش کنید: HDFS Explore Hadoop file systems: HDFS

  • سیستم های فایل Hadoop را کاوش کنید: AWS S3 Explore Hadoop file systems: AWS S3

  • اجزای Hadoop را درک کنید Understand Hadoop components

  • بررسی اجزای خوشه Hadoop Review Hadoop cluster components

3. محیط توسعه را تنظیم و تأیید کنید 3. Set Up and Verify Development Environment

  • بررسی خروجی کار Review job output

  • بررسی مشاغل آزمون Review test jobs

  • رابط های وب Hadoop را در محیط آزمایشی خود تأیید کنید Verify Hadoop web interfaces in your test environment

  • از رابط Jupyter برای Hadoop استفاده کنید Use the Jupyter interface for Hadoop

  • رابط های وب Hadoop Spark را در محیط آزمایشی خود تأیید کنید Verify Hadoop Spark web interfaces in your test environment

4. MapReduce را درک کنید 4. Understand MapReduce

  • MapReduce تعداد کلمات چیست؟ What is MapReduce word count?

  • MapReduce چیست؟ What is MapReduce?

  • بررسی MapReduce کار تعداد کلمات Review MapReduce word count job

  • کد شغل MapReduce WordCount را مرور کنید Review MapReduce WordCount job code

  • برای کدنویسی جاوا MapReduce آماده شوید Prepare for MapReduce Java coding

5. MapReduce را تنظیم کنید 5. Tune MapReduce

  • از MR 2.0 و 3.0 استفاده کنید Use MR 2.0 and 3.0

  • نمونه های بهینه سازی MR را مرور کنید Review MR optimization examples

  • تنظیم با روش های فیزیکی Tune by physical methods

  • درک انواع داده ها Understanding data types

  • تنظیم یک کاهنده Tune a Reducer

  • یک نقشه‌بردار را تنظیم کنید Tune a Mapper

6. Scale Cloud Hadoop 6. Scale Cloud Hadoop

  • به Cloud Hadoop مهاجرت کنید Migrate to Cloud Hadoop

  • مقیاس خوشه های Kubernetes Spark Scale Kubernetes Spark clusters

  • از سیاست های مقیاس خودکار استفاده کنید Use autoscale policies

  • مقیاس بندی خوشه های مبتنی بر VM Scale VM-based Clusters

7. از Hive، Pig و Spark استفاده کنید 7. Use Hive, Pig, and Spark

  • جداول را با Hive ایجاد و پرس و جو کنید Create and query tables with Hive

  • معماری Spark را مرور کنید Review Spark architecture

  • Hive و HBase را درک کنید Understand Hive and HBase

  • WordCount را با استفاده از Pig اجرا کنید Run WordCount using Pig

  • خوک را درک کنید Understand Pig

  • مقیاس کاری Spark برای محاسبه Pi Scale a Spark job to calculate Pi

نتیجه Conclusion

  • درباره استفاده از Hadoop بیشتر بدانید Learn more about using Hadoop

نمایش نظرات

آموزش یادگیری هدوپ
جزییات دوره
1h 53m
39
Linkedin (لینکدین) Linkedin (لینکدین)
(آخرین آپدیت)
1,830
- از 5
ندارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar