آموزش هدوپ (2020)

Learning Hadoop (2020)

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
هنگام پردازش کلان داده هادوپ ضروری است – همانطور که سرورها برای ذخیره سازی اطلاعات شما برای درک اطلاعات شما ضروری هستند. این دوره مقدمه شما برای Hadoop است. فایل سیستم های کلیدی مورد استفاده با Hadoop. موتور پردازش آن، MapReduce، و بسیاری از کتابخانه ها و ابزارهای برنامه نویسی آن. توسعه‌دهنده و مشاور داده‌های بزرگ Lynn Langit نحوه راه‌اندازی یک محیط توسعه Hadoop، اجرای و بهینه‌سازی مشاغل MapReduce، کدگذاری پرس و جوهای اساسی با Hive و Pig، و ایجاد گردش کار برای زمان‌بندی کارها را نشان می‌دهد. به‌علاوه، درباره عمق و وسعت کتابخانه‌های Apache Spark موجود برای استفاده با خوشه Hadoop و همچنین گزینه‌هایی برای اجرای کارهای یادگیری ماشین در خوشه Hadoop اطلاعات کسب کنید.

سرفصل ها و درس ها

معرفی Introduction

  • شروع کار با Hadoop Getting started with Hadoop

  • آنچه باید قبل از تماشای این دوره بدانید What you should know before watching this course

  • استفاده از خدمات ابری Using cloud services

1. چرا تغییر؟ 1. Why Change?

  • محدودیت های سیستم های مدیریت پایگاه داده رابطه ای Limits of relational database management systems

  • معرفی CAP (ثبات، در دسترس بودن، پارتیشن بندی) Introducing CAP (consistency, availability, partitioning)

  • درک کلان داده Understanding big data

2. هادوپ چیست؟ 2. What Is Hadoop?

  • معرفی Hadoop Introducing Hadoop

  • آشنایی با توزیع های Hadoop Understanding Hadoop distributions

  • درک تفاوت بین HBase و Hadoop Understanding the difference between HBase and Hadoop

  • کاوش در آینده Hadoop Exploring the future of Hadoop

3. درک اجزای هسته Hadoop 3. Understanding Hadoop Core Components

  • آشنایی با ماشین های مجازی جاوا (JVM) Understanding Java Virtual Machines (JVMs)

  • کاوش HDFS و سایر سیستم های فایل Exploring HDFS and other file systems

  • معرفی اجزای خوشه Hadoop Introducing Hadoop cluster components

  • معرفی Hadoop Spark Introducing Hadoop Spark

  • کاوش در توزیع های Apache و Cloudera Hadoop Exploring the Apache and Cloudera Hadoop distributions

  • استفاده از ابر عمومی برای میزبانی Hadoop: AWS یا GCP Using the public cloud to host Hadoop: AWS or GCP

4. راه اندازی Hadoop Development Environment 4. Setting up Hadoop Development Environment

  • شناخت قطعات و قطعات Understanding the parts and pieces

  • میزبانی Hadoop به صورت محلی با توزیع توسعه دهنده Cloudera Hosting Hadoop locally with the Cloudera developer distribution

  • راه اندازی ماشین مجازی توسعه دهنده Cloudera Hadoop Setting up the Cloudera Hadoop developer virtual machine

  • افزودن کتابخانه های Hadoop به محیط آزمایشی شما Adding Hadoop libraries to your test environment

  • انتخاب زبان برنامه نویسی و IDE شما Picking your programming language and IDE

  • از GCP Dataproc برای توسعه استفاده کنید Use GCP Dataproc for development

5. درک MapReduce 1.0 5. Understanding MapReduce 1.0

  • آشنایی با MapReduce 1.0 Understanding MapReduce 1.0

  • کاوش اجزای یک کار MapReduce Exploring the components of a MapReduce job

  • کار با فایل سیستم Hadoop Working with the Hadoop file system

  • اجرای یک کار MapReduce با استفاده از کنسول Running a MapReduce job using the console

  • مرور کد برای کار MapReduce WordCount Reviewing the code for a MapReduce WordCount job

  • اجرای و ردیابی مشاغل Hadoop Running and tracking Hadoop jobs

6. تنظیم MapReduce 6. Tuning MapReduce

  • تنظیم با روش های فیزیکی Tuning by physical methods

  • تنظیم نقشه‌بردار Tuning a Mapper

  • تنظیم یک کاهش دهنده Tuning a Reducer

  • استفاده از کش برای جستجو Using a cache for lookups

7. درک MapReduce 2.0/YARN 7. Understanding MapReduce 2.0/YARN

  • آشنایی با MapReduce 2.0 Understanding MapReduce 2.0

  • کدنویسی یک WordCount در جاوا با استفاده از MapReduce 2.0 Coding a basic WordCount in Java using MapReduce 2.0

  • کاوش WordCount پیشرفته در جاوا با استفاده از MapReduce 2.0 Exploring advanced WordCount in Java using MapReduce 2.0

8. درک Hive 8. Understanding Hive

  • معرفی Hive و HBase Introducing Hive and HBase

  • درک کندو Understanding Hive

  • بازبینی WordCount با استفاده از Hive Revisiting WordCount using Hive

  • درک بیشتر در مورد بهینه سازی پرس و جو HQL Understanding more about HQL query optimization

  • استفاده از Hive در GCP Dataproc Using Hive in GCP Dataproc

9. درک خوک 9. Understanding Pig

  • معرفی خوک Introducing Pig

  • درک خوک Understanding Pig

  • بررسی موارد استفاده برای Pig Exploring use cases for Pig

  • کاوش ابزارهای Pig در GCP Dataproc Exploring Pig tools in GCP Dataproc

10. درک گردش کار و اتصالات 10. Understanding Workflows and Connectors

  • معرفی Oozie Introducing Oozie

  • ایجاد یک گردش کار با Oozie Building a workflow with Oozie

  • معرفی Sqoop Introducing Sqoop

  • وارد کردن داده ها با Sqoop Importing data with Sqoop

  • معرفی ZooKeeper Introducing ZooKeeper

  • هماهنگی گردش کار با ZooKeeper Coordinating workflows with ZooKeeper

11. استفاده از Spark 11. Using Spark

  • معرفی آپاچی اسپارک Introducing Apache Spark

  • اجرای یک کار Spark برای محاسبه Pi Running a Spark job to calculate Pi

  • اجرای یک کار اسپارک در نوت بوک Jupyter Running a Spark job in a Jupyter Notebook

12. Hadoop Today 12. Hadoop Today

  • آشنایی با گزینه های یادگیری ماشینی Understanding machine learning options

  • درک دریاچه های داده Understanding data lakes

  • تجسم سیستم های هدوپ Visualizing Hadoop systems

مراحل بعدی Next Steps

  • مراحل بعدی با Hadoop Next steps with Hadoop

نمایش نظرات

Linkedin (لینکدین)

لینکدین: شبکه اجتماعی حرفه‌ای برای ارتباط و کارآفرینی

لینکدین به عنوان یکی از بزرگترین شبکه‌های اجتماعی حرفه‌ای، به میلیون‌ها افراد در سراسر جهان این امکان را می‌دهد تا ارتباط برقرار کنند، اطلاعات حرفه‌ای خود را به اشتراک بگذارند و فرصت‌های شغلی را کشف کنند. این شبکه اجتماعی به کاربران امکان می‌دهد تا رزومه حرفه‌ای خود را آپدیت کنند، با همکاران، دوستان و همکاران آینده ارتباط برقرار کنند، به انجمن‌ها و گروه‌های حرفه‌ای ملحق شوند و از مقالات و مطالب مرتبط با حوزه کاری خود بهره‌مند شوند.

لینکدین همچنین به کارفرمایان امکان می‌دهد تا به دنبال نیروهای با تجربه و مهارت مورد نیاز خود بگردند و ارتباط برقرار کنند. این شبکه حرفه‌ای به عنوان یک پلتفرم کلیدی برای بهبود دسترسی به فرصت‌های شغلی و گسترش شبکه حرفه‌ای خود، نقش مهمی را ایفا می‌کند. از این رو، لینکدین به عنوان یکی از مهمترین ابزارهای کارآفرینی و توسعه حرفه‌ای در دنیای امروز مورد توجه قرار دارد.

آموزش هدوپ (2020)
جزییات دوره
4h 6m
57
Linkedin (لینکدین) Linkedin (لینکدین)
(آخرین آپدیت)
69,146
- از 5
دارد
دارد
دارد
Lynn Langit
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Lynn Langit Lynn Langit

Cloud Architect

Lynn Langit یک معمار ابری است که با خدمات وب آمازون و Google Cloud Platform کار می کند.

لین متخصص در پروژه های کلان داده است. او با AWS Athena، Aurora، Redshift، Kinesis و IoT کار کرده است. او همچنین کارهای تولیدی را با Databricks برای Apache Spark و Google Cloud Dataproc، Bigtable، BigQuery و Cloud Spanner انجام داده است.

لین همچنین بنیانگذار  است. آموزش برنامه نویسی به کودکان. او درباره داده ها و فناوری های ابری در آمریکای شمالی و جنوبی، اروپا، آفریقا، آسیا و استرالیا صحبت کرده است.