آموزش تولید خطوط لوله داده با جریان هوا Apache

Productionalizing Data Pipelines with Apache Airflow

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیویی برای نمایش وجود ندارد.
توضیحات دوره: این دوره به شما می آموزد که چطور می توانید بر روی خطوط لوله تولید داده با سهولت در جریان هوا Apache تسلط پیدا کنید. درست نیست که خطوط تولید داده درجه تولید را بدست آورید. حتی وقتی آنها تمام می شوند ، هر بروزرسانی به دلیل قسمت اصلی آن در زیرساخت های هر سازمان ، پیچیده است. در این دوره ، با استفاده از جریان هوا Apache ، خط تولید داده ها را تولید می کنید و می آموزید با استفاده از Apache Airflow بر آنها تسلط پیدا کنید. ابتدا ، بررسی خواهید کرد جریان هوا چیست و چگونه خطوط داده را ایجاد می کند. در مرحله بعدی ، خواهید فهمید که چگونه خطوط لوله خود را بیشتر مقاوم و قابل پیش بینی کنید. سرانجام ، شما نحوه توزیع وظایف را با مجریان کرفس و Kubernetes فرا خواهید گرفت. پس از پایان این دوره ، مهارت و دانش Apache Airflow مورد نیاز برای تولید درجه تولید خط لوله داده را خواهید داشت.

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

معرفی جریان هوا آپاچی Introducing Apache Airflow

  • مقدمه Introduction

  • بیشترین بهره را از این دوره بگیرید Getting the Most Out of This Course

  • خط لوله درجه تولید در جریان هوا A Production Grade Pipeline in Airflow

  • طرح کلی این دوره Outline of This Course

کالبد شکافی اجزای خط لوله Dissecting the Components of a Pipeline

  • مقدمه Introduction

  • معماری جریان هوا Apache Architecture of Apache Airflow

  • نسخه ی نمایشی: نصب جریان هوا Apache به صورت محلی Demo: Installing Apache Airflow Locally

  • چگونه خط لوله را در جریان هوا نماییم؟ How Do We Represent a Pipeline in Airflow?

  • نسخه ی نمایشی: اولین DAG ما Demo: Our First DAG

  • تشریح DAG ها: وظایف و گردانندگان Dissecting DAGs: Tasks and Operators

  • نسخه ی نمایشی: ایجاد خط لوله ما (قسمت 1) Demo: Creating Our Pipeline (Part 1)

  • نسخه ی نمایشی: ایجاد خط لوله ما (قسمت 2) Demo: Creating Our Pipeline (Part 2)

  • نکات کلیدی و مهم Key Takeaways and Tips

تخریب مشکلات مشترک DAGs Demystifying Common DAGs Pitfalls

  • مقدمه Introduction

  • نسخه ی نمایشی: DAG چه زمانی اجرا می شود؟ Demo: When Is the DAG Going to Execute?

  • درک تاریخ شروع و زمان برنامه Understanding start_date and schedule_interval

  • رسیدگی به موارد پیش فرض برنامه ریزی نشده Handling Non-default schedule_interval Cases

  • نسخه ی نمایشی: تسلط بر زمانبندی Demo: Mastering Scheduling

  • نسخه ی نمایشی: DAG ها از آینده گذشته Demo: DAGs from the Future Past

  • نکات کلیدی و مهم Key Takeaways and Tips

چکیده عملکرد Abstracting Functionality

  • مقدمه Introduction

  • نسخه ی نمایشی: با استفاده از الگوهای ماکرو و جریان هوا Demo: Using Macros and Airflow Templates

  • جریان پیشرفته DAG با انشعاب & nbsp؛ Advanced DAG Flow with Branching 

  • نسخه ی نمایشی: اولین کار مشروط ما Demo: Our First Conditional Task

  • نسخه ی نمایشی: گسترش عملکرد با اپراتورهای سفارشی Demo: Extending Functionality with Custom Operators

  • نسخه ی نمایشی: به اشتراک گذاری اجزا با پلاگین های جریان هوا Demo: Sharing Components with Airflow Plugins

  • نکات کلیدی و مهم Key Takeaways and Tips

مقیاس بندی جریان هوا Scaling Airflow

  • مقدمه Introduction

  • نسخه ی نمایشی: چرا کارهای من پی در پی هستند؟ Demo: Why Are My Tasks Sequential?

  • مجریان متوالی ، محلی و کرفس Sequential, Local and Celery Executors

  • نسخه ی نمایشی: درک همزمانی و موازی سازی با مجری محلی Demo: Understanding Concurrency and Parallelism with Local Executor

  • نسخه ی نمایشی: نصب کرفس نصب Demo: Installing Celery Setup

  • نسخه ی نمایشی: توزیع کارها با مجری کرفس Demo: Distributing Tasks with Celery Executor

  • یادداشتی در مورد جریان هوا در کوبرنتس A Note Regarding Airflow in Kubernetes

  • نکات کلیدی و مهم Key Takeaways and Tips

افکار نهایی Final Thoughts

  • مقدمه Introduction

  • گذر از سفر ما A Walkthrough of Our Journey

  • جریان هوا چگونه در آینده ML قرار می گیرد؟ How Does Airflow Fit into the Future of ML?

  • کجا ادامه دهید Where to Continue

نمایش نظرات

Pluralsight (پلورال سایت)

Pluralsight یکی از پرطرفدارترین پلتفرم‌های آموزش آنلاین است که به میلیون‌ها کاربر در سراسر جهان کمک می‌کند تا مهارت‌های خود را توسعه دهند و به روز رسانی کنند. این پلتفرم دوره‌های آموزشی در زمینه‌های فناوری اطلاعات، توسعه نرم‌افزار، طراحی وب، مدیریت پروژه، و موضوعات مختلف دیگر را ارائه می‌دهد.

یکی از ویژگی‌های برجسته Pluralsight، محتوای بروز و با کیفیت آموزشی آن است. این پلتفرم با همکاری با توسعه‌دهندگان و کارشناسان معتبر، دوره‌هایی را ارائه می‌دهد که با توجه به تغییرات روزافزون در صنعت فناوری، کاربران را در جریان آخرین مفاهیم و تکنولوژی‌ها نگه می‌دارد. این امر به کاربران این اطمینان را می‌دهد که دوره‌هایی که در Pluralsight می‌پذیرند، با جدیدترین دانش‌ها و تجارب به روز شده‌اند.

آموزش تولید خطوط لوله داده با جریان هوا Apache
جزییات دوره
2h 13m
40
Pluralsight (پلورال سایت) Pluralsight (پلورال سایت)
(آخرین آپدیت)
-
از 5
دارد
دارد
دارد
Axel Sirota
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Axel Sirota Axel Sirota

آکسل سیروتا دارای مدرک کارشناسی ارشد ریاضیات است که علاقه زیادی به عملیات یادگیری عمیق و یادگیری ماشین دارد. وی پس از تحقیق در زمینه احتمال ، آمار و بهینه سازی یادگیری ماشین ، در حال حاضر در JAMPP به عنوان یک مهندس تحقیق در زمینه یادگیری ماشین مشغول به کار است که از داده های مشتری برای پیش بینی دقیق در زمان واقعی پیشنهاد استفاده می کند.