آموزش تولید خطوط لوله داده با جریان هوا Apache

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

معرفی جریان هوا آپاچی Introducing Apache Airflow

• مقدمه Introduction

• بیشترین بهره را از این دوره بگیرید Getting the Most Out of This Course

• خط لوله درجه تولید در جریان هوا A Production Grade Pipeline in Airflow

• طرح کلی این دوره Outline of This Course

کالبد شکافی اجزای خط لوله Dissecting the Components of a Pipeline

• مقدمه Introduction

• معماری جریان هوا Apache Architecture of Apache Airflow

• نسخه ی نمایشی: نصب جریان هوا Apache به صورت محلی Demo: Installing Apache Airflow Locally

• چگونه خط لوله را در جریان هوا نماییم؟ How Do We Represent a Pipeline in Airflow?

• نسخه ی نمایشی: اولین DAG ما Demo: Our First DAG

• تشریح DAG ها: وظایف و گردانندگان Dissecting DAGs: Tasks and Operators

• نسخه ی نمایشی: ایجاد خط لوله ما (قسمت 1) Demo: Creating Our Pipeline (Part 1)

• نسخه ی نمایشی: ایجاد خط لوله ما (قسمت 2) Demo: Creating Our Pipeline (Part 2)

• نکات کلیدی و مهم Key Takeaways and Tips

تخریب مشکلات مشترک DAGs Demystifying Common DAGs Pitfalls

• مقدمه Introduction

• نسخه ی نمایشی: DAG چه زمانی اجرا می شود؟ Demo: When Is the DAG Going to Execute?

• درک تاریخ شروع و زمان برنامه Understanding start_date and schedule_interval

• رسیدگی به موارد پیش فرض برنامه ریزی نشده Handling Non-default schedule_interval Cases

• نسخه ی نمایشی: تسلط بر زمانبندی Demo: Mastering Scheduling

• نسخه ی نمایشی: DAG ها از آینده گذشته Demo: DAGs from the Future Past

• نکات کلیدی و مهم Key Takeaways and Tips

چکیده عملکرد Abstracting Functionality

• مقدمه Introduction

• نسخه ی نمایشی: با استفاده از الگوهای ماکرو و جریان هوا Demo: Using Macros and Airflow Templates

• جریان پیشرفته DAG با انشعاب & nbsp؛ Advanced DAG Flow with Branching 

• نسخه ی نمایشی: اولین کار مشروط ما Demo: Our First Conditional Task

• نسخه ی نمایشی: گسترش عملکرد با اپراتورهای سفارشی Demo: Extending Functionality with Custom Operators

• نسخه ی نمایشی: به اشتراک گذاری اجزا با پلاگین های جریان هوا Demo: Sharing Components with Airflow Plugins

• نکات کلیدی و مهم Key Takeaways and Tips

مقیاس بندی جریان هوا Scaling Airflow

• مقدمه Introduction

• نسخه ی نمایشی: چرا کارهای من پی در پی هستند؟ Demo: Why Are My Tasks Sequential?

• مجریان متوالی ، محلی و کرفس Sequential, Local and Celery Executors

• نسخه ی نمایشی: درک همزمانی و موازی سازی با مجری محلی Demo: Understanding Concurrency and Parallelism with Local Executor

• نسخه ی نمایشی: نصب کرفس نصب Demo: Installing Celery Setup

• نسخه ی نمایشی: توزیع کارها با مجری کرفس Demo: Distributing Tasks with Celery Executor

• یادداشتی در مورد جریان هوا در کوبرنتس A Note Regarding Airflow in Kubernetes

• نکات کلیدی و مهم Key Takeaways and Tips

افکار نهایی Final Thoughts

• مقدمه Introduction

• گذر از سفر ما A Walkthrough of Our Journey

• جریان هوا چگونه در آینده ML قرار می گیرد؟ How Does Airflow Fit into the Future of ML?

• کجا ادامه دهید Where to Continue