آموزش تولید خطوط لوله داده با جریان هوا Apache 1

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

معرفی جریان هوا آپاچی Introducing Apache Airflow

• مقدمه Introduction

• بررسی نسخه Version Check

• مقدمه Introduction

• بیشترین بهره را از این دوره بگیرید Getting the Most Out of This Course

• خط لوله درجه تولید در جریان هوا A Production Grade Pipeline in Airflow

• بیشترین استفاده را از این دوره Getting the Most Out of This Course

• طرح کلی این دوره Outline of This Course

• یک خط لوله درجه تولید در جریان هوا A Production Grade Pipeline in Airflow

• طرح کلی این دوره Outline of This Course

کالبد شکافی اجزای خط لوله Dissecting the Components of a Pipeline

• مقدمه Introduction

• معماری جریان هوا آپاچی Architecture of Apache Airflow

• نسخه ی نمایشی: نصب جریان هوا Apache به صورت محلی Demo: Installing Apache Airflow Locally

• چگونه می توانیم خط لوله ای در جریان هوا را نشان دهیم؟ How Do We Represent a Pipeline in Airflow?

• نسخه ی نمایشی: اولین DAG ما Demo: Our First DAG

• discing dags: کارها و اپراتورها Dissecting DAGs: Tasks and Operators

• نسخه ی نمایشی: ایجاد خط لوله ما (قسمت 1) Demo: Creating Our Pipeline (Part 1)

• نسخه ی نمایشی: ایجاد خط لوله ما (قسمت 2) Demo: Creating Our Pipeline (Part 2)

• غذاها و نکات کلیدی Key Takeaways and Tips

تخریب مشکلات مشترک DAGs Demystifying Common DAGs Pitfalls

• مقدمه Introduction

• نسخه ی نمایشی: چه زمانی DAG اجرا می شود؟ Demo: When Is the DAG Going to Execute?

• درک start_date و share_interval Understanding start_date and schedule_interval

• رسیدگی به موارد غیر پیش فرض Handling Non-default schedule_interval Cases

• نسخه ی نمایشی: تسلط بر برنامه ریزی Demo: Mastering Scheduling

• نسخه ی نمایشی: DAG از گذشته آینده Demo: DAGs from the Future Past

• غذاها و نکات کلیدی Key Takeaways and Tips

چکیده عملکرد Abstracting Functionality

• مقدمه Introduction

• نسخه ی نمایشی: با استفاده از ماکروها و الگوهای جریان هوا Demo: Using Macros and Airflow Templates

• جریان پیشرفته DAG با انشعاب & nbsp؛ Advanced DAG Flow with Branching 

• جریان پیشرفته DAG با انشعاب  Advanced DAG Flow with Branching 

• نسخه ی نمایشی: اولین کار مشروط ما Demo: Our First Conditional Task

• نسخه ی نمایشی: گسترش عملکرد با اپراتورهای سفارشی Demo: Extending Functionality with Custom Operators

• نسخه ی نمایشی: به اشتراک گذاری اجزای با افزونه های جریان هوا Demo: Sharing Components with Airflow Plugins

• غذاها و نکات کلیدی Key Takeaways and Tips

مقیاس بندی جریان هوا Scaling Airflow

• مقدمه Introduction

• نسخه ی نمایشی: چرا وظایف من متوالی است؟ Demo: Why Are My Tasks Sequential?

• مجریان متوالی ، محلی و کرفس Sequential, Local and Celery Executors

• نسخه ی نمایشی: درک همزمانی و موازی با مجری محلی Demo: Understanding Concurrency and Parallelism with Local Executor

• نسخه ی نمایشی: نصب تنظیمات کرفس Demo: Installing Celery Setup

• نسخه ی نمایشی: توزیع وظایف با مجری کرفس Demo: Distributing Tasks with Celery Executor

• یادداشتی در مورد جریان هوا در Kubernetes A Note Regarding Airflow in Kubernetes

• غذاها و نکات کلیدی Key Takeaways and Tips

افکار نهایی Final Thoughts

• مقدمه Introduction

• پیاده روی سفر ما A Walkthrough of Our Journey

• جریان هوا چگونه در آینده ML جای می گیرد؟ How Does Airflow Fit into the Future of ML?

• از کجا ادامه دهید Where to Continue