آموزش Apache Airflow

معرفی Introduction

• مروری بر جریان هوای آپاچی An overview of Apache Airflow

1. معرفی Apache Airflow 1. Introducing Apache Airflow

• مفاهیم و معماری Apache Airflow Apache Airflow concepts and architecture

• راه اندازی اولیه: macOS و Windows Initial setup: macOS and Windows

• درک پیکربندی جریان هوا Understanding Airflow configuration

• جریان هوا در حال اجرا Running Airflow

2. اجرای گردش کار در جریان هوا 2. Running Workflows on Airflow

• پیمایش و کاوش در رابط کاربری Airflow Navigating and exploring the Airflow UI

• ایجاد اولین DAG شما Creating your first DAG

• اولین DAG خود را اجرا کنید Running your first DAG

• ایجاد یک DAG با استفاده از کلمه کلیدی with Creating a DAG using the with keyword

3. تعریف وظایف و وابستگی ها 3. Defining Tasks and Dependencies

• تعیین وابستگی وظایف Specifying task dependencies

• استفاده از عملگرهای Bitshift برای مشخصات وابستگی Using the Bitshift operators for dependency specification

• استفاده از اسکریپت های bash در DAG Using bash scripts in the DAG

4. استفاده از عملگر پایتون و XCom 4. Using the Python Operator and XCom

• معرفی عملگر پایتون Introducing the Python operator

• عملگرها و وابستگی های پایتون Python operators and dependencies

• ارسال پارامترها به فراخوانی های پایتون Passing parameters to Python callables

• معرفی XCom Introducing XCom

• استفاده از XCom برای انتقال مقادیر Using XCom to pass values

• اجرای خط لوله انتقال داده DAG، بخش 1 Implementing a data transformation DAG pipeline, part 1

• اجرای خط لوله انتقال داده DAG، بخش 2 Implementing a data transformation DAG pipeline, part 2

5. استفاده از اپراتور SQLite برای عملیات SQL 5. Using the SQLite Operator for SQL Operations

• راه اندازی SQLite DB و اتصال Setting up the SQLite DB and connection

• معرفی اپراتور SQLite Introducing the SQLite operator

• پیاده سازی خط لوله DAG مبتنی بر SQL، قسمت 1 Implementing a SQL-based DAG pipeline, part 1

• پیاده سازی خط لوله DAG مبتنی بر SQL، قسمت 2 Implementing a SQL-based DAG pipeline, part 2

6. شاخه های مشروط و گروه های وظیفه 6. Conditional Branching and TaskGroups

• معرفی انشعاب Introducing branching

• انشعاب شرطی با متغیرها Conditional branching with variables

• گروه های وظیفه و برچسب های لبه Task groups and edge labels

7. عبارات Catch Up، Backfill و CRON 7. Catch Up, Backfill, and CRON Expressions

• با تمام اجراهای برنامه ریزی شده قبلی هماهنگ شوید Catch up with all previously scheduled runs

• اجراهای برنامه ریزی شده را پر کنید Backfill scheduled runs

نتیجه Conclusion

• خلاصه و مراحل بعدی Summary and next steps