آموزش جامع آپاچی ایرفلو (Apache Airflow) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• نمایی کلی از آپاچی ایرفلو An overview of Apache Airflow

1. معرفی آپاچی ایرفلو 1. Introducing Apache Airflow

• نصب ایرفلو برای کاربران ویندوز و مک Windows and macOS users: installing Airflow

• معماری ایرفلو Airflow architecture

• اجرای ایرفلو به صورت Standalone Running Airflow standalone

• نصب WSL2 برای کاربران ویندوز Windows users: install WSL2

• مفاهیم بنیادی آپاچی ایرفلو Apache Airflow concepts

2. اجرای گردش‌های کاری در ایرفلو 2. Running Workflows on Airflow

• کار با رابط کاربری (UI) ایرفلو Navigating and exploring the Airflow UI

• اجرای یک DAG نمونه Running an example DAG

• ایجاد DAG با استفاده از کلمه کلیدی with Creating a DAG using the "with" keyword

• ایجاد اولین DAG شما Creating your first DAG

• اجرای اولین DAG شما Running your first DAG

3. تعریف تسک‌ها و وابستگی‌ها 3. Defining Tasks and Dependencies

• تعیین وابستگی‌های تسک Specifying task dependencies

• استفاده از اپراتور bitshift برای تعریف وابستگی‌ها Using the bitshift operator for dependency specification

• پاک‌سازی وضعیت تسک برای اجرای مجدد Clearing task state to rerun tasks

• استفاده از اسکریپت‌های bash در DAG Using bash scripts in the DAG

4. اجرای تسک‌های مبتنی بر پایتون 4. Running Python-Based Tasks

• پیاده‌سازی خط لوله تبدیل داده‌ها (بخش اول) Implementing a data transformation DAG pipeline part-I

• تزریق کانتکست تسک (Task Context) Injecting task context

• ارسال پارامترها به توابع پایتون Passing parameters to Python callables

• دسترسی به مقادیر XCom با استفاده از کلیدهای سفارشی Accessing values in XCom using custom keys

• معرفی اپراتور پایتون (Python Operator) Introducing the Python operator

• پیاده‌سازی خط لوله تبدیل داده‌ها (بخش دوم) Implementing a data transformation DAG pipeline part-II

• معرفی XCom Introducing XCom

• دسترسی به مقادیر در XCom Accessing values in XCom

• اپراتورهای پایتون و وابستگی‌ها Python operators and dependencies

5. اجرای کوئری‌های SQL در تسک‌ها 5. Executing SQL Queries in Tasks

• پیاده‌سازی خط لوله مبتنی بر SQL (بخش دوم) Implementing a SQL based DAG pipeline part-II

• راه‌اندازی پایگاه داده SQLite و اتصال Setting up the SQLite database and connection

• پیاده‌سازی خط لوله مبتنی بر SQL (بخش اول) Implementing a SQL based DAG pipeline part-I

• معرفی SQLExecuteQueryOperator Introducing the SQLExecuteQueryOperator

6. شاخه‌بندی شرطی و گروه‌های تسک (TaskGroups) 6. Conditional Branching and TaskGroups

• گروه‌های تسک و برچسب‌های یال (Edge Labels) Task groups and edge labels

• معرفی شاخه‌بندی (Branching) Introducing branching

• شاخه‌بندی شرطی با استفاده از متغیرها Conditional branching with variables

7. مفاهیم Catch Up، Backfill، عبارات CRON و تنظیمات Trigger 7. Catch Up, Backfill, CRON Expressions, and Trigger Configurations

• بازه داده‌ها و پیکربندی اجرا Data interval and run configuration

• بروزرسانی (Catch up) تمام اجراهای زمان‌بندی شده قبلی Catch up with all previously scheduled runs

• پر کردن داده‌های گذشته (Backfill) برای اجراهای زمان‌بندی شده Backfill scheduled runs

• پیکربندی تاریخ‌های منطقی (Logical Dates) Configuring logical dates

جمع‌بندی Conclusion

• خلاصه و گام‌های بعدی Summary and next steps