آموزش جامع آپاچی ایرفلو (Apache Airflow) 2023 - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مروری بر آپاچی ایرفلو An overview of Apache Airflow

1. معرفی آپاچی ایرفلو 1. Introducing Apache Airflow

• مفاهیم و معماری آپاچی ایرفلو Apache Airflow concepts and architecture

• راه‌اندازی اولیه: مک و ویندوز Initial setup: macOS and Windows

• درک پیکربندی‌های ایرفلو Understanding Airflow configuration

• اجرای ایرفلو Running Airflow

2. اجرای جریان‌های کاری در ایرفلو 2. Running Workflows on Airflow

• ایجاد یک DAG با استفاده از کلمه کلیدی with Creating a DAG using the with keyword

• اجرای اولین DAG شما Running your first DAG

• ساخت اولین DAG Creating your first DAG

• کار با رابط کاربری (UI) ایرفلو Navigating and exploring the Airflow UI

3. تعریف تسک‌ها و وابستگی‌ها 3. Defining Tasks and Dependencies

• تعیین وابستگی‌های تسک‌ها Specifying task dependencies

• استفاده از اسکریپت‌های bash در DAG Using bash scripts in the DAG

• استفاده از اپراتورهای Bitshift برای تعیین وابستگی Using the Bitshift operators for dependency specification

4. استفاده از اپراتور پایتون و XCom 4. Using the Python Operator and XCom

• پیاده‌سازی خط لوله DAG برای تبدیل داده‌ها - بخش اول Implementing a data transformation DAG pipeline, part 1

• معرفی XCom Introducing XCom

• معرفی اپراتور پایتون Introducing the Python operator

• ارسال پارامترها به توابع پایتون Passing parameters to Python callables

• استفاده از XCom برای انتقال مقادیر Using XCom to pass values

• پیاده‌سازی خط لوله DAG برای تبدیل داده‌ها - بخش دوم Implementing a data transformation DAG pipeline, part 2

• اپراتورهای پایتون و وابستگی‌ها Python operators and dependencies

5. استفاده از اپراتور SQLite برای عملیات SQL 5. Using the SQLite Operator for SQL Operations

• معرفی اپراتور SQLite Introducing the SQLite operator

• پیاده‌سازی خط لوله DAG مبتنی بر SQL - بخش اول Implementing a SQL-based DAG pipeline, part 1

• پیاده‌سازی خط لوله DAG مبتنی بر SQL - بخش دوم Implementing a SQL-based DAG pipeline, part 2

• راه‌اندازی پایگاه داده SQLite و اتصال Setting up the SQLite DB and connection

6. شاخه‌بندی شرطی و TaskGroups 6. Conditional Branching and TaskGroups

• گروه‌های تسک (Task groups) و برچسب‌های لبه Task groups and edge labels

• معرفی شاخه‌بندی (Branching) Introducing branching

• شاخه‌بندی شرطی با استفاده از متغیرها Conditional branching with variables

7. مفاهیم Catch Up، Backfill و عبارات CRON 7. Catch Up, Backfill, and CRON Expressions

• پر کردن داده‌های گذشته (Backfill) در اجراهای زمان‌بندی شده Backfill scheduled runs

• به‌روزرسانی (Catch up) با تمام اجراهای زمان‌بندی شده قبلی Catch up with all previously scheduled runs

جمع‌بندی Conclusion

• خلاصه و گام‌های بعدی Summary and next steps