آموزش ایرفلو: تسلط بر مفاهیم کلیدی و غلبه بر چالش‌ها - آخرین آپدیت

سرفصل ها و درس ها

Introduction and Installation

• معرفی Airflow Introduction to Airflow

• مروری بر ویژگی‌ها و مزایای Airflow Overview of Airflow features and benefits

• مفاهیم مهم DAG DAG Important Concepts

• نصب و پیکربندی Airflow در محیط‌های محلی Installing and configuring Airflow on local environments

• چالش‌های نصب Installation Challenges

طراحی و مدیریت گردش کار Workflow Design and Management

• درک معماری و اجزای Apache Airflow Understanding Apache Airflow architecture and components

• اجراکننده‌های Apache Airflow: یک راهنمای جامع Apache Airflow Executors : A comprehensive guide

• بررسی DAG نمونه و راهنمای ایجاد یک DAG Examining the example DAG and guide to create a DAG

• قسمت 1: ایجاد یک DAG ساده در Apache Airflow Part 1: Creating a simple DAG in Apache Airflow

• قسمت 2: ایجاد DAG های پیچیده در Apache Airflow Part 2: Creating a complex DAGs in Apache Airflow

• وابستگی‌های Task و زمان‌بندی Task dependencies and Scheduling

• مدیریت اجرای گردش کار، تلاش‌های مجدد و SLAها Managing Workflow Execution, Retries and SLAs

• مدیریت وابستگی‌های پیچیده و موازی‌سازی در DAGها Handling Complex Dependencies and Parallelism in DAGs

اپراتورها و سنسورها Operators and Sensors

• معرفی اپراتورها در Apache Airflow Introduction to Operators in Apache Airflow

• بررسی عمیق اپراتورهای رایج Deep dive into common Operators

• معرفی سنسورها در Apache Airflow Introduction to Sensors in Apache Airflow

• اپراتورها و سنسورهای سفارشی Custom Operators and Sensors

• موارد استفاده از اپراتورها و سنسورهای سفارشی در Apache Airflow Use cases of custom Operators and Sensors in Apache Airflow

• اپراتور سفارشی - قالب Jinja Custom Operator - Jinja template

مفاهیم پیشرفته و مقیاس‌پذیری Advanced Concepts and Scaling

• معرفی SubDAGها و انشعاب Introduction to SubDAGs and Branching

• تبادل داده در Airflow با XCom Data Exchange in Airflow with XCom

• تسلط بر Connectionها و Variableها در Airflow Mastering Connections and Variables in Airflow

• مقیاس‌بندی و بهینه‌سازی Apache Airflow Scaling and Optimizing Apache Airflow

• درک Machine Learning Understanding of Machine Learning

• ادغام گردش‌های کار ML در Apache Airflow Integrating ML workflows in Apache Airflow

• چالش‌ها در گردش‌های کار پیشرفته Airflow و راهکارهای آن‌ها Challenges in Advanced Airflow Workflows and their Resolutions

بارگذاری افزایشی داده Incremental Data Load

• درک پردازش افزایشی داده Understanding Incremental Data Processing

• پردازش افزایشی داده با اپراتور سفارشی Airflow Incremental Data Processing with Custom Airflow Operator

• استراتژی‌های کارآمد تبدیل و بارگذاری Efficient Transformation and Loading Strategies