آموزش مدیریت جریان‌های کاری مهندسی داده با Apache Airflow - آخرین آپدیت

مبانی ارکستراسیون جریان کاری و Apache Airflow Foundations of Workflow Orchestration and Apache Airflow

• معرفی دوره Course Introduction

• مفاهیم خطوط لوله مهندسی داده و ETL/ELT Data Engineering Pipelines and ETL/ELT Concepts

• چرا ارکستراسیون جریان کاری در مهندسی داده اهمیت دارد Why Workflow Orchestration Matters in Data Engineering

• تمرین عملی: ساخت خط لوله داده ساده بدون ارکستراسیون Hands On: Simple Data Pipeline Without Orchestration

• آپاچی ایرفلو چیست؟ موارد کاربرد و اکوسیستم What is Apache Airflow Use Cases and Ecosystem

• معماری Airflow Airflow Architecture

• مفاهیم کلیدی – DAGها Core Concepts – DAGs

• تمرین عملی: نصب Airflow و بررسی رابط کاربری وب Hands On: Installing Airflow and Exploring the Web UI

• ساختار DAG، زمان‌بندی و بهترین متدها DAG Structure, Scheduling and Best Practices

• تمرین عملی: نوشتن و اجرای یک DAG ساده Hands On: Writing and Running a Basic DAG

• تمرین عملی: وابستگی‌ها، زمان‌بندی و اجرای دستی در مقابل زمان‌بندی شده Hands On: Dependencies, Scheduling and Manual vs Scheduled Runs

ساخت خطوط لوله داده قابل اعتماد با Airflow Building Reliable Data Pipelines with Airflow

• اپراتورها، هوک‌ها و سنسورها Operators, Hooks and Sensors

• رابط TaskFlow API و XComs TaskFlow API and XComs

• تمرین عملی: تسک‌های ETL با استفاده از PythonOperator و TaskFlow API Hands On: ETL Tasks Using PythonOperator and TaskFlow API

• تمرین عملی: استفاده از سنسورها برای انتظار داده‌های خارجی Hands On: Sensors Waiting for External Data

• طراحی خطوط لوله ETL در مقابل ELT Designing ETL vs ELT Pipelines

• متغیرها، اتصالات و خطوط لوله پارامتری Variables, Connections and Parameterized Pipelines

• تمرین عملی: ساخت یک خط لوله ETL کامل (End-to-End) Hands On: Building an End-to-End ETL Pipeline

• تمرین عملی: زمان‌بندی و پیکربندی با استفاده از متغیرها Hands On: Scheduling and Configuration Using Variables

• تلاش مجدد، SLAها، هشدارها و لاگ‌گیری Retries, SLAs, Alerts and Logging

• تکرارپذیری (Idempotency) و سازگاری داده‌ها در خطوط لوله Idempotency and Data Consistency in Pipelines

• تمرین عملی: مدیریت خطاها و تلاش‌های مجدد Hands On: Handling Failures and Retries

• تمرین عملی: عیب‌یابی تسک‌های شکست‌خورده با استفاده از لاگ‌ها و UI Hands On: Debugging Failed Tasks Using Logs and UI

طراحی پیشرفته DAG و Airflow در سطح عملیاتی Advanced DAG Design and Production-Grade Airflow

• موازی‌سازی، همزمانی، Poolها و Executorها Parallelism, Concurrency, Pools and Executors

• Backfilling، Catchup و بهینه‌سازی عملکرد Backfilling, Catchup and Performance Optimization

• تمرین عملی: مدیریت تسک‌های موازی و Backfillها Hands On: Managing Parallel Tasks and Backfills

• DAGهای پویا، شاخه‌بندی و قوانین Trigger Dynamic DAGs, Branching and Trigger Rules

• تمرین عملی: تولید پویا تسک‌ها Hands On: Dynamic Task Generation

• تمرین عملی: اجرای شرطی جریان‌های کاری Hands On: Conditional Workflow Execution

• بهترین متدهای محیط عملیاتی، امنیت و CI/CD Production Best Practices, Security and CI/CD

• تست DAG و کنترل نسخه DAG Testing and Version Control

• تمرین عملی: کنترل نسخه DAGها Hands On: Version Controlling DAGs

• تمرین عملی: استقرار Airflow در محیط مشابه عملیاتی Hands On: Deploying Airflow in a Production-like Setup

جمع‌بندی دوره و ارزیابی Course Wrap-Up and Assessment

• جمع‌بندی نهایی دوره Course Summary