آموزش اتوماسیون و ارکستراسیون خط لوله داده (Data Pipeline) با پایتون - آخرین آپدیت

سرفصل ها و درس ها

ارکستراسیون جریان کاری در مهندسی داده Workflow Orchestration in Data Engineering

• ارکستراسیون و اهمیت آن Orchestration and Its Importance

• ابزارهای رایج ارکستراسیون جریان کاری Common Workflow Orchestration Tools

• تفاوت زمان‌بندی تسک‌ها و ارکستراسیون جریان کاری Task Scheduling vs. Workflow Orchestration

• ارکستراسیون برای افزایش قابلیت اطمینان و کارایی Orchestration for Reliability and Efficiency

استفاده از Apache Airflow برای اتوماسیون جریان‌های کاری داده Apache Airflow to Automate Data Workflows

• نصب و پیکربندی Apache Airflow Install and Configure Apache Airflow

• نصب، پیکربندی و اجرای سرویس‌های Airflow Install, Configure, and Start Airflow Services

• تعریف DAG و تعیین وابستگی‌ها Define DAG and Set Dependencies

• اپراتورهای Airflow برای فایل‌های API پایگاه داده Airflow Operators for Database API Files

• مدیریت تلاش مجدد و خطاهای تسک در Airflow Handle Retries and Task Failures in Airflow

استفاده از Prefect برای اتوماسیون سبک خط لوله Prefect for Lightweight Pipeline Automation

• نصب و پیکربندی Prefect Install and Configure Prefect

• تعریف و اجرای جریان‌های Prefect Define and Execute Prefect Flows

• پیاده‌سازی مدیریت وضعیت در Prefect Implement Prefect State Management

• مقایسه Prefect در مقابل Airflow Prefect vs. Airflow

مانیتورینگ و نگهداری جریان‌های کاری اتوماتیک داده Monitor and Maintain Automated Data Workflows

• راه‌اندازی سیستم لاگینگ و هشدار Set up Logging and Alerting

• ردیابی اجرای DAG Track DAG Execution

• پیاده‌سازی تلاش مجدد و استراتژی Backoff Implement Retries and Backoff

• دسترسی به متادیتای جریان کاری Accessing Workflow Metadata