آموزش مدیریت خط لوله مهندسی داده با Apache Airflow - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• ویژگی‌های مدیریت خط لوله مهندسی داده Features for data engineering pipeline management

1. کار با کنترل دسترسی مبتنی بر نقش (RBAC) 1. Working with Role-Based Access Control

• نقش‌های عمومی و مشاهده‌گر The public and viewer roles

• ایجاد کاربران با نقش‌های مختلف Creating users with different roles

• ایجاد کاربر مدیر و بررسی نقش‌ها Creating an admin user and exploring roles

• ایجاد و پیکربندی یک نقش سفارشی Creating and configuring a custom role

• افزودن مجوزها به نقش عمومی Adding permissions to the public role

• مرور سریع نصب Quick install overview

• اجرای یک DAG شاخه‌ای ساده Executing a simple branching DAG

• نقش اپراتور (op) The op role

• اقدامات، منابع و مجوزها Actions, resources, and permissions

• پیش‌نیازها Prerequisites

• نقش کاربر (user) The user role

• اجرای یک SQL DAG ساده Executing a simple SQL DAG

2. مدیریت توافق‌نامه سطح خدمات (SLA) 2. Managing SLAs

• پیکربندی اقدام در صورت شکست DAG Configuring DAG failed action

• راه‌اندازی و مشاهده خطاهای SLA Triggering and viewing SLA misses

• پیکربندی SLA در سطح DAG Configuring DAG-level SLAs

• پیکربندی SLA در سطح تسک Configuring task-level SLAs

• پیکربندی ایمیل‌ها برای مدیریت SLA Configuring emails for SLA management

3. زمان‌بندی DAGها با مجموعه‌داده‌ها 3. Scheduling DAGs with Datasets

• زمان‌بندی آگاه از داده با مجموعه‌داده‌های متعدد Data-aware scheduling with multiple datasets

• خط لوله تولید خرید و خط لوله Join Purchases producer pipeline and join pipeline

• خط لوله تولید مجموعه‌داده Dataset producer pipeline

• خط لوله مصرف‌کننده مجموعه‌داده Dataset consumer pipeline

• زمان‌بندی آگاه از داده (Data aware scheduling) Data-aware scheduling

4. کار با پلاگین‌های Airflow 4. Working with Airflow Plugins

• بررسی پلاگین CSV reader Exploring the CSV reader plugin

• معرفی پلاگین‌ها Introducing plugins

• افزودن آیتم‌های منو با استفاده از پلاگین‌ها Adding menu items using plugins

• پیاده‌سازی پلاگین CSV reader Implementing the CSV reader plugin

5. مقیاس‌پذیری Airflow 5. Scaling Airflow

• نصب RabbitMQ روی macOS و لینوکس Install RabbitMQ on macOS and Linux

• اجرای تسک‌ها روی یک Celery worker واحد Executing tasks on a single Celery worker

• مقیاس‌پذیری Apache Airflow Scaling Apache Airflow

• راه‌اندازی کاربر مدیر برای RabbitMQ Set up an admin user for RabbitMQ

• پیکربندی CeleryExecutor برای Airflow Configuring the CeleryExecutor for Airflow

• ساخت DAG برای خط لوله تبدیل داده DAG for the transformation pipeline

• تخصیص تسک‌ها به صف‌ها (Queues) Assigning tasks to queues

• اجرای تسک‌ها روی چندین Celery worker Executing tasks on multiple Celery workers

• راه‌اندازی اولیه برای خط لوله تبدیل Basic setup for the transformation pipeline

جمع‌بندی Conclusion

• خلاصه و گام‌های بعدی Summary and next steps