آموزش جامع و ضروری آپاچی ایرفلو (Apache Airflow) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• آموزش ضروری آپاچی ایرفلو Apache Airflow essential training

1. کار با TaskFlow API 1. Working with the TaskFlow API

• مرور سریع نحوه نصب Airflow Quick Airflow setup overview

• انتقال داده‌ها با استفاده از XCom در اپراتورها Passing data using XCom with operators

• ارسال خروجی‌های متعدد در TaskFlow Passing multiple outputs in TaskFlow

• ساخت DAG با استفاده از PythonOperators DAG using PythonOperators

• ساخت DAG با استفاده از TaskFlow DAG using TaskFlow

• انتقال داده‌ها با استفاده از TaskFlow API Passing data using the TaskFlow API

• پیش‌نیازها Prerequisites

• تسک‌های با خروجی‌های متعدد Tasks with multiple outputs

2. اجرای عملیات‌ها با استفاده از TaskFlow 2. Performing Operations Using TaskFlow

• شاخه بندی (Branching) با استفاده از TaskFlow API Branching using the TaskFlow API

• شاخه بندی با استفاده از اپراتورها Branching using operators

• اجرای عملیات SQL با TaskFlow Performing SQL operations with TaskFlow

• تعامل و انتقال داده بین اپراتورها و TaskFlow Interoperating and passing data between operators and TaskFlow

• پایپ‌لاین کامل شاخه بندی با استفاده از TaskFlow Complete branching pipeline using TaskFlow

• تبدیل و ذخیره‌سازی داده‌ها با TaskFlow Data transformation and storage using TaskFlow

3. ادغام PostgreSQL در Airflow 3. Integrating PostgreSQL in Airflow

• نصب PostgreSQL روی WSL Installing PostgreSQL on WSL

• اتصال به PostgreSQL Connecting to PostgreSQL

• استفاده از اپراتور PostgreSQL Using the PostgreSQL operator

• اجرای عملیات Join در PostgreSQL Performing PostgreSQL join operations

• نصب PostgreSQL روی macOS Installing PostgreSQL on macOS

• پایپ‌لاین کامل انتها به انتها با PostgreSQL A complete end-to-end pipeline with PostgreSQL

• پیکربندی PostgreSQL به عنوان دیتابیس متاداده و استفاده از LocalExecutor Configuring PostgreSQL as a metadata database and using the LocalExecutor

• اجرای عملیات درج (Insert) در PostgreSQL Performing PostgreSQL insert operations

4. استفاده از سنسورها در Airflow 4. Using Sensors in Airflow

• ساخت و اجرای پایپ‌لاین با SQLSensors Creating and running a pipeline with SQLSensors

• ساخت پایپ‌لاین با استفاده از FileSensor Creating a pipeline using the FileSensor

• اجرای DAGها با FileSensor Running DAGs with a FileSensor

• معرفی FileSensor Introducing the FileSensor

5. کار با هوک‌ها در Airflow 5. Working with Hooks in Airflow

• ساخت و اجرای پایپ‌لاین با S3 hook Creating and running a pipeline with an S3 hook

• تنظیم دسترسی به باکت‌های Amazon S3 Setting up access to Amazon S3 buckets

• ایجاد اتصال به باکت‌های Amazon S3 Setting up a connection to Amazon S3 buckets

• آماده‌سازی پایپ‌لاین PostgreSQL با استفاده از هوک‌ها Setting up for a PostgreSQL pipeline with hooks

• ساخت و اجرای پایپ‌لاین با هوک‌های PostgreSQL Creating and running a pipeline with PostgresSQL hooks

جمع‌بندی Conclusion

• خلاصه و گام‌های بعدی Summary and next steps