آموزش Apache Airflow Essential Training

سرفصل ها و درس ها

معرفی Introduction

• آموزش ضروری Apache Airflow Apache Airflow essential training

1. کار با TaskFlow API 1. Working with the TaskFlow API

• پیش نیازها Prerequisites

• نمای کلی راه اندازی جریان هوای سریع Quick Airflow setup overview

• DAG با استفاده از PythonOperators DAG using PythonOperators

• DAG با استفاده از TaskFlow DAG using TaskFlow

• انتقال داده ها با استفاده از XCom با اپراتورها Passing data using XCom with operators

• انتقال داده با استفاده از TaskFlow API Passing data using the TaskFlow API

• وظایف با خروجی های متعدد Tasks with multiple outputs

• ارسال چندین خروجی در TaskFlow Passing multiple outputs in TaskFlow

2. انجام عملیات با استفاده از TaskFlow 2. Performing Operations Using TaskFlow

• انشعاب با استفاده از اپراتورها Branching using operators

• انشعاب با استفاده از TaskFlow API Branching using the TaskFlow API

• خط لوله انشعاب را با استفاده از TaskFlow کامل کنید Complete branching pipeline using TaskFlow

• تعامل و ارسال داده ها بین اپراتورها و TaskFlow Interoperating and passing data between operators and TaskFlow

• انجام عملیات SQL با TaskFlow Performing SQL operations with TaskFlow

• تبدیل و ذخیره سازی داده ها با استفاده از TaskFlow Data transformation and storage using TaskFlow

3. یکپارچه سازی PostgreSQL در جریان هوا 3. Integrating PostgreSQL in Airflow

• نصب PostgreSQL در macOS Installing PostgreSQL on macOS

• نصب PostgreSQL در WSL Installing PostgreSQL on WSL

• اتصال به PostgreSQL Connecting to PostgreSQL

• با استفاده از عملگر PostgreSQL Using the PostgreSQL operator

• انجام عملیات درج PostgreSQL Performing PostgreSQL insert operations

• انجام عملیات Join PostgreSQL Performing PostgreSQL join operations

• یک خط لوله کامل سرتاسر با PostgreSQL A complete end-to-end pipeline with PostgreSQL

• پیکربندی PostgreSQL به عنوان یک پایگاه داده ابرداده و استفاده از LocalExecutor Configuring PostgreSQL as a metadata database and using the LocalExecutor

4. استفاده از سنسورها در جریان هوا 4. Using Sensors in Airflow

• معرفی FileSensor Introducing the FileSensor

• ایجاد خط لوله با استفاده از FileSensor Creating a pipeline using the FileSensor

• اجرای DAG با FileSensor Running DAGs with a FileSensor

• ایجاد و اجرای خط لوله با SQLSensors Creating and running a pipeline with SQLSensors

5. کار با هوک در جریان هوا 5. Working with Hooks in Airflow

• راه اندازی خط لوله PostgreSQL با قلاب Setting up for a PostgreSQL pipeline with hooks

• ایجاد و اجرای خط لوله با قلاب های PostgresSQL Creating and running a pipeline with PostgresSQL hooks

• راه اندازی دسترسی به سطل های آمازون S3 Setting up access to Amazon S3 buckets

• راه اندازی اتصال به سطل های آمازون S3 Setting up a connection to Amazon S3 buckets

• ایجاد و اجرای خط لوله با قلاب S3 Creating and running a pipeline with an S3 hook

نتیجه Conclusion

• خلاصه و مراحل بعدی Summary and next steps