آموزش بوت‌کمپ جامع آپاچی ایرفلو 3 - Apache Airflow 3 [همراه با پروژه‌های عملی] - آخرین آپدیت

سرفصل ها و درس ها

معرفی دوره و منابع Course Introduction & Resources

• مقدمه Introduction

• محتوای دوره Course Content

• منابع Resources

• نحوه استفاده از منابع How To Use Resources?

• چگونه بیشترین بهره را ببریم؟ How To Make Best Use?

• سلب مسئولیت Disclaimer

مبانی Apache Airflow Apache Airflow Fundamentals

• مقدمه Introduction

• ارکستراسیون چیست؟ What is Orchestration?

• آپاچی ایرفلو چیست؟ What is Apache Airflow?

• آپاچی ایرفلو چه چیزی نیست؟ What Apache Airflow is NOT?

• موارد استفاده از Apache Airflow Apache Airflow Use Cases

معماری و اجزای Airflow Airflow Architecture & Components

• DAG چیست؟ What is DAG?

• توضیح Task Instance Task Instance Explained

• Task Operator Task Operator

• ساختار Airflow Airflow Structure

• پایگاه داده متادیتا در Airflow Airflow Metadata Database

• پردازشگر DAG DAG Processor

• وب‌سرور Airflow Airflow Web Server

• زمان‌بند (Scheduler) Scheduler

• اجراکننده‌ها (Executors) و ورکرها Executors & Workers

• صف (Queue) Queue

• Triggerer Triggerer

• معماری کامل Complete Architecture

• تست دانش Knowledge Test

نصب Airflow Airflow Installation

• نصب پایتون و داکر Install Python & Docker

• فایل Docker Compose ایرفلو Airflow Docker Compose File

• اجرای کانتینرهای Apache Airflow Running Apache Airflow Containers

• رابط کاربری (UI) ایرفلو Airflow UI

شروع کار با DAGها DAGs - Getting Started

• اولین DAG شما Your First DAG

• نسخه‌بندی DAG DAG Versioning

• نحوه همگام‌سازی DAGها How DAGs are SYNCED?

• اجرای دستورات از ترمینال محلی Run Commands From Local Terminal

• دسترسی به دیتابیس Airflow Access Airflow Database

• متوقف کردن کانتینرها Shutting Down Containers

اپراتورهای Apache Airflow Apache Airflow Operators

• اپراتورها در Airflow Operators in Airflow

• Bash Operator Bash Operator

• Python Operator Python Operator

• استفاده از Context Manager در DAGها DAGs With Context Manager

مفاهیم XCOMs و kwargs XCOMs & kwargs

• مقدمه Introduction

• XCOMs چیستند؟ What are XCOMs?

• راه‌اندازی XCOMs XCOMs setup

• عملیات دستی XCOMs Manual XCOMs Operations

• دریافت داده با XCOMs Pull XCOMs Pull

• عیب‌یابی XCOMs XCOMs Debug

• مدیریت خودکار XCOMs Auto-Managed XCOMs

• استفاده از XCOMs برای Bash Operator XCOMs For Bash Operator

• kwargs چیستند؟ What are kwargs?

• ایجاد kwargs Creating kwargs

• متغیرهای پایتون با Bash kwargs Python Variables With Bash kwargs

• سیاست‌های تلاش مجدد (Retry) در DAG Retry Policies In DAG

• دسترسی به Logical Date Access Logical Date

• تست دانش Knowledge Test

زمان‌بندی، Backfilling و بارگذاری افزایشی Scheduling, Backfilling, & Incremental Load

• مقدمه Introduction

• اجزای زمان‌بندی Scheduling Components

• روش‌های مختلف زمان‌بندی Different Ways To Schedule

• عبارات CRON CRON Expressions

• Delta Triggers Delta Triggers

• زمان‌بندی DAG با CRON Schedule DAG With CRON

• بازیابی داده‌ها با CATCHUP Backfilling Data With CATCHUP

• چرا Delta Triggers؟ Why Delta Triggers?

• ساخت DAG با Delta Trigger Build DAG With Delta Trigger

• تریگرهای رویدادهای خاص Special Events Triggers

• استفاده از EVENTSTIMETABLE Using EVENTSTIMETABLE

• زمان‌بندی مبتنی بر بازه (Interval) Interval Based Scheduling

• بارگذاری افزایشی داده‌ها Incremental Data Loading

• ساخت DAGهای بارگذاری افزایشی Incremental Loading DAGs

• تست دانش Knowledge Test

شاخه‌بندی DAGها و گروه‌های تسک DAGs Branching & Task Groups

• مقدمه Introduction

• DAGهای موازی شاخه‌بندی شده Parallel Branched DAGs

• بهبود DAG موازی Improved Parallel DAG

• DAGهای شرطی Conditional DAGs

• گروه‌های تسک برای سازماندهی بهتر Task Groups For Better Organization

• توضیح وابستگی وضعیت (Status Dependency) Status Dependency Explained

• ادغام وابستگی وضعیت با DAGها Integrate Status Dependency With DAGs

• Parent DAG چیست؟ What is a Parent DAG?

• چگونه Parent DAGها را بسازیم؟ How To Build Parent DAGs?

اولین پروژه ETL با Airflow First ETL Airflow Project

• مقدمه Introduction

• معماری پروژه ETL ETL Project Architecture

• ساختار کدبیس Codebase Structure

• معرفی FastAPI FastAPI

• فایل داکر برای FastAPI Docker File For FastAPI

• کانتینرهای Docker Compose Docker Compose Containers

• برقراری تماس‌های API Making API Calls

• ساخت DAG استخراج (EXTRACT) EXTRACT - DAG

• عیب‌یابی استخراج داده‌ها Debug Extract Data

• ساخت DAG تبدیل (TRANSFORM) TRANSFORM - DAG

• ساخت DAG بارگذاری (LOAD) LOAD - DAG

• SQL Operator SQL Operator

• اتصال SQL در Airflow SQL Connection In Airflow

• اجرای SQL Operator در DAG Execute SQL Operator In DAG

• هوک‌ها (Hooks) در Airflow Hooks In Airflow

• جریان کامل پروژه Complete Flow

دارایی‌ها (Assets) و DAGهای آگاه به داده Assets - Data Aware DAGs

• مقدمه Introduction

• Asset چیست؟ What is an Asset?

• چه زمانی از Asset استفاده کنیم؟ When To Use an Asset?

• ایجاد و متریالیزه کردن Asset Create & Materialize Asset

• عیب‌یابی Asset در رابط کاربری ایرفلو Debug Asset In Airflow UI

• ساخت DAG آگاه به داده Build Data Aware DAG

• عیب‌یابی DAG آگاه به داده Debug Data Aware DAG

مقیاس‌بندی Airflow Scale Airflow

• استفاده از چندین ورکر در Airflow Multiple Workers In Airflow

• اصلاح Docker Compose Modify Docker Compose

• اجرای کانتینرهای داکر Run Docker Containers

• معرفی Airflow Flower Airflow Flower

• عیب‌یابی Debugging

• استفاده از چندین صف برای بارهای کاری مختلف Multiple Queues For Different Workloads

• اصلاح فایل Docker Compose برای صف‌ها Modify Docker Compose File For Queue

• عیب‌یابی DAG Debug The DAG

سفارشی‌سازی Airflow برای پکیج‌ها Customize Airflow For Packages

• ایجاد Image سفارشی Airflow Custom Airflow Image

• افزودن پکیج‌های سفارشی Add Custom Packages

• خطاهای احتمالی Potential Error

پروژه جامع: Airflow, Spark, AWS, Databricks End-To-End Project : Airflow, Spark, AWS, Databricks

• معماری پروژه Project Architecture

• راه‌اندازی حساب AWS AWS Account Setup

• ایجاد S3 Bucket Create S3 Bucket

• استفاده از Github API Github API

• ساختار کدبیس Codebase Structure

• کلاس جذب داده‌ها (Ingest Data) Ingest Data CLASS

• مدیریت دسترسی AWS IAM AWS IAM

• کلیدهای دسترسی AWS AWS Access Keys

• نوشتن داده‌ها در S3 Write Data To S3

• مسیرهای سیستم (Sys Path) Sys Path

• عیب‌یابی DAG استخراج Debug EXTRACT DAG

• تنظیمات IAM برای AWS Glue AWS Glue IAM

• اجرای AWS Spark Job AWS Spark Job

• تریگر کردن Spark Job با Boto3 Trigger Spark Job With Boto3

• ساخت DAG برای Spark Job Spark Job DAG

• داده‌های Parquet برای Crawler Parquet Data For Crawler

• ایجاد AWS Crawler Create AWS Crawler

• معرفی AWS Athena AWS Athena

• مدیریت شروع و توقف Crawler با Airflow Start Stop Crawler With Airflow

• معماری لایه طلایی (Gold Layer) Gold Layer Architecture

• راه‌اندازی Databricks Databricks Setup

• دسترسی Databricks به S3 Databricks Access S3

• خواندن داده‌ها از S3 Read Data From S3

• ساخت لایه طلایی Build Gold Layer

• استفاده از Databricks SDK Databricks SDK

• ساخت DAG ایرفلو برای Databricks Databricks Airflow DAG

• بررسی وضعیت (Polling) و هم‌روندی Polling & Concurrency

گام‌های بعدی شما Your Next Steps

• گام‌های بعدی برای دانشجویان Students' next steps

شبیه‌سازی نقش متخصص Apache Airflow Apache Airflow Role Play

• معرفی کوتاه Quick Intro

• تبدیل به متخصص Apache Airflow Apache Airflow Expert