آموزش Apache Airflow: The Hands-On Guide

سرفصل ها و درس ها

معرفی Introduction

• پیش نیازهای مهم Important Prerequisites

• پیش نیازهای مهم Important Prerequisites

• نقشه راه The Roadmap

• نقشه راه The Roadmap

• من کی هستم؟ Who I am?

• محیط توسعه Development Environment

معرفی Introduction

• من کی هستم؟ Who I am?

• محیط توسعه Development Environment

اصول اولیه Apache Airflow The basics of Apache Airflow

• معرفی Introduction

• چرا جریان هوا؟ Why Airflow?

• چرا جریان هوا؟ Why Airflow?

• جریان هوا چیست؟ What is Airflow?

• جریان هوا چیست؟ What is Airflow?

• جریان هوا چگونه کار می کند؟ How Airflow works?

• راز کوچک وب سرور و زمان بندی The little secret of the webserver and the scheduler

• [تمرین] نصب Airflow 2.0 [Practice] Installing Airflow 2.0

• [تمرین] گشت سریع Airflow UI [Practice] Quick tour of Airflow UI

• [تمرین] گشت سریع Airflow CLI [Practice] Quick tour of Airflow CLI

• یادداشت جانبی سریع Quick side note

• یادداشت جانبی سریع Quick side note

اصول اولیه Apache Airflow The basics of Apache Airflow

• معرفی Introduction

• جریان هوا چگونه کار می کند؟ How Airflow works?

• راز کوچک وب سرور و زمان بندی The little secret of the webserver and the scheduler

• [تمرین] نصب Airflow 2.0 [Practice] Installing Airflow 2.0

• [تمرین] گشت سریع Airflow UI [Practice] Quick tour of Airflow UI

• [تمرین] گشت سریع Airflow CLI [Practice] Quick tour of Airflow CLI

خط لوله داده فارکس The Forex Data Pipeline

• معرفی Introduction

• یادآوری داکر Docker reminder

• یادآوری داکر Docker reminder

• اجرای داکر Docker performances

• اجرای داکر Docker performances

• پروژه: خط لوله داده فارکس Project: The Forex Data Pipeline

• کمی بیشتر در مورد معماری A bit more about the architecture

• کمی بیشتر در مورد معماری A bit more about the architecture

• DAG چیست؟ What is a DAG?

• DAG چیست؟ What is a DAG?

• [تمرین] DAG خود را تعریف کنید [Practice] Define your DAG

• [تمرین] DAG خود را تعریف کنید [Practice] Define your DAG

• اپراتور چیست؟ What is an Operator?

• [تمرین] بررسی کنید که آیا API موجود است - HttpSensor [Practice] Check if the API is available - HttpSensor

• [تمرین] بررسی کنید که آیا فایل ارز موجود است - FileSensor [Practice] Check if the currency file is available - FileSensor

• [تمرین] نرخ‌های فارکس را از API - PythonOperator دانلود کنید [Practice] Download the forex rates from the API - PythonOperator

• [تمرین] نرخ‌های فارکس را از API - PythonOperator دانلود کنید [Practice] Download the forex rates from the API - PythonOperator

• [تمرین] نرخ های فارکس را در HDFS - BashOperator ذخیره کنید [Practice] Save the forex rates into HDFS - BashOperator

• [تمرین] نرخ های فارکس را در HDFS - BashOperator ذخیره کنید [Practice] Save the forex rates into HDFS - BashOperator

• [تمرین] جدول Hive forex_rates - HiveOperator را ایجاد کنید [Practice] Create the Hive table forex_rates - HiveOperator

• [تمرین] جدول Hive forex_rates - HiveOperator را ایجاد کنید [Practice] Create the Hive table forex_rates - HiveOperator

• [تمرین] نرخ های فارکس را با Spark - SparkSubmitOperator پردازش کنید [Practice] Process the forex rates with Spark - SparkSubmitOperator

• [تمرین] ارسال اعلان‌های ایمیل - EmailOperator [Practice] Send email notifications - EmailOperator

• [تمرین] ارسال اعلان‌های ایمیل - EmailOperator [Practice] Send email notifications - EmailOperator

• [تمرین] ارسال اعلان‌های Slack - SlackWebhookOperator [Practice] Send Slack notifications - SlackWebhookOperator

• [تمرین] وابستگی ها را بین وظایف اضافه کنید [Practice] Add dependencies between tasks

• [تمرین] خط لوله داده فارکس در عمل! [Practice] The Forex Data Pipeline in action!

• [تمرین] خط لوله داده فارکس در عمل! [Practice] The Forex Data Pipeline in action!

• تبریک می گویم! Congratulations!

خط لوله داده فارکس The Forex Data Pipeline

• معرفی Introduction

• پروژه: خط لوله داده فارکس Project: The Forex Data Pipeline

• اپراتور چیست؟ What is an Operator?

• [تمرین] بررسی کنید که آیا API موجود است - HttpSensor [Practice] Check if the API is available - HttpSensor

• [تمرین] بررسی کنید که آیا فایل ارز موجود است - FileSensor [Practice] Check if the currency file is available - FileSensor

• [تمرین] نرخ های فارکس را با Spark - SparkSubmitOperator پردازش کنید [Practice] Process the forex rates with Spark - SparkSubmitOperator

• [تمرین] ارسال اعلان‌های Slack - SlackWebhookOperator [Practice] Send Slack notifications - SlackWebhookOperator

• [تمرین] وابستگی ها را بین وظایف اضافه کنید [Practice] Add dependencies between tasks

• تبریک می گویم! Congratulations!

تسلط بر DAG های خود Mastering your DAGs

• معرفی Introduction

• [تمرین] گرفتن DAGRun های غیر فعال [Practice] Catching up non triggered DAGRuns

• [تمرین] آگاه کردن منطقه زمانی DAG های خود [Practice] Making your DAGs timezone aware

• [تمرین] سازماندهی پوشه DAGs خود را [Practice] Organizing your DAGs folder

• چگونه با خرابی های DAG خود مقابله کنید How to deal with failures in your DAGs

• [تمرین] تلاش مجدد و هشدار [Practice] Retry and Alerting

تسلط بر DAG های خود Mastering your DAGs

• معرفی Introduction

• پارامترهای start_date و schedule_interval ابهام شد Start_date and schedule_interval parameters demystified

• پارامترهای start_date و schedule_interval ابهام شد Start_date and schedule_interval parameters demystified

• [تمرین] دستکاری start_date با schedule_interval [Practice] Manipulating the start_date with schedule_interval

• [تمرین] دستکاری start_date با schedule_interval [Practice] Manipulating the start_date with schedule_interval

• Backfill و Catchup Backfill and Catchup

• Backfill و Catchup Backfill and Catchup

• [تمرین] گرفتن DAGRun های غیر فعال [Practice] Catching up non triggered DAGRuns

• برخورد با مناطق زمانی در جریان هوا Dealing with timezones in Airflow

• برخورد با مناطق زمانی در جریان هوا Dealing with timezones in Airflow

• [تمرین] آگاه کردن منطقه زمانی DAG های خود [Practice] Making your DAGs timezone aware

• چگونه وظایف خود را وابسته کنید How to make your tasks dependent

• چگونه وظایف خود را وابسته کنید How to make your tasks dependent

• [تمرین] ایجاد وابستگی وظایف بین DagRuns [Practice] Creating task dependencies between DagRuns

• [تمرین] ایجاد وابستگی وظایف بین DagRuns [Practice] Creating task dependencies between DagRuns

• چگونه پوشه DAG خود را ساختار دهید How to structure your DAG folder

• چگونه پوشه DAG خود را ساختار دهید How to structure your DAG folder

• [تمرین] سازماندهی پوشه DAGs خود را [Practice] Organizing your DAGs folder

• [تمرین] چگونه وب سرور کار می کند [Practice] How the Web Server works

• [تمرین] چگونه وب سرور کار می کند [Practice] How the Web Server works

• چگونه با خرابی های DAG خود مقابله کنید How to deal with failures in your DAGs

• [تمرین] تلاش مجدد و هشدار [Practice] Retry and Alerting

• چگونه DAG های خود را آزمایش کنیم How to test your DAGs

• چگونه DAG های خود را آزمایش کنیم How to test your DAGs

• [تمرین] واحد آزمایش DAG های شما [Practice] Unit testing your DAGs

• [تمرین] واحد آزمایش DAG های شما [Practice] Unit testing your DAGs

توزیع جریان هوای آپاچی Distributing Apache Airflow

• معرفی Introduction

• مجری محلی با PostgreSQL Local Executor with PostgreSQL

• [تمرین] توزیع وظایف خود با کرفس اجرا کننده [Practice] Distributing your tasks with the Celery Executor

• [تمرین] افزودن گره های کارگری جدید با Celery Executor [Practice] Adding new worker nodes with the Celery Executor

• [تمرین] ارسال وظایف به یک کارگر خاص با صف [Practice] Sending tasks to a specific worker with Queues

• [تمرین] مجموعه‌ها و وزن‌های اولویت: محدود کردن موازی‌سازی - اولویت‌بندی وظایف [Practice] Pools and priority_weights: Limiting parallelism - prioritizing tasks

• یادآوری Kubernetes Kubernetes Reminder

• [تمرین] نصب جریان هوا با Rancher و Kubernetes Executor [Practice] Installing Airflow with Rancher and the Kubernetes Executor

توزیع جریان هوای آپاچی Distributing Apache Airflow

• معرفی Introduction

• معرفی Introduction

• مجری متوالی با SQLite Sequential Executor with SQLite

• مجری متوالی با SQLite Sequential Executor with SQLite

• مجری محلی با PostgreSQL Local Executor with PostgreSQL

• [تمرین] اجرای وظایف موازی با مجری محلی [Practice] Executing tasks in parallel with the Local Executor

• [تمرین] اجرای وظایف موازی با مجری محلی [Practice] Executing tasks in parallel with the Local Executor

• [تمرین] پرس و جوهای موقت با پایگاه داده ابرداده [Practice] Ad Hoc Queries with the metadata database

• [تمرین] پرس و جوهای موقت با پایگاه داده ابرداده [Practice] Ad Hoc Queries with the metadata database

• Apache Airflow را با Celery Executors و Redis کاهش دهید Scale out Apache Airflow with Celery Executors and Redis

• Apache Airflow را با Celery Executors و Redis کاهش دهید Scale out Apache Airflow with Celery Executors and Redis

• [تمرین] خوشه جریان هوا را با Celery Executors و Docker تنظیم کنید [Practice] Set up the Airflow cluster with Celery Executors and Docker

• [تمرین] خوشه جریان هوا را با Celery Executors و Docker تنظیم کنید [Practice] Set up the Airflow cluster with Celery Executors and Docker

• [تمرین] توزیع وظایف خود با کرفس اجرا کننده [Practice] Distributing your tasks with the Celery Executor

• [تمرین] افزودن گره های کارگری جدید با Celery Executor [Practice] Adding new worker nodes with the Celery Executor

• [تمرین] ارسال وظایف به یک کارگر خاص با صف [Practice] Sending tasks to a specific worker with Queues

• [تمرین] مجموعه‌ها و وزن‌های اولویت: محدود کردن موازی‌سازی - اولویت‌بندی وظایف [Practice] Pools and priority_weights: Limiting parallelism - prioritizing tasks

• یادآوری Kubernetes Kubernetes Reminder

• مقیاس بندی جریان هوا با مجریان Kubernetes Scaling Airflow with Kubernetes Executors

• مقیاس بندی جریان هوا با مجریان Kubernetes Scaling Airflow with Kubernetes Executors

• [تمرین] با Vagrant و Rancher یک خوشه Kubernetes 3 گره راه اندازی کنید [Practice] Set up a 3 nodes Kubernetes Cluster with Vagrant and Rancher

• [تمرین] با Vagrant و Rancher یک خوشه Kubernetes 3 گره راه اندازی کنید [Practice] Set up a 3 nodes Kubernetes Cluster with Vagrant and Rancher

• [تمرین] نصب جریان هوا با Rancher و Kubernetes Executor [Practice] Installing Airflow with Rancher and the Kubernetes Executor

• [تمرین] اجرای DAG های خود با اجرای Kubernetes [Practice] Running your DAGs with the Kubernetes Executor

• [تمرین] اجرای DAG های خود با اجرای Kubernetes [Practice] Running your DAGs with the Kubernetes Executor

DAG های خود را با مفاهیم پیشرفته بهبود دهید Improving your DAGs with advanced concepts

• معرفی Introduction

• [تمرین] گروه بندی وظایف خود با SubDAG و بن بست [Practice] Grouping your tasks with SubDAGs and Deadlocks

• ایجاد مسیرهای مختلف در DAG های خود با Branching Making different paths in your DAGs with Branching

• [تمرین] تغییر نحوه راه اندازی وظایف شما [Practice] Changing how your tasks are triggered

• [تمرین] الگوسازی وظایف خود [Practice] Templating your tasks

• چگونه داده ها را بین وظایف خود با XCOM به اشتراک بگذارید How to share data between your tasks with XCOMs

• TriggerDagRunOperator یا زمانی که DAG شما DAG دیگری را کنترل می کند TriggerDagRunOperator or when your DAG controls another DAG

• [تمرین] یک DAG را از DAG دیگر راه اندازی کنید [Practice] Trigger a DAG from another DAG

• وابستگی بین DAG های شما با ExternalTaskSensor Dependencies between your DAGs with the ExternalTaskSensor

• [تمرین] DAG های خود را با ExternalTaskSensor وابسته کنید [Practice] Make your DAGs dependent with the ExternalTaskSensor

DAG های خود را با مفاهیم پیشرفته بهبود دهید Improving your DAGs with advanced concepts

• معرفی Introduction

• به حداقل رساندن الگوهای تکراری با SubDAG Minimising Repetitive Patterns With SubDAGs

• به حداقل رساندن الگوهای تکراری با SubDAG Minimising Repetitive Patterns With SubDAGs

• [تمرین] گروه بندی وظایف خود با SubDAG و بن بست [Practice] Grouping your tasks with SubDAGs and Deadlocks

• ایجاد مسیرهای مختلف در DAG های خود با Branching Making different paths in your DAGs with Branching

• [تمرین] با استفاده از انشعاب، اولین کار مشروط خود را انجام دهید [Practice] Make Your First Conditional Task Using Branching

• [تمرین] با استفاده از انشعاب، اولین کار مشروط خود را انجام دهید [Practice] Make Your First Conditional Task Using Branching

• قوانینی را برای وظایف خود ایجاد کنید Trigger rules for your tasks

• قوانینی را برای وظایف خود ایجاد کنید Trigger rules for your tasks

• [تمرین] تغییر نحوه راه اندازی وظایف شما [Practice] Changing how your tasks are triggered

• از مقادیر سخت کدنویسی با متغیرها، ماکروها و الگوها اجتناب کنید Avoid hard coding values with Variables, Macros and Templates

• از مقادیر سخت کدنویسی با متغیرها، ماکروها و الگوها اجتناب کنید Avoid hard coding values with Variables, Macros and Templates

• [تمرین] الگوسازی وظایف خود [Practice] Templating your tasks

• چگونه داده ها را بین وظایف خود با XCOM به اشتراک بگذارید How to share data between your tasks with XCOMs

• [تمرین] به اشتراک گذاری داده ها (بزرگ؟) با XCOM [Practice] Sharing (big?) data with XCOMs

• [تمرین] به اشتراک گذاری داده ها (بزرگ؟) با XCOM [Practice] Sharing (big?) data with XCOMs

• TriggerDagRunOperator یا زمانی که DAG شما DAG دیگری را کنترل می کند TriggerDagRunOperator or when your DAG controls another DAG

• [تمرین] یک DAG را از DAG دیگر راه اندازی کنید [Practice] Trigger a DAG from another DAG

• وابستگی بین DAG های شما با ExternalTaskSensor Dependencies between your DAGs with the ExternalTaskSensor

• [تمرین] DAG های خود را با ExternalTaskSensor وابسته کنید [Practice] Make your DAGs dependent with the ExternalTaskSensor

استقرار جریان هوا در AWS EKS با مجریان Kubernetes و Rancher Deploying Airflow on AWS EKS with Kubernetes Executors and Rancher

• معرفی Introduction

• [تمرین] یک نمونه EC2 را برای Rancher تنظیم کنید [Practice] Set up an EC2 instance for Rancher

• [تمرین] یک کاربر IAM با مجوز ایجاد کنید [Practice] Create an IAM User with permissions

• [تمرین] یک مخزن ECR ایجاد کنید [Practice] Create an ECR repository

• [تمرین] Airflow را با مجری Kubernetes در EKS اجرا و اجرا کنید [Practice] Deploy and run Airflow with the Kubernetes Executor on EKS

• [تمرین] تمیز کردن خدمات AWS خود [Practice] Cleaning your AWS services

استقرار جریان هوا در AWS EKS با مجریان Kubernetes و Rancher Deploying Airflow on AWS EKS with Kubernetes Executors and Rancher

• معرفی Introduction

• مروری سریع بر AWS EKS Quick overview of AWS EKS

• مروری سریع بر AWS EKS Quick overview of AWS EKS

• [تمرین] یک نمونه EC2 را برای Rancher تنظیم کنید [Practice] Set up an EC2 instance for Rancher

• [تمرین] یک کاربر IAM با مجوز ایجاد کنید [Practice] Create an IAM User with permissions

• [تمرین] یک مخزن ECR ایجاد کنید [Practice] Create an ECR repository

• [تمرین] با Rancher یک خوشه EKS ایجاد کنید [Practice] Create an EKS cluster with Rancher

• [تمرین] با Rancher یک خوشه EKS ایجاد کنید [Practice] Create an EKS cluster with Rancher

• چگونه از خارج به برنامه های خود دسترسی پیدا کنید How to access your applications from the outside

• چگونه از خارج به برنامه های خود دسترسی پیدا کنید How to access your applications from the outside

• [تمرین] استقرار Nginx Ingress با کاتالوگ ها (Helm) [Practice] Deploy Nginx Ingress with Catalogs (Helm)

• [تمرین] استقرار Nginx Ingress با کاتالوگ ها (Helm) [Practice] Deploy Nginx Ingress with Catalogs (Helm)

• [تمرین] Airflow را با مجری Kubernetes در EKS اجرا و اجرا کنید [Practice] Deploy and run Airflow with the Kubernetes Executor on EKS

• [تمرین] تمیز کردن خدمات AWS خود [Practice] Cleaning your AWS services

نظارت بر جریان هوای آپاچی Monitoring Apache Airflow

• معرفی Introduction

• نحوه عملکرد سیستم ثبت در جریان هوا How the logging system works in Airflow

• [تمرین] راه اندازی ورود به سیستم سفارشی [Practice] Setting up custom logging

• [تمرین] پیکربندی جریان هوا با Elasticsearch [Practice] Configuring Airflow with Elasticsearch

• [تمرین] نظارت بر DAG های خود با Elasticsearch [Practice] Monitoring your DAGs with Elasticsearch

• [تمرین] نظارت بر جریان هوا با پشته TIG [Practice] Monitoring Airflow with TIG stack

نظارت بر جریان هوای آپاچی Monitoring Apache Airflow

• معرفی Introduction

• نحوه عملکرد سیستم ثبت در جریان هوا How the logging system works in Airflow

• [تمرین] راه اندازی ورود به سیستم سفارشی [Practice] Setting up custom logging

• [تمرین] ذخیره گزارش های خود در AWS S3 [Practice] Storing your logs in AWS S3

• [تمرین] ذخیره گزارش های خود در AWS S3 [Practice] Storing your logs in AWS S3

• یادآوری Elasticsearch Elasticsearch Reminder

• یادآوری Elasticsearch Elasticsearch Reminder

• [تمرین] پیکربندی جریان هوا با Elasticsearch [Practice] Configuring Airflow with Elasticsearch

• [تمرین] نظارت بر DAG های خود با Elasticsearch [Practice] Monitoring your DAGs with Elasticsearch

• مقدمه ای بر معیارها Introduction to metrics

• مقدمه ای بر معیارها Introduction to metrics

• [تمرین] نظارت بر جریان هوا با پشته TIG [Practice] Monitoring Airflow with TIG stack

• [تمرین] ایجاد هشدار برای جریان هوا با Grafana [Practice] Triggering alerts for Airflow with Grafana

• [تمرین] ایجاد هشدار برای جریان هوا با Grafana [Practice] Triggering alerts for Airflow with Grafana

• DAGهای نگهداری جریان هوا Airflow maintenance DAGs

• DAGهای نگهداری جریان هوا Airflow maintenance DAGs

امنیت در Apache Airflow Security in Apache Airflow

• معرفی Introduction

• [تمرین] رمزگذاری داده های حساس با Fernet [Practice] Encrypting sensitive data with Fernet

• [تمرین] چرخاندن کلید فرنت [Practice] Rotating the Fernet Key

امنیت در Apache Airflow Security in Apache Airflow

• معرفی Introduction

• معرفی Introduction

• [تمرین] رمزگذاری داده های حساس با Fernet [Practice] Encrypting sensitive data with Fernet

• [تمرین] چرخاندن کلید فرنت [Practice] Rotating the Fernet Key

• [تمرین] پنهان کردن متغیرها [Practice] Hiding variables

• [تمرین] پنهان کردن متغیرها [Practice] Hiding variables

• [تمرین] احراز هویت رمز عبور و فیلتر توسط مالک [Practice] Password authentication and filter by owner

• [تمرین] احراز هویت رمز عبور و فیلتر توسط مالک [Practice] Password authentication and filter by owner

• [تمرین] RBAC UI [Practice] RBAC UI

• [تمرین] RBAC UI [Practice] RBAC UI

• از Airflow 2.0 چه انتظاری داریم؟ What to expect from Airflow 2.0?

• از Airflow 2.0 چه انتظاری داریم؟ What to expect from Airflow 2.0?

جایزه - ضمیمه BONUS - APPENDIX

• [BLOG POST] اجرای Apache Airflow در یک خوشه چند گرهی Kubernetes به صورت محلی [BLOG POST] Running Apache Airflow on a multi-nodes Kubernetes cluster locally

• [VIDEO] جریان هوا با DBT: بهترین راه! [VIDEO] Airflow with DBT: The best way!

جایزه - ضمیمه BONUS - APPENDIX

• نحوه تعریف متغیرها از طریق متغیرهای محیطی How to define variables through environment variables

• نحوه تعریف متغیرها از طریق متغیرهای محیطی How to define variables through environment variables

• [BLOG POST] اجرای Apache Airflow در یک خوشه چند گرهی Kubernetes به صورت محلی [BLOG POST] Running Apache Airflow on a multi-nodes Kubernetes cluster locally

• [BLOG POST] بهترین روش ها در جریان هوای آپاچی (قسمت 1) [BLOG POST] Best Practices in Apache Airflow (Part 1)

• [BLOG POST] بهترین روش ها در جریان هوای آپاچی (قسمت 1) [BLOG POST] Best Practices in Apache Airflow (Part 1)

• کوپن برای دوره های دیگر من! COUPON FOR MY OTHER COURSES!

• کوپن برای دوره های دیگر من! COUPON FOR MY OTHER COURSES!

• [BLOG POST] PostgresOperator: همه آنچه که باید بدانید [BLOG POST] The PostgresOperator: All you need to know

• [BLOG POST] PostgresOperator: همه آنچه که باید بدانید [BLOG POST] The PostgresOperator: All you need to know

• [VIDEO] DockerOperator: اصول اولیه و بیشتر [VIDEO] The DockerOperator: The basics and more

• [VIDEO] DockerOperator: اصول اولیه و بیشتر [VIDEO] The DockerOperator: The basics and more

• [VIDEO] جریان هوا با DBT: بهترین راه! [VIDEO] Airflow with DBT: The best way!