آموزش Apache Airflow | یک دوره واقعی و عملی در مورد جریان هوا

سرفصل ها و درس ها

معرفی Introduction

• مقدمه ای بر جریان هوای آپاچی Introduction to Apache Airflow

• رویکردهای برنامه ریزی مرسوم Conventional Scheduling Approaches

• رویکردهای برنامه ریزی مرسوم Conventional Scheduling Approaches

• چرا به سمت جریان هوا حرکت کنیم؟ Why move to Airflow

• اصطلاحات اساسی در جریان هوا Basic Terminologies in Airflow

• اصطلاحات اساسی در جریان هوا Basic Terminologies in Airflow

معرفی Introduction

• مقدمه ای بر جریان هوای آپاچی Introduction to Apache Airflow

• چرا به سمت جریان هوا حرکت کنیم؟ Why move to Airflow

معماری جریان هوای آپاچی Architecture Of Apache Airflow

• معماری جریان هوا Architecture of Airflow

• چرخه زندگی یک کار Life Cycle of a Task

معماری جریان هوای آپاچی Architecture Of Apache Airflow

• معماری جریان هوا Architecture of Airflow

• چرخه زندگی یک کار Life Cycle of a Task

نصب و راه اندازی Installation

• نصب Docker (Docker Desktop) Docker Installation (Docker Desktop)

• نصب Docker (Docker Desktop) Docker Installation (Docker Desktop)

• نصب داکر (جعبه ابزار داکر) Docker Installation (Docker Toolbox)

• نصب جریان هوا Airflow Installation

نصب و راه اندازی Installation

• نصب داکر (جعبه ابزار داکر) Docker Installation (Docker Toolbox)

• نصب جریان هوا Airflow Installation

درک دایرکتوری ها در پروژه جریان هوا Understanding Directories in Airflow Project

• درک درست کردن فایل ها Understanding Compose files

• آشنایی با سایر دایرکتوری ها Understanding other directories

• آشنایی با سایر دایرکتوری ها Understanding other directories

درک دایرکتوری ها در پروژه جریان هوا Understanding Directories in Airflow Project

• درک درست کردن فایل ها Understanding Compose files

تور رابط کاربری Airflow Airflow's UI Tour

• اولین نگاه به رابط کاربری Airflow First look of Airflow UI

• اولین نگاه به رابط کاربری Airflow First look of Airflow UI

• اجرای DAG پیش فرض در UI Running default DAG in UI

• نماها در رابط کاربری (درخت، نمودار، گانت و غیره) Views in UI (Tree, Graph, Gantt, etc)

• درک فایل تعریف DAG Understanding DAG definition file

• اجرای فایل DAG DAG file execution

• اجرای فایل DAG DAG file execution

• آزمون 1 Quiz 1

تور رابط کاربری Airflow Airflow's UI Tour

• اجرای DAG پیش فرض در UI Running default DAG in UI

• نماها در رابط کاربری (درخت، نمودار، گانت و غیره) Views in UI (Tree, Graph, Gantt, etc)

• درک فایل تعریف DAG Understanding DAG definition file

• آزمون 1 Quiz 1

اپراتورها چیست؟ What are Operators

• اپراتورها چیست؟ What are Operators

• اپراتورها چیست؟ What are Operators

• یک DAG ایجاد کنید Create a DAG

اپراتورها چیست؟ What are Operators

• یک DAG ایجاد کنید Create a DAG

پروژه - گزارش فروش فروشگاه Project - Store Sales Report

• الزامات پروژه Project Requirements

• نوشتن فایل نوشتن پروژه Writing Project Compose File

• نوشتن فایل نوشتن پروژه Writing Project Compose File

• نوشتن فایل DAG پروژه Writing Project's DAG File

• نوشتن فایل DAG پروژه Writing Project's DAG File

• ایجاد اتصالات در رابط کاربری Creating Connections in UI

• ایجاد اتصالات در رابط کاربری Creating Connections in UI

• نوشتن DAG ادامه یافت Writing DAG continued

• اجرای پروژه DAG در UI Running project DAG in UI

• "با" - مدیر زمینه 'with' - Context Manager

پروژه - گزارش فروش فروشگاه Project - Store Sales Report

• الزامات پروژه Project Requirements

• نوشتن DAG ادامه یافت Writing DAG continued

• اجرای پروژه DAG در UI Running project DAG in UI

• "با" - مدیر زمینه 'with' - Context Manager

تور CLI جریان هوا Airflow CLI Tour

• اجرای پروژه DAG در Airflow CLI Running Project DAG in Airflow CLI

• اجرای پروژه DAG در Airflow CLI Running Project DAG in Airflow CLI

• دستورات CLI جریان هوا - قسمت 1 Airflow CLI Commands - Part 1

• دستورات CLI جریان هوا - قسمت 1 Airflow CLI Commands - Part 1

• دستورات CLI جریان هوا - قسمت 2 Airflow CLI Commands- Part 2

تور CLI جریان هوا Airflow CLI Tour

• دستورات CLI جریان هوا - قسمت 2 Airflow CLI Commands- Part 2

مجریان در جریان هوا Executors in Airflow

• مجریان چیست؟ What are Executors

• مجری متوالی Sequential Executor

• مجری متوالی Sequential Executor

• مجری محلی Local Executor

• مجری محلی Local Executor

• مجری کرفس Celery Executor

مجریان در جریان هوا Executors in Airflow

• مجریان چیست؟ What are Executors

• مجری کرفس Celery Executor

XComs و متغیرها (پیشرفته) XComs and Variables (Advance)

• XComs در جریان هوا XComs in Airflow

• XComs در جریان هوا XComs in Airflow

• پیاده سازی XComs - قسمت 1 Implementing XComs - Part 1

• پیاده سازی XComs - قسمت 2 Implementing XComs - Part 2

• متغیرها در جریان هوا Variables in Airflow

• متغیرها در جریان هوا Variables in Airflow

• اپراتور ساختگی Dummy Operator

• آزمون 2 Quiz 2

XComs و متغیرها (پیشرفته) XComs and Variables (Advance)

• پیاده سازی XComs - قسمت 1 Implementing XComs - Part 1

• پیاده سازی XComs - قسمت 2 Implementing XComs - Part 2

• اپراتور ساختگی Dummy Operator

• آزمون 2 Quiz 2

مفاهیم پیشرفته جریان هوا Advance Concepts of Airflow

• قلاب Hooks

• قلاب Hooks

• استخرها Pools

• استخرها Pools

• سنسورهای جریان هوا Airflow Sensors

• Backfill و Catchup Backfill and Catchup

• انشعاب Branching

• فایل airflow.cfg airflow.cfg file

• فایل airflow.cfg airflow.cfg file

• LatestOnlyOperator LatestOnlyOperator

• LatestOnlyOperator LatestOnlyOperator

• یک DAG ایجاد کنید Create a DAG

• یک DAG ایجاد کنید Create a DAG

مفاهیم پیشرفته جریان هوا Advance Concepts of Airflow

• سنسورهای جریان هوا Airflow Sensors

• Backfill و Catchup Backfill and Catchup

• انشعاب Branching

پروفایل داده در جریان هوا Data Profiling in Airflow

• پرس و جوهای Adhoc Adhoc Queries

• جستجو در جداول فراداده Querying Metadata Tables

• جستجو در جداول فراداده Querying Metadata Tables

• نمودارها در جریان هوا Charts in Airflow

پروفایل داده در جریان هوا Data Profiling in Airflow

• پرس و جوهای Adhoc Adhoc Queries

• نمودارها در جریان هوا Charts in Airflow

SubDAGs (پیشرفته) SubDAGs (Advance)

• SubDAG چیست؟ What are SubDAGs

• SubDAG چیست؟ What are SubDAGs

• پیاده سازی SubDAGs SubDAGs implementation

• امتحان 3 Quiz 3

• امتحان 3 Quiz 3

SubDAGs (پیشرفته) SubDAGs (Advance)

• پیاده سازی SubDAGs SubDAGs implementation

پلاگین ها - ایجاد اجزای سفارشی PLUGINS - Creating Custom Components

• معرفی پلاگین ها Plugins Introduction

• معرفی پلاگین ها Plugins Introduction

• اولین پلاگین را ایجاد کنید Create first Plugin

• اپراتور سفارشی ایجاد کنید Create Custom Operator

• اپراتور سفارشی ایجاد کنید Create Custom Operator

• اجرای DAG اپراتور سفارشی Running Custom Operator's DAG

• اجرای DAG اپراتور سفارشی Running Custom Operator's DAG

• ایجاد حسگر سفارشی Create Custom Sensor

• ایجاد هوک سفارشی Create Custom Hook

• ایجاد هوک سفارشی Create Custom Hook

پلاگین ها - ایجاد اجزای سفارشی PLUGINS - Creating Custom Components

• اولین پلاگین را ایجاد کنید Create first Plugin

• ایجاد حسگر سفارشی Create Custom Sensor

قوانین ماشه، فایل airflowignore، زامبی ها و ارواح Trigger Rules, airflowignore file, Zombies & Undeads

• قوانین ماشه Trigger Rules

• قوانین ماشه Trigger Rules

• فایل .airflowignore .airflowignore file

• فایل .airflowignore .airflowignore file

• زامبی ها Zombies

• ارواح Undeads

• ارواح Undeads

قوانین ماشه، فایل airflowignore، زامبی ها و ارواح Trigger Rules, airflowignore file, Zombies & Undeads

• زامبی ها Zombies

بهترین روش ها در پروژه ها Best Practices to follow in Projects

• بهترین روش های جریان هوا Airflow Best Practices

• بهترین روش های جریان هوا Airflow Best Practices

بهترین روش ها در پروژه ها Best Practices to follow in Projects

یادگیری های اضافی Additional Learnings

• ایجاد رمزهای عبور برنامه Gmail Generating Gmail App Passwords

• Dockerfile Dockerfile

• متشکرم Thank You

یادگیری های اضافی Additional Learnings

• ایجاد رمزهای عبور برنامه Gmail Generating Gmail App Passwords

• Dockerfile Dockerfile

• متشکرم Thank You

جایزه BONUS

• جایزه Bonus

• جایزه Bonus

جایزه BONUS