آموزش معرفی کامل عملی جریان هوای آپاچی

سرفصل ها و درس ها

معرفی دوره Course Introduction

• پیش نیازها Prerequisites

• اهداف دوره Course Objectives

• من کی هستم؟ Who I am?

• محیط توسعه Development Environment

شروع کار با جریان هوا Getting Started with Airflow

• چرا جریان هوا؟ Why Airflow?

• جریان هوا چیست؟ What is Airflow?

• اجزای اصلی Core Components

• مفاهیم اصلی Core Concepts

• جریان هوا نیست... Airflow is not...

• معماری تک گره Single Node Architecture

• معماری چند گره Multi Node Architecture

• چگونه کار می کند؟ How does it work?

• [تمرین] نصب Apache Airflow [Practice] Installing Apache Airflow

• داکر چیست؟ What is Docker?

• فایل docker-compose The docker-compose file

• زمان امتحان! Quiz Time!

• خوراکی های کلیدی Key Takeaways

نماهای مهم رابط کاربری Airflow The important views of the Airflow UI

• نمای DAGs The DAGs View

• اولین DAG خود را اجرا کنید Run your first DAG

• نمای شبکه The Grid View

• نمای نمودار The Graph View

• نمای لندینگ تایمز The Landing Times View

• نمای تقویم The Calendar View

• نمای گانت The Gantt View

• نمای کد The Code View

• بسته شدن! Wrap up!

• امتحان! Quiz!

کدگذاری اولین خط لوله داده با جریان هوا Coding Your First Data Pipeline with Airflow

• پروژه The Project

• توصیه ها Advices

• DAG چیست؟ What is a DAG?

• اسکلت DAG DAG Skeleton

• [تمرین] DAG خود را تعریف کنید [Practice] Define your DAG

• اپراتور چیست؟ What is an Operator?

• ارائه دهندگان Providers

• یک جدول ایجاد کنید Create a Table

• یک اتصال ایجاد کنید Create a connection

• [تمرین] پیاده سازی جدول ایجاد [Practice] Implement create table

• سلاح مخفی! The secret weapon!

• سنسور چیست؟ What is a Sensor?

• آیا API موجود است؟ Is the API available?

• [تمرین] سنسور is_api_available را پیاده سازی کنید [Practice] Implement the sensor is_api_available

• کاربران را استخراج کنید Extract users

• [تمرین] کاربران استخراج را پیاده سازی کنید [Practice] Implement extract users

• کاربران پردازش Process users

• قبل از اجرای process_user Before running process_user

• [تمرین] پیاده سازی process_user [Practice] Implement process_user

• هوک چیست؟ What is a Hook?

• کاربران فروشگاه Store users

• [تمرین] store_user را پیاده سازی کنید [Practice] Implement store_user

• سفارش مهم است! Order matters!

• DAG شما در عمل! Your DAG in action!

• برنامه ریزی DAG DAG Scheduling

• Backfilling: چگونه کار می کند؟ Backfilling: How does it work?

• بسته شدن! Wrap up!

• زمان امتحان! Quiz Time!

روش جدید برنامه ریزی DAGs The New Way of Scheduling DAGs

• چرا به آن ویژگی نیاز دارید؟ Why do you need that feature?

• مجموعه داده چیست؟ What is a Dataset?

• Adios schedule_interval! Adios schedule_interval!

• Producer DAG را ایجاد کنید Create the Producer DAG

• Consumer DAG را ایجاد کنید Create the Consumer DAG

• مجموعه داده های خود را با نمای جدید ردیابی کنید! Track your Datasets with the new view!

• منتظر مجموعه داده های زیادی باشید Wait for many datasets

• محدودیت های مجموعه داده Dataset limitations

بانک های اطلاعاتی و مجریان Databases and Executors

• مجری چیست؟ What's an executor?

• پیکربندی پیش فرض The default config

• مجری متوالی The Sequential Executor

• مجری محلی The Local Executor

• مجری کرفس The Celery Executor

• پیکربندی فعلی The current config

• DAG parallel_dag.py را به پوشه dags اضافه کنید Add the DAG parallel_dag.py into the dags folder

• وظایف خود را با Flower نظارت کنید Monitor your tasks with Flower

• نمونه های DAG را حذف کنید Remove DAG examples

• اجرای وظایف بر روی کارگران کرفس Running tasks on Celery Workers

• صف چیست؟ What is a queue?

• یک کرفس کارگر جدید اضافه کنید Add a new Celery Worker

• یک صف برای توزیع بهتر وظایف ایجاد کنید Create a queue to better distribute tasks

• یک کار را به یک صف خاص ارسال کنید Send a task to a specific queue

• همزمانی، پارامترهایی که باید بدانید! Concurrency, the parameters you must know!

• زمان امتحان! Quiz Time!

پیاده سازی مفاهیم پیشرفته در جریان هوا Implementing Advanced Concepts in Airflow

• الگوهای تکراری Adios Adios repetitive patterns

• DAG group_dag.py را اضافه کنید Add the DAG group_dag.py

• چگونه از SubDAG ها استفاده کنیم؟ How to use SubDAGs?

• [تمرین] گروه بندی وظایف با SubDAGs! [Practice] Group tasks with SubDAGs!

• Adios SubDAGs، به TaskGroups خوش آمدید! Adios SubDAGs, welcome TaskGroups!

• گروه بندی وظایف با TaskGroups! Group tasks with TaskGroups!

• DAG xcom_dag.py را اضافه کنید Add the DAG xcom_dag.py

• به اشتراک گذاری داده ها بین وظایف با XComs Sharing data between tasks with XComs

• [تمرین] XComs در عمل! [Practice] XComs in action!

• انتخاب یک مسیر خاص در DAG شما Choosing a specific path in your DAG

• [تمرین] اجرای یک کار طبق یک شرط [Practice] Executing a task according to a condition

• قوانین ماشه یا نحوه راه اندازی وظایف Trigger rules or how tasks get triggered

• تعمیر BranchPythonOperator با قوانین ماشه Fixing the BranchPythonOperator with trigger rules

• زمان امتحان! Quiz Time!

ایجاد پلاگین های جریان هوا با Elasticsearch و PostgreSQL Creating Airflow Plugins with Elasticsearch and PostgreSQL

• معرفی Introduction

• Elasticsearch چیست؟ What's Elasticsearch?

• اجرای Elasticsearch با جریان هوا Running Elasticsearch with Airflow

• سیستم پلاگین چگونه کار می کند؟ How the plugin system works?

• اتصال را ایجاد کنید Create the connection

• ElasticHook را ایجاد کنید Create the ElasticHook

• ElasticHook را به سیستم پلاگین اضافه کنید Add ElasticHook to the Plugin system

• DAG elastic_dag.py را اضافه کنید Add the DAG elastic_dag.py

• قلاب شما در عمل! Your Hook in Action!

جایزه - ضمیمه BONUS - APPENDIX

• [BLOG POST] نحوه استفاده از DockerOperator با Templating و Apache Spark [BLOG POST] How to use the DockerOperator with Templating and Apache Spark

• [BLOG POST] Apache Airflow با Kubernetes Executor [BLOG POST] Apache Airflow with Kubernetes Executor

• [BLOG POST] نحوه استفاده از الگوها و ماکروها در Apache Airflow [BLOG POST] How to use templates and macros in Apache Airflow

• [BLOG POST] نحوه استفاده از مناطق زمانی در Apache Airflow [BLOG POST] How to use timezones in Apache Airflow

• [BLOG POST] نحوه استفاده از BashOperator [BLOG POST] How to use the BashOperator

• [BLOG POST] متغیرها در Apache Airflow: The Guide [BLOG POST] Variables in Apache Airflow: The Guide

• [BLOG POST] بهترین روش ها در جریان هوای آپاچی (قسمت 1) [BLOG POST] Best Practices in Apache Airflow (part 1)

• [ویدئو] اجرای Apache Airflow در یک خوشه چند گرهی Kubernetes به صورت محلی [VIDEO] Running Apache Airflow on a multi-nodes Kubernetes cluster locally

• [BLOG POST] PostgresOperator: همه آنچه که باید بدانید [BLOG POST] The PostgresOperator: All you need to know

• [VIDEO] DockerOperator: اصول اولیه و بیشتر! [VIDEO] The DockerOperator: The Basics and more!

• [ویدئو] جدید برنامه ریزی DAG های شما [VIDEO] The New Of Scheduling your DAGs

• [VIDEO] یک خط لوله داده با AWS، Snowflake و Airflow بسازید [VIDEO] Build a data pipeline with AWS, Snowflake and Airflow

• [ویدئو] چه چیزی در Airflow 2.4 جدید است؟ [VIDEO] What's new in Airflow 2.4?

• جایزه: کوپن برای دوره های دیگر من! BONUS : COUPON FOR MY OTHER COURSES!