آموزش Master Airflow: مبتدی تا پیشرفت با پروژه

سرفصل ها و درس ها

معرفی Introduction

• ارکستراسیون، گردش کار، جریان هوا و مزایای جریان هوا Orchestration, Workflow, Airflow and Airflow Benefits

داکر Docker

• داکر Docker

نصب جریان هوا Airflow Installation

• نصب و راه اندازی Installation

• آزمون 2 Quiz 2

وب سرور جریان هوا/رابط کاربری وب Airflow Web Server / Web UI

• مروری بر رابط کاربری وب Web UI Walkthrough

Dags، وظایف، اپراتورها Dags, Tasks, Operators

• Dags، Tasks و Operators Dags, Tasks and Operators

دانلود داده ها از وب API و پایگاه داده Download data from Web APIs & Database

• HttpSensor، HttpOperator و پایگاه های داده HttpSensor, HttpOperator and Databases

FileSensors و اتصالات AWS FileSensors & AWS Connections

• FileSensor و S3 Bucket FileSensor and S3 Bucket

ارتباط بین وظایف Communication between tasks

• XComm XComm

اپراتور شعبه، BackFill و EmailOperator Branch Operator, BackFill & EmailOperator

• BranchOperator، BackFill و Email Operator BranchOperator, BackFill and Email Operator

CustomOperators و Airflow MetaData CustomOperators and Airflow MetaData

• داده های متا جریان هوا در Postgres با استفاده از Dockerfile Airflow Meta Data in Postgres Using Dockerfile

راه اندازی پردازش موازی Parallel Processing Setup

• معماری جریان هوای توزیع شده، مجری کرفس، Docker Compose Distributed Airflow Architecture, Celery Executor, Docker Compose

نسخه ی نمایشی SubDagOperator، Fernet Key و Celery SubDagOperator, Fernet Key and Celery executor demo

• SubDagOperator، Fernet Key، Celery executor demo SubDagOperator, Fernet Key, Celery executor demo

کار پروژه Project Work

• ایده پروژه Project Idea