آموزش جریان هوای آپاچی: راهنمای اپراتورها

سرفصل ها و درس ها

معرفی Introduction

• پیش نیازهای مهم Important Prerequisites

• Docker را نصب کنید Install Docker

• اهداف دوره Course Objectives

• من کی هستم؟ Who am I?

• محیط توسعه Development Environment

BaseOperator افشا شد The BaseOperator Exposed

• معرفی Introduction

• چه چیزی میخواهید بدانید What you need to know

• جزئیات مهم Important details

• شناسه وظیفه افشا شد! The task id exposed!

• نسخه سازی داگ Dag versioning

• چه کسی صاحب وظیفه است؟ Who owns the task?

• start_date بیشتر از چیزی است که فکر می کنید The start_date is more than you think

• کار خود را دوباره امتحان کنید! Retry your task!

• به درستی از طریق ایمیل مطلع شوید Be PROPERLY notified by emails

• وظایف خود را بین DAGRun ها وابسته کنید Make your tasks dependent between DAGRuns

• منتظر کارهای پایین دستی باشید Wait for downstream tasks

• مهمانی استخر! Pool party!

• اولویت کار Task priority

• اولویت را مشخص کنید! Define the priority!

• اجرای کار را با trigger_rules تغییر دهید Change task execution with trigger_rules

• کارهای تمیز کردن را با trigger_rules اجرا کنید Execute cleaning tasks with trigger_rules

• با SLA انتظارات را برای وظایف خود تنظیم کنید Set expectations to your tasks with SLAs

• تایم اوت Timeout

• تایم اوت را تعریف کنید Define a timeout

• یک تماس برای واکنش A callback to react

• با پاسخ به تماس با شکست مواجه شوید Catch a timeout with the failure callback

• داده ها را با XCOM های معروف به اشتراک بگذارید Share data with the famous XCOMs

• همزمانی را محدود کنید Limit the concurrency

• کمک های وابستگی زنجیره ای و متقاطع Chain and Cross dependency helpers

• بیایید با کمک زنجیر و صلیب بازی کنیم Let's play with chain and cross helpers

• وظیفه خود را مطابق با مجری سفارشی کنید Customize your task according to the executor

رایج ترین اپراتورها The Most Common Operators

• معرفی ارائه دهندگان Introduction to Providers

• PythonOperator The PythonOperator

• PythonOperator با TaskFlow API The PythonOperator with the TaskFlow API

• BashOperator The BashOperator

• یادداشت سریع در مورد زمینه های قالب Quick note about templated fields

• PostgresOperator The PostgresOperator

• ارسال پارامترهای دینامیک به PostgresOperator Passing Dynamic Parameters to the PostgresOperator

مسیر خود را انتخاب کنید Choose your path

• معرفی Introduction

• BranchPython Operator The BranchPythonOperator

• برنامه ریزی DAG بر اساس تقویم! DAG scheduling based on Calendar!

• BranchSQLOoperator The BranchSQLOperator

• BranchDateTimeOperator The BranchDateTimeOperator

• The BranchDayOfWeek Operator The BranchDayOfWeekOperator

وابستگی های DAG DAG dependencies

• معرفی Introduction

• SubDagOperator SubDagOperator

• فرو رفتن عمیق در SubDagOperator Deep dive into the SubDagOperator

• TaskGroups را کشف کنید Discover the TaskGroups

• TriggerDagRunOperator TriggerDagRunOperator

• ExternalTaskSensor معروف The famous ExternalTaskSensor

• نمای وابستگی های DAG DAG dependencies view

آنهایی که عجیب و غریب The Exotic Ones

• یک DAG برنامه های مختلف با ShortCircuitOperator One DAG different schedules with the ShortCircuitOperator

• از اجرای وظایف گذشته با LatestOnlyOperator جلوگیری کنید Prevent from running past tasks with the LatestOnlyOperator

• یادداشت های جانبی با LatestOnlyOperator Side Notes with the LatestOnlyOperator

• فکر می کنید DummyOperator را می شناسید؟ You think you know the DummyOperator?

کلمات اخر! Last Words!

• سخنرانی پاداش Bonus Lecture