آموزش آپاچی ایرفلو 3: نویسندگی پیشرفته DAG - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• خوش‌آمدگویی! Welcome!

• من کی هستم؟ Who I am?

• اهداف دوره Course Goals

• راه اندازی محیط توسعه ایرفلو Setting Up Your Airflow Development Environment

ساخت DAG مانند یک حرفه‌ای Create DAGs like Pro

• چرا برای ساخت DAG به Taskflow نیاز دارید؟ Why do you need creating DAGs with Taskflow

• بازنویسی یک DAG قدیمی با Taskflow Rewriting an old DAG with Taskflow

• دسترسی به اطلاعات DAG و موارد دیگر از طریق تسک‌ها Access DAG information and more from your tasks

• ارسال پارامترها به DAGها Passing parameters to your DAGs

• تولید پویای DAGها با تنظیمات مختلف Dynamically generate DAGs with different settings

• ترکیب دکوراتورها با اپراتورها Mix decorators with operators

• اپراتور Bash جدید (بسیار بهتر!) The new bash operator (much better!)

• گروه‌بندی تسک‌ها با TaskGroups Group your tasks with TaskGroups

• آرگومان‌های پیش‌فرض برای DAGها و Taskgroups Default arguments to DAGs and Taskgroups

• اجرای تسک‌ها در ایرفلو نامحدود نیست Running tasks on Airflow isn't unlimited

• بازاستفاده از تسک‌ها به صورت حرفه‌ای Reuse tasks like a pro

• مدیریت صحیح منابع خارجی در DAGها Correctly manage external resources within your DAGs

زمان‌بندی DAG مانند یک حرفه‌ای Schedule your DAGs like a Pro

• روش‌های مختلف زمان‌بندی DAGها The different ways of scheduling DAGs

• مبانی اما... حیاتی The basics but... important

• استفاده از Cron یا Timedelta؟ Cron or Timedelta?

• آیا این استریمینگ است؟ Is that streaming?

• زمان‌بندی DAGها بر اساس به‌روزرسانی Asset Scheduling DAGs on Asset updates

• زمان‌بندی شرطی Asset Conditional Asset scheduling

• Assetها لزوماً نباید استاتیک باشند... Assets don't have to be static...

• دسترسی به متادیتاهای Asset Access Asset metadata

• روشی متفاوت (و بهتر؟) برای تعریف Assets A different (better?) way to define Assets

• زمان‌بندی DAGها بر اساس رویدادهای خارجی Schedule your DAGs on EXTERNAL events

• زمان‌بندی رویداد-محور با SQS Event driven scheduling with SQS

ایجاد تسک‌های پویا مانند یک حرفه‌ای Create dynamic tasks like a Pro

• چرا تسک‌های استاتیک کافی نیستند؟ Why static tasks is not enough

• مبانی Dynamic Task Mapping The basics of dynamic task mapping

• دریافت خروجی‌ها از تسک‌های پویا Fetch outputs from dynamic tasks

• تغییر و فیلتر کردن خروجی‌های تسک‌های پویا Transform and filter dynamic task outputs

• مپ کردن تسک‌ها روی دیکشنری‌ها Mapping tasks on dictionaries

• ترکیب خروجی‌های تسک‌های پویا Combining dynamic task outputs

• اتصال (Concatenate) خروجی‌های تسک‌های پویا Concatenate dynamic task outputs

• در میان تسک‌های پویا گم نشوید Don't get lost with your dynamic tasks

• چگونه با اپراتورهای سنتی ترکیب کنیم؟ How to mix with traditional operators?

هوش مصنوعی در ایرفلو مانند یک حرفه‌ای AI in Airflow like a Pro

• نحوه استفاده از هوش مصنوعی در ایرفلو How to use AI in Airflow

• پرس‌وجو از LLMها در DAGها Querying LLMs in DAGs

• اجازه دهید هوش مصنوعی تسک بعدی را انتخاب کند Let AI choose the next task to run

• موارد بیشتر... There is more..

• اپراتورهای جدید AI در ایرفلو The new AI Operators in Airflow

• آیا تایید می‌کنید؟ Do you approve?