با Apache Airflow، DAG های پیچیده و وابستگی های وظیفه ایجاد کنید

Create Complex DAGs and Task Dependencies with Apache Airflow

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: Apache Airflow در مدیریت خطوط لوله داده پیچیده برای شما بسیار عالی است. در این دوره، ایجاد DAG های پیچیده و وابستگی وظایف با Apache Airflow، شما توانایی طراحی و پیاده سازی گردش های کاری پیچیده در Apache Airflow را به دست خواهید آورد. ابتدا، نحوه ایجاد یک DAG را بررسی خواهید کرد که یک فایل CSV را از یک فهرست محلی با استفاده از BashOperator بخواند تا بررسی کند که آیا فایل وجود دارد یا خیر. در مرحله بعد، نحوه انجام اعتبارسنجی و تجمیع داده ها با استفاده از PythonOperators را خواهید یافت. در نهایت، یاد خواهید گرفت که چگونه داده‌های تبدیل‌شده را با استفاده از SQLiteOperator بارگیری کنید و وابستگی‌های وظیفه را با عملگر bitshift و متدهای set_upstream()/set_downstream() تنظیم کنید، و جریان اجرا را با انتقال داده‌ها بین وظایف با استفاده از XComs کنترل کنید. وقتی این دوره را به پایان رساندید، مهارت ها و دانش Apache Airflow مورد نیاز برای ایجاد و مدیریت موثر DAG ها و وابستگی های وظایف را خواهید داشت.

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

مدیریت وابستگی های وظیفه در یک DAG Managing Task Dependencies in a DAG

  • معرفی و بررسی نسخه Introduction and Version Check

  • معرفی و بررسی نسخه Introduction and Version Check

  • معرفی و بررسی نسخه Introduction and Version Check

  • دمو: اجرای DAG با BashOperator Demo: Running a DAG with a BashOperator

  • دمو: اجرای DAG با BashOperator Demo: Running a DAG with a BashOperator

  • دمو: اجرای DAG با BashOperator Demo: Running a DAG with a BashOperator

  • نسخه ی نمایشی: شامل PythonOperator در DAG Demo: Including the PythonOperator in the DAG

  • نسخه ی نمایشی: شامل PythonOperator در DAG Demo: Including the PythonOperator in the DAG

  • نسخه ی نمایشی: شامل PythonOperator در DAG Demo: Including the PythonOperator in the DAG

  • نسخه ی نمایشی: راه اندازی یک پایگاه داده و اتصال SQLite Demo: Setting up a SQLite Database and Connection

  • نسخه ی نمایشی: راه اندازی یک پایگاه داده و اتصال SQLite Demo: Setting up a SQLite Database and Connection

  • نسخه ی نمایشی: راه اندازی یک پایگاه داده و اتصال SQLite Demo: Setting up a SQLite Database and Connection

  • نسخه ی نمایشی: خواندن، پردازش و ذخیره داده ها با استفاده از یک DAG پیچیده Demo: Reading, Processing, and Storing Data Using a Complex DAG

  • نسخه ی نمایشی: خواندن، پردازش و ذخیره داده ها با استفاده از یک DAG پیچیده Demo: Reading, Processing, and Storing Data Using a Complex DAG

  • نسخه ی نمایشی: خواندن، پردازش و ذخیره داده ها با استفاده از یک DAG پیچیده Demo: Reading, Processing, and Storing Data Using a Complex DAG

  • نسخه ی نمایشی: استفاده از عملگر Bit Shift برای تعیین وابستگی ها Demo: Using the Bit Shift Operator to Specify Dependencies

  • نسخه ی نمایشی: استفاده از عملگر Bit Shift برای تعیین وابستگی ها Demo: Using the Bit Shift Operator to Specify Dependencies

  • نسخه ی نمایشی: استفاده از عملگر Bit Shift برای تعیین وابستگی ها Demo: Using the Bit Shift Operator to Specify Dependencies

  • نسخه ی نمایشی: استفاده از XComs برای انتقال داده بین وظایف Demo: Using XComs to Pass Data between Tasks

  • نسخه ی نمایشی: استفاده از XComs برای انتقال داده بین وظایف Demo: Using XComs to Pass Data between Tasks

  • نسخه ی نمایشی: استفاده از XComs برای انتقال داده بین وظایف Demo: Using XComs to Pass Data between Tasks

نمایش نظرات

با Apache Airflow، DAG های پیچیده و وابستگی های وظیفه ایجاد کنید
جزییات دوره
22m
24
Pluralsight (پلورال سایت) Pluralsight (پلورال سایت)
(آخرین آپدیت)
1
از 5
دارد
دارد
دارد
Janani Ravi
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Janani Ravi Janani Ravi

معمار و مهندس داده خبره Google Cloud

Janani Ravi یک معمار و مهندس داده خبره Google cloud است.

جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.