آموزش ایجاد خطوط لوله برای ارکستراسیون گردش کار با استفاده از Google Composer

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

معرفی گوگل کامپوزر Introducing Google Composer

• نمای کلی ماژول Module Overview

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• آهنگساز برای ارکستراسیون Pipeline Composer for Pipeline Orchestration

• بلوک های ساختمانی جریان هوا Building Blocks of Airflow

• جریان هوای آپاچی Apache Airflow

• Google Composer و Apache Airflow Google Composer and Apache Airflow

• API ها را فعال کنید و محیط Composer را ایجاد کنید Enable APIs and Create Composer Environment

• یک محیط آهنگساز را بررسی کنید Examine a Composer Environment

• قیمت گذاری Pricing

ایجاد، پیکربندی و دسترسی به محیط‌ها Creating, Configuring, and Accessing Environments

• نمای کلی ماژول Module Overview

• یک Apache Airflow DAG بنویسید Write an Apache Airflow DAG

• یک DAG را در Cloud Composer اجرا کنید Run a DAG on Cloud Composer

• وب سرور Composer را کاوش کنید Explore Composer Web Server

• از قانون ماشه All_success استفاده کنید Use the All_success Trigger Rule

• از قانون ماشه One_failed استفاده کنید Use the One_failed Trigger Rule

• از قانون ماشه All_done استفاده کنید Use the All_done Trigger Rule

• وابستگی پایتون را مشخص کنید Specify Python Dependencies

• یک اپراتور ساختگی ایجاد کنید Create a Dummy Operator

• BranchPython Operator The BranchPythonOperator

• خلاصه Summary

مدیریت و نظارت بر گردش کار Managing and Monitoring Workflows

• نمای کلی ماژول Module Overview

• از متغیرهای جریان هوا برای کپی فایل ها از یک سطل GCS به سطل دیگر استفاده کنید Use Airflow Variables to Copy Files from One GCS Bucket to Another

• DAG ها و Composer Environment را حذف کنید Delete DAGs and Composer Environment

• از Send Grid Email Integration در Airflow استفاده کنید Use the Send Grid Email Integration in Airflow

• Pipeline پیچیده BigQuery، Cloud Storage و Send Grid را ادغام می کند Complex Pipeline Integrating BigQuery, Cloud Storage, and Send Grid

• نوشتن DAG برای کار با Big Query، GCS و Send Grid Writing DAG to Work with Big Query, GCS, and Send Grid

• از اپراتورهای Cloud Dataproc در Composer استفاده کنید Use Cloud Dataproc Operators in Composer

• خلاصه Summary