آموزش ایجاد خطوط لوله برای ارکستراسیون گردش کار با استفاده از Google Composer

Building Pipelines for Workflow Orchestration Using Google Composer

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: Cloud Composer یک سرویس ارکستراسیون گردش کار کاملاً مدیریت شده است که امکان ایجاد، زمان‌بندی و نظارت بر خطوط لوله را می‌دهد. این دوره معماری Composer و ایجاد خطوط لوله برای اجرای اسکریپت های پوسته دلخواه و کد پایتون را پوشش می دهد. Cloud Composer یک سرویس هماهنگ سازی خط لوله در GCP است. بر اساس Apache Airflow API، Composer در می 2018 راه اندازی شد و به سرعت به عنوان یک سرویس محبوب و همه کاره برای ساخت و اجرای خطوط لوله سیستم در حال ظهور است. در این دوره آموزشی، ساخت خطوط لوله برای هماهنگی گردش کار با استفاده از Google Composer، خواهید آموخت که چگونه Composer به کاربران ابری اجازه می دهد تا به سرعت خطوط لوله را با وظایف پیچیده به هم پیوسته ایجاد کنند. ابتدا، متوجه خواهید شد که Composer در طبقه بندی سرویس های GCP کجا قرار می گیرد و چگونه با Dataflow مقایسه می شود، که سرویس دیگری برای ساخت و اجرای خطوط لوله در GCP است. در مرحله بعد، بررسی خواهید کرد که محیط Composer چیست و خطوط لوله چگونه مشخص می شوند و در این محیط ها اجرا می شوند. سپس، با استفاده از عملگرهای Airflow برای اجرای اسکریپت‌های پوسته، اجرای کد پایتون دلخواه، و پیاده‌سازی جریان کنترل پیچیده، درکی از مجموعه قدرتمند اپراتورهایی که برای استفاده در خطوط لوله Composer در دسترس هستند، ایجاد خواهید کرد. در نهایت، نحوه استفاده از اپراتورهای ویژه GCP Airflow را برای ارسال ایمیل، کار با BigQuery و نمونه سازی کلاسترهای Dataproc یاد خواهید گرفت. پس از اتمام این دوره، مهارت ها و دانش لازم برای ساخت و استقرار خطوط لوله پیچیده ساخته شده بر روی Apache Airflow API با استفاده از Composer را خواهید داشت.

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

  • بررسی اجمالی دوره Course Overview

معرفی گوگل کامپوزر Introducing Google Composer

  • نمای کلی ماژول Module Overview

  • پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

  • آهنگساز برای ارکستراسیون Pipeline Composer for Pipeline Orchestration

  • بلوک های ساختمانی جریان هوا Building Blocks of Airflow

  • جریان هوای آپاچی Apache Airflow

  • Google Composer و Apache Airflow Google Composer and Apache Airflow

  • API ها را فعال کنید و محیط Composer را ایجاد کنید Enable APIs and Create Composer Environment

  • یک محیط آهنگساز را بررسی کنید Examine a Composer Environment

  • قیمت گذاری Pricing

ایجاد، پیکربندی و دسترسی به محیط‌ها Creating, Configuring, and Accessing Environments

  • نمای کلی ماژول Module Overview

  • یک Apache Airflow DAG بنویسید Write an Apache Airflow DAG

  • یک DAG را در Cloud Composer اجرا کنید Run a DAG on Cloud Composer

  • وب سرور Composer را کاوش کنید Explore Composer Web Server

  • از قانون ماشه All_success استفاده کنید Use the All_success Trigger Rule

  • از قانون ماشه One_failed استفاده کنید Use the One_failed Trigger Rule

  • از قانون ماشه All_done استفاده کنید Use the All_done Trigger Rule

  • وابستگی پایتون را مشخص کنید Specify Python Dependencies

  • یک اپراتور ساختگی ایجاد کنید Create a Dummy Operator

  • BranchPython Operator The BranchPythonOperator

  • خلاصه Summary

مدیریت و نظارت بر گردش کار Managing and Monitoring Workflows

  • نمای کلی ماژول Module Overview

  • از متغیرهای جریان هوا برای کپی فایل ها از یک سطل GCS به سطل دیگر استفاده کنید Use Airflow Variables to Copy Files from One GCS Bucket to Another

  • DAG ها و Composer Environment را حذف کنید Delete DAGs and Composer Environment

  • از Send Grid Email Integration در Airflow استفاده کنید Use the Send Grid Email Integration in Airflow

  • Pipeline پیچیده BigQuery، Cloud Storage و Send Grid را ادغام می کند Complex Pipeline Integrating BigQuery, Cloud Storage, and Send Grid

  • نوشتن DAG برای کار با Big Query، GCS و Send Grid Writing DAG to Work with Big Query, GCS, and Send Grid

  • از اپراتورهای Cloud Dataproc در Composer استفاده کنید Use Cloud Dataproc Operators in Composer

  • خلاصه Summary

نمایش نظرات

آموزش ایجاد خطوط لوله برای ارکستراسیون گردش کار با استفاده از Google Composer
جزییات دوره
1h 58m
29
Pluralsight (پلورال سایت) Pluralsight (پلورال سایت)
(آخرین آپدیت)
17
4.4 از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Vitthal Srinivasan Vitthal Srinivasan

ویتال بسیاری از عمر خود را صرف تحصیل کرده است - وی دارای مدرک کارشناسی ارشد در رشته های ریاضی و مهندسی برق از استنفورد ، MBA از INSEAD و لیسانس مهندسی کامپیوتر از بمبئی است. او همچنین بسیاری از زندگی خود را صرف کار کرده است - به عنوان یک مشتق مشتق در Credit Suisse در نیویورک ، سپس به عنوان یک معامله گر کوان ، ابتدا با یک صندوق پرچین در گرینویچ و سپس به صورت شخصی و در نهایت در Google در سنگاپور و Flipkart بنگلور در تمام این نقش ها ، او کدهای زیادی نوشته است و مدل های زیادی ساخته است.