لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش ایجاد خطوط لوله برای ارکستراسیون گردش کار با استفاده از Google Composer
Building Pipelines for Workflow Orchestration Using Google Composer
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
Cloud Composer یک سرویس ارکستراسیون گردش کار کاملاً مدیریت شده است که امکان ایجاد، زمانبندی و نظارت بر خطوط لوله را میدهد. این دوره معماری Composer و ایجاد خطوط لوله برای اجرای اسکریپت های پوسته دلخواه و کد پایتون را پوشش می دهد. Cloud Composer یک سرویس هماهنگ سازی خط لوله در GCP است. بر اساس Apache Airflow API، Composer در می 2018 راه اندازی شد و به سرعت به عنوان یک سرویس محبوب و همه کاره برای ساخت و اجرای خطوط لوله سیستم در حال ظهور است. در این دوره آموزشی، ساخت خطوط لوله برای هماهنگی گردش کار با استفاده از Google Composer، خواهید آموخت که چگونه Composer به کاربران ابری اجازه می دهد تا به سرعت خطوط لوله را با وظایف پیچیده به هم پیوسته ایجاد کنند. ابتدا، متوجه خواهید شد که Composer در طبقه بندی سرویس های GCP کجا قرار می گیرد و چگونه با Dataflow مقایسه می شود، که سرویس دیگری برای ساخت و اجرای خطوط لوله در GCP است. در مرحله بعد، بررسی خواهید کرد که محیط Composer چیست و خطوط لوله چگونه مشخص می شوند و در این محیط ها اجرا می شوند. سپس، با استفاده از عملگرهای Airflow برای اجرای اسکریپتهای پوسته، اجرای کد پایتون دلخواه، و پیادهسازی جریان کنترل پیچیده، درکی از مجموعه قدرتمند اپراتورهایی که برای استفاده در خطوط لوله Composer در دسترس هستند، ایجاد خواهید کرد. در نهایت، نحوه استفاده از اپراتورهای ویژه GCP Airflow را برای ارسال ایمیل، کار با BigQuery و نمونه سازی کلاسترهای Dataproc یاد خواهید گرفت. پس از اتمام این دوره، مهارت ها و دانش لازم برای ساخت و استقرار خطوط لوله پیچیده ساخته شده بر روی Apache Airflow API با استفاده از Composer را خواهید داشت.
سرفصل ها و درس ها
بررسی اجمالی دوره
Course Overview
بررسی اجمالی دوره
Course Overview
معرفی گوگل کامپوزر
Introducing Google Composer
نمای کلی ماژول
Module Overview
پیش نیازها و رئوس مطالب دوره
Prerequisites and Course Outline
آهنگساز برای ارکستراسیون Pipeline
Composer for Pipeline Orchestration
بلوک های ساختمانی جریان هوا
Building Blocks of Airflow
جریان هوای آپاچی
Apache Airflow
Google Composer و Apache Airflow
Google Composer and Apache Airflow
API ها را فعال کنید و محیط Composer را ایجاد کنید
Enable APIs and Create Composer Environment
یک محیط آهنگساز را بررسی کنید
Examine a Composer Environment
قیمت گذاری
Pricing
ایجاد، پیکربندی و دسترسی به محیطها
Creating, Configuring, and Accessing Environments
نمای کلی ماژول
Module Overview
یک Apache Airflow DAG بنویسید
Write an Apache Airflow DAG
یک DAG را در Cloud Composer اجرا کنید
Run a DAG on Cloud Composer
وب سرور Composer را کاوش کنید
Explore Composer Web Server
از قانون ماشه All_success استفاده کنید
Use the All_success Trigger Rule
از قانون ماشه One_failed استفاده کنید
Use the One_failed Trigger Rule
از قانون ماشه All_done استفاده کنید
Use the All_done Trigger Rule
وابستگی پایتون را مشخص کنید
Specify Python Dependencies
یک اپراتور ساختگی ایجاد کنید
Create a Dummy Operator
BranchPython Operator
The BranchPythonOperator
خلاصه
Summary
مدیریت و نظارت بر گردش کار
Managing and Monitoring Workflows
نمای کلی ماژول
Module Overview
از متغیرهای جریان هوا برای کپی فایل ها از یک سطل GCS به سطل دیگر استفاده کنید
Use Airflow Variables to Copy Files from One GCS Bucket to Another
DAG ها و Composer Environment را حذف کنید
Delete DAGs and Composer Environment
از Send Grid Email Integration در Airflow استفاده کنید
Use the Send Grid Email Integration in Airflow
Pipeline پیچیده BigQuery، Cloud Storage و Send Grid را ادغام می کند
Complex Pipeline Integrating BigQuery, Cloud Storage, and Send Grid
نوشتن DAG برای کار با Big Query، GCS و Send Grid
Writing DAG to Work with Big Query, GCS, and Send Grid
از اپراتورهای Cloud Dataproc در Composer استفاده کنید
Use Cloud Dataproc Operators in Composer
ویتال بسیاری از عمر خود را صرف تحصیل کرده است - وی دارای مدرک کارشناسی ارشد در رشته های ریاضی و مهندسی برق از استنفورد ، MBA از INSEAD و لیسانس مهندسی کامپیوتر از بمبئی است. او همچنین بسیاری از زندگی خود را صرف کار کرده است - به عنوان یک مشتق مشتق در Credit Suisse در نیویورک ، سپس به عنوان یک معامله گر کوان ، ابتدا با یک صندوق پرچین در گرینویچ و سپس به صورت شخصی و در نهایت در Google در سنگاپور و Flipkart بنگلور در تمام این نقش ها ، او کدهای زیادی نوشته است و مدل های زیادی ساخته است.
نمایش نظرات