آموزش مفهوم سازی مدل پردازش برای سرویس گردش داده GCP

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

شروع با Cloud Dataflow Getting Started with Cloud Dataflow

• پیش نیازها و طرح کلی دوره Prerequisites and Course Outline

• بررسی نسخه Version Check

• بررسی اجمالی پرتو آپاچی Overview of Apache Beam

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• معرفی Cloud Dataflow Introducing Cloud Dataflow

• نمای کلی از Apache Beam Overview of Apache Beam

• اجرای خطوط لوله در گردش اطلاعات Executing Pipelines on Dataflow

• معرفی DataFlow Cloud Introducing Cloud Dataflow

• نسخه ی نمایشی: فعال کردن API ها Demo: Enabling APIs

• اجرای خطوط لوله در جریان داده Executing Pipelines on Dataflow

• نسخه ی نمایشی: راه اندازی یک حساب سرویس Demo: Setting up a Service Account

• نسخه ی نمایشی: فعال کردن API Demo: Enabling APIs

• نسخه ی نمایشی: تنظیم حساب خدمات Demo: Setting up a Service Account

• نسخه ی نمایشی: نمونه برنامه شمارش کلمات Demo: Sample Word Count Application

• نسخه ی نمایشی: نمونه کاربرد تعداد کلمات Demo: Sample Word Count Application

• نسخه ی نمایشی: اجرای برنامه شمارش کلمات در Beam Runner Demo: Executing the Word Count Application on the Beam Runner

• نسخه ی نمایشی: اجرای برنامه Word Count بر روی دونده پرتو Demo: Executing the Word Count Application on the Beam Runner

• نسخه ی نمایشی: ایجاد سطل ذخیره سازی Cloud Demo: Creating Cloud Storage Buckets

• نسخه ی نمایشی: پیاده سازی خط لوله Beam برای اجرای گردش اطلاعات Demo: Implementing a Beam Pipeline to Run on Dataflow

• نسخه ی نمایشی: ایجاد سطل های ذخیره سازی ابری Demo: Creating Cloud Storage Buckets

• نسخه ی نمایشی: اجرای یک خط لوله پرتو برای اجرای Dataflow Demo: Implementing a Beam Pipeline to Run on Dataflow

• نسخه ی نمایشی: اجرای خط لوله پرتو در Cloud Dataflow Demo: Running a Beam Pipeline on Cloud Dataflow

• نسخه ی نمایشی: گزینه های خط لوله سفارشی Demo: Custom Pipeline Options

• نسخه ی نمایشی: اجرای یک خط لوله پرتوی در جریان ابر ابر Demo: Running a Beam Pipeline on Cloud Dataflow

• قیمت گذاری جریان داده Dataflow Pricing

• نسخه ی نمایشی: گزینه های خط لوله سفارشی Demo: Custom Pipeline Options

• قیمت گذاری داده ها Dataflow Pricing

نظارت بر مشاغل در Cloud Dataflow Monitoring Jobs in Cloud Dataflow

• نظارت بر مشاغل Monitoring Jobs

• نسخه ی نمایشی: اجرای خط لوله با ورودی جانبی Demo: Implementing a Pipeline with a Side Input

• نسخه ی نمایشی: اجرای کد و کاوش در نمودار کار Demo: Running the Code and Exploring the Job Graph

• نسخه ی نمایشی: کاوش در معیارهای شغلی Demo: Exploring Job Metrics

• نسخه ی نمایشی: خودکار سازی Demo: Autoscaling

• نسخه ی نمایشی: فعال کردن موتور جریان Demo: Enabling the Streaming Engine

• نسخه ی نمایشی: با استفاده از رابط خط فرمان برای نظارت بر مشاغل Demo: Using the Command-line Interface to Monitor Jobs

• نسخه ی نمایشی: ورود به سیستم در Dataflow Demo: Logging Messages in Dataflow

• نسخه ی نمایشی: ردیابی معیارهای Dataflow با Metrics Explorer Demo: Tracking Dataflow Metrics with the Metrics Explorer

• نسخه ی نمایشی: پیکربندی هشدارها Demo: Configuring Alerts

بهینه سازی خطوط لوله جریان داده Cloud Optimizing Cloud Dataflow Pipelines

• ساختار کد کاربر Structuring User Code

• نسخه ی نمایشی: نوشتن نتایج خط لوله به میخانه/فرعی Demo: Writing Pipeline Results to Pub/Sub

• نسخه ی نمایشی: مشاهده نتایج خط لوله در میخانه/زیر Demo: Viewing Pipeline Results in Pub/Sub

• نسخه ی نمایشی: نوشتن نتایج خط لوله به BigQuery Demo: Writing Pipeline Results to BigQuery

• نسخه ی نمایشی: مشاهده خط لوله در BigQuery Demo: Viewing Pipeline Results in BigQuery

• نسخه ی نمایشی: انجام عملیات پیوستن Demo: Performing Join Operations

• نسخه ی نمایشی: خطاها و احیا در Dataflow Demo: Errors and Retries in Dataflow

• همجوشی و بهینه سازی ها Fusion and Combine Optimizations

• کار خودکار و تغییر مجدد کار Autoscaling and Dynamic Work Rebalancing

• نسخه ی نمایشی: خواندن داده های جریان از میخانه/فرعی Demo: Reading Streaming Data from Pub/Sub

• نسخه ی نمایشی: نوشتن داده های جریان به BigQuery Demo: Writing Streaming Data to BigQuery

اجرای خطوط لوله انتقال داده Cloud با استفاده از الگوها Running Cloud Dataflow Pipelines Using Templates

• معرفی الگوها در Dataflow Introducing Templates in Dataflow

• نسخه ی نمایشی: الگوهای داخلی در Dataflow Demo: Built-in Templates in Dataflow

• نسخه ی نمایشی: اجرای الگوهای داخلی Demo: Running Built-in Templates

• نسخه ی نمایشی: ایجاد الگوهای داده های سفارشی Demo: Creating Custom Dataflow Templates

• نسخه ی نمایشی: اجرای الگوهای سفارشی در Dataflow Demo: Executing Custom Templates in Dataflow

• خلاصه و مطالعه بیشتر Summary and Further Study