آموزش مدیریت جریان داده با GCP Dataflow

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

اجرای خطوط لوله در Cloud Dataflow Executing Pipelines on Cloud Dataflow

• بررسی نسخه Version Check

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• نسخه ی نمایشی: فعال کردن API ها در GCP Demo: Enabling APIs on the GCP

• نسخه ی نمایشی: ایجاد یک حساب خدمات Demo: Creating a Service Account

• نسخه ی نمایشی: ایجاد یک پروژه Apache Maven Demo: Creating an Apache Maven Project

• نسخه ی نمایشی: آپلود داده ها در یک سطل ذخیره سازی ابری Demo: Uploading Data to a Cloud Storage Bucket

• نسخه ی نمایشی: پیاده سازی یک خط لوله جریان داده برای داده های دسته ای Demo: Implementing a Dataflow Pipeline for Batch Data

• نسخه ی نمایشی: اجرای یک خط لوله جریان داده Demo: Executing a Dataflow Pipeline

• نسخه ی نمایشی: مشاهده نتایج نهایی Demo: Viewing Final Results

• نسخه ی نمایشی: گزینه های خط لوله سفارشی Demo: Custom Pipeline Options

• نسخه ی نمایشی: پیاده سازی خط لوله برای خواندن از Pub/Sub Demo: Implementing a Pipeline to Read from Pub/Sub

• نسخه ی نمایشی: اجرای یک خط لوله جریان داده Demo: Executing a Streaming Dataflow Pipeline

• نسخه ی نمایشی: اشکال زدایی خطوط لوله کند Demo: Debugging Slow Pipelines

یکپارچه سازی Dataflow با Cloud Pub/Sub Integrating Dataflow with Cloud Pub/Sub

• مروری سریع بر پیام رسانی در Pub/Sub Quick Overview of Messaging in Pub/Sub

• نسخه ی نمایشی: خط لوله برای خواندن از Pub/Sub و نوشتن در BigQuery Demo: Pipeline to Read from Pub/Sub and Write to BigQuery

• نسخه ی نمایشی: نوشتن نتایج جریان در BigQuery Demo: Writing Streaming Results to BigQuery

• نسخه ی نمایشی: ایجاد و دسترسی به کلیدهای API توییتر Demo: Creating and Accessing Twitter API Keys

• نسخه ی نمایشی: اتصال به API توییتر و انتشار توییت ها در Pub/Sub Demo: Connecting to the Twitter API and Publishing Tweets to Pub/Sub

• نسخه ی نمایشی: استخراج هشتگ از توییت ها Demo: Extracting Hashtags from Tweets

• نسخه ی نمایشی: مشاهده هشتگ های استخراج شده با استفاده از اشتراک Pub/Sub Demo: Viewing Extracted Hashtags Using a Pub/Sub Subscription

• نسخه ی نمایشی: اجرای خطوط لوله با ورودی های جانبی Demo: Executing Pipelines with Side Inputs

• نسخه ی نمایشی: پیاده سازی خط لوله انشعاب Demo: Implementing a Branching Pipeline

• نسخه ی نمایشی: مشاهده نتایج در Pub/Sub و BigQuery Demo: Viewing Results in Pub/Sub and BigQuery

• نسخه ی نمایشی: به روز رسانی خط لوله در حال اجرا Demo: Updating a Running Pipeline

انجام عملیات پنجره سازی روی داده های جریانی Performing Windowing Operations on Streaming Data

• بررسی اجمالی سریع پنجره ها و محرک ها Quick Overview of Windowing and Triggers

• نسخه ی نمایشی: استخراج زمان رویداد Demo: Extracting Event Time

• نسخه ی نمایشی: خواندن داده های خارج از دستور از Pub/Sub Demo: Reading Out-of-order Data from Pub/Sub

• نسخه ی نمایشی: مرتبط کردن زمان رویداد با استفاده از ویژگی های پیام Pub/Sub Demo: Associating Event Time Using Pub/Sub Message Attributes

• نسخه ی نمایشی: انجام عملیات پنجره کشویی در جریان های ورودی Demo: Performing Sliding Window Operations on Input Streams

• نسخه ی نمایشی: انجام عملیات پنجره جلسه در جریان های ورودی Demo: Performing Session Window Operations on Input Streams

• نسخه ی نمایشی: پیکربندی محرک ها برای داده های دیررس Demo: Configuring Triggers for Late Arriving Data

• نسخه ی نمایشی: پیکربندی محرک ها برای دریافت نتایج اولیه از یک پنجره طولانی Demo: Configuring Triggers to Get Early Results from a Long Window

• نسخه ی نمایشی: پیکربندی محرک های داده محور Demo: Configuring Data Driven Triggers

• نسخه ی نمایشی: پیاده سازی خط لوله برای نوشتن داده ها در یک فایل پارکت Demo: Implementing a Pipeline to Write Data to a Parquet File

• نسخه ی نمایشی: مشاهده نتایج نوشته شده در یک فایل پارکت Demo: Viewing Results Written to a Parquet File

انجام عملیات پیوستن بر روی داده های جریانی Performing Join Operations on Streaming Data

• نسخه ی نمایشی: پیاده سازی عملیات پیوستن در یک خط لوله جریان داده Demo: Implementing Join Operations in a Dataflow Pipeline

• نسخه ی نمایشی: مشاهده نتایج پیوست شده در یک سطل ذخیره سازی ابری Demo: Viewing Joined Results in a Cloud Storage Bucket

• نسخه ی نمایشی: پیاده سازی سنجه های شمارنده Demo: Implementing Counter Metrics

• نسخه ی نمایشی: تجسم معیارهای شمارنده با استفاده از نظارت ابری Demo: Visualizing Counter Metrics Using Cloud Monitoring

• نسخه ی نمایشی: واحد آزمایش خطوط لوله جریان داده Demo: Unit Testing Dataflow Pipelines

• نسخه ی نمایشی: آزمایش خط لوله پایان به پایان Demo: End to End Pipeline Testing

• خلاصه و مطالعه بیشتر Summary and Further Study