آموزش رسیدگی به داده های جریان با GCP Dataflow - آخرین آپدیت

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

اجرای خطوط لوله در Cloud Dataflow Executing Pipelines on Cloud Dataflow

• بررسی نسخه Version Check

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• نسخه ی نمایشی: فعال کردن API در GCP Demo: Enabling APIs on the GCP

• نسخه ی نمایشی: ایجاد یک حساب خدمات Demo: Creating a Service Account

• نسخه ی نمایشی: ایجاد یک پروژه Maven Apache Demo: Creating an Apache Maven Project

• نسخه ی نمایشی: بارگذاری داده ها در یک سطل ذخیره سازی ابری Demo: Uploading Data to a Cloud Storage Bucket

• نسخه ی نمایشی: اجرای خط لوله Dataflow برای داده های دسته ای Demo: Implementing a Dataflow Pipeline for Batch Data

• نسخه ی نمایشی: اجرای خط لوله Dataflow Demo: Executing a Dataflow Pipeline

• نسخه ی نمایشی: مشاهده نتایج نهایی Demo: Viewing Final Results

• نسخه ی نمایشی: گزینه های خط لوله سفارشی Demo: Custom Pipeline Options

• نسخه ی نمایشی: اجرای خط لوله برای خواندن از میخانه/زیر Demo: Implementing a Pipeline to Read from Pub/Sub

• نسخه ی نمایشی: اجرای خط لوله جریان داده جریان Demo: Executing a Streaming Dataflow Pipeline

• نسخه ی نمایشی: اشکال زدایی خطوط لوله آهسته Demo: Debugging Slow Pipelines

یکپارچه سازی Dataflow با Cloud Pub/Sub Integrating Dataflow with Cloud Pub/Sub

• نمای کلی از پیام رسانی در میخانه/زیر Quick Overview of Messaging in Pub/Sub

• نسخه ی نمایشی: خط لوله برای خواندن از میخانه/زیر و نوشتن به BigQuery Demo: Pipeline to Read from Pub/Sub and Write to BigQuery

• نسخه ی نمایشی: نوشتن نتایج جریان به BigQuery Demo: Writing Streaming Results to BigQuery

• نسخه ی نمایشی: ایجاد و دسترسی به کلیدهای API توییتر Demo: Creating and Accessing Twitter API Keys

• نسخه ی نمایشی: اتصال به API توییتر و انتشار توییت به Pub/Sub Demo: Connecting to the Twitter API and Publishing Tweets to Pub/Sub

• نسخه ی نمایشی: استخراج هشتگ از توییت Demo: Extracting Hashtags from Tweets

• نسخه ی نمایشی: مشاهده هشتگ های استخراج شده با استفاده از یک اشتراک میخانه/فرعی Demo: Viewing Extracted Hashtags Using a Pub/Sub Subscription

• نسخه ی نمایشی: اجرای خطوط لوله با ورودی های جانبی Demo: Executing Pipelines with Side Inputs

• نسخه ی نمایشی: اجرای خط لوله انشعاب Demo: Implementing a Branching Pipeline

• نسخه ی نمایشی: مشاهده نتایج در میخانه/زیر و بزرگ و بزرگ Demo: Viewing Results in Pub/Sub and BigQuery

• نسخه ی نمایشی: به روزرسانی یک خط لوله در حال اجرا Demo: Updating a Running Pipeline

انجام عملیات پنجره سازی روی داده های جریانی Performing Windowing Operations on Streaming Data

• نمای کلی از پنجره ها و محرک ها Quick Overview of Windowing and Triggers

• نسخه ی نمایشی: استخراج زمان رویداد Demo: Extracting Event Time

• نسخه ی نمایشی: خواندن داده های خارج از سفارش از میخانه/زیر Demo: Reading Out-of-order Data from Pub/Sub

• نسخه ی نمایشی: ارتباط زمان رویداد با استفاده از ویژگی های Pub/Sub Message Demo: Associating Event Time Using Pub/Sub Message Attributes

• نسخه ی نمایشی: انجام عملیات پنجره کشویی در جریان های ورودی Demo: Performing Sliding Window Operations on Input Streams

• نسخه ی نمایشی: انجام عملیات پنجره جلسه در جریان های ورودی Demo: Performing Session Window Operations on Input Streams

• نسخه ی نمایشی: پیکربندی محرک های داده های دیر هنگام Demo: Configuring Triggers for Late Arriving Data

• نسخه ی نمایشی: پیکربندی محرک ها برای بدست آوردن نتایج اولیه از یک پنجره طولانی Demo: Configuring Triggers to Get Early Results from a Long Window

• نسخه ی نمایشی: پیکربندی محرک های محور داده Demo: Configuring Data Driven Triggers

• نسخه ی نمایشی: اجرای یک خط لوله برای نوشتن داده ها به یک فایل پارکت Demo: Implementing a Pipeline to Write Data to a Parquet File

• نسخه ی نمایشی: مشاهده نتایج نوشته شده به یک پرونده پارکت Demo: Viewing Results Written to a Parquet File

انجام عملیات پیوستن بر روی داده های جریانی Performing Join Operations on Streaming Data

• نسخه ی نمایشی: اجرای عملیات پیوستن به خط لوله Dataflow Demo: Implementing Join Operations in a Dataflow Pipeline

• نسخه ی نمایشی: مشاهده پیوستن به یک سطل ذخیره سازی ابری منجر می شود Demo: Viewing Joined Results in a Cloud Storage Bucket

• نسخه ی نمایشی: اجرای معیارهای ضد Demo: Implementing Counter Metrics

• نسخه ی نمایشی: تجسم معیارهای پیشخوان با استفاده از نظارت ابر Demo: Visualizing Counter Metrics Using Cloud Monitoring

• نسخه ی نمایشی: خطوط لوله DataFlow آزمایش واحد Demo: Unit Testing Dataflow Pipelines

• نسخه ی نمایشی: آزمایش خط لوله پایان Demo: End to End Pipeline Testing

• خلاصه و مطالعه بیشتر Summary and Further Study