آموزش Google Dataflow پیشرفته

مقدمه Introduction

• نمای کلی فناوری سریع (در حال انجام) Quick technology overview (In progress)

• امتحان فصل Chapter Quiz

1. مروری سریع بر پرتو آپاچی و جریان داده 1. Quick Overview of Apache Beam and Dataflow

• پردازش جریانی با پرتو آپاچی Stream processing with Apache Beam

• فعال کردن Google Cloud API برای برنامه‌های Dataflow Enabling Google Cloud APIs for Dataflow apps

• تنظیم اعتبار حساب خدمات Setting up service account credentials

• ایجاد یک پروژه Apache Beam با Maven Creating an Apache Beam project with Maven

• خواندن داده‌ها از فضای ذخیره‌سازی Google Cloud Reading data from Google Cloud storage

• چاپ عناصر روی کنسول Printing elements to the console

• اجرای یک برنامه پردازش دسته ای Running a batch processing app

• امتحان فصل Chapter Quiz

2. مقدمه ای بر پردازش جریانی با Dataflow 2. Introduction to Stream Processing with Dataflow

• در جریان داده ها تغییر شکل می دهد Transforms on streaming data

• پردازش داده های جریانی Processing streaming data

• انجام تجمیع در جریان داده ها Performing an aggregation on streaming data

• تعریف پنجره برای تجمیع Defining a window for aggregations

• استفاده از یک جمع کننده سفارشی Using a custom aggregator

• امتحان فصل Chapter Quiz

3. پخش جریانی پیام ها با Pub/Sub 3. Streaming Messages with Pub/Sub

• انتشار پیام ها به Pub/Sub Publishing messages to Pub/Sub

• دسترسی به پیام ها از Pub/Sub Accessing messages from Pub/Sub

• راه اندازی Pub/Sub و BigQuery Setting up Pub/Sub and BigQuery

• خواندن پیام‌ها از Pub/Sub Reading messages from Pub/Sub

• نظارت بر پیام ها در Pub/Sub Monitoring messages on Pub/Sub

• امتحان فصل Chapter Quiz

4. عملیات پنجره در Dataflow 4. Windowing Operations in Dataflow

• عملیات پنجره Window operations

• نوشتن نتایج در BigQuery Writing results to BigQuery

• بررسی خروجی خط لوله Verifying the pipeline output

• محاسبه میانگین روی یک پنجره Computing an average over a window

• تنظیم مجدد اندازه پنجره Resetting the window size

• اجرای پنجره های کشویی Implementing sliding windows

• به روز رسانی مشاغل در حال اجرا Updating running jobs

• امتحان فصل Chapter Quiz

5. به عملیات در Dataflow بپیوندید 5. Join Operations in Dataflow

• پیوستن به PCCollection های محدود Joining bounded PCollections

• در حال پیاده سازی پیوستن به جریان Implementing stream-stream joins

• ورودی های تغذیه برای پیوستن به جریان Feeding inputs for streaming joins

• امتحان فصل Chapter Quiz

6. استفاده از Dataflow SQL Service 6. Using the Dataflow SQL Service

• پردازش جریان بدون کد Code-free stream processing

• آماده شدن برای استفاده از Dataflow SQL Preparing to use Dataflow SQL

• اجرای کارها با Dataflow SQL Executing jobs with Dataflow SQL

• پرس و جوهای پارامتری شده با Dataflow SQL Parametrized queries with Dataflow SQL

• امتحان فصل Chapter Quiz

7. استفاده از Dataflow Streaming Templates 7. Using Dataflow Streaming Templates

• راه اندازی مشاغل پخش جریانی با یک الگو Launching streaming jobs with a template

• تأیید نتایج برای یک کار الگو Verifying results for a template job

• امتحان فصل Chapter Quiz

نتیجه Conclusion

• خلاصه و مراحل بعدی Summary and next steps