آموزش معماری راه حل های کلان داده بدون سرور با استفاده از Google Dataflow

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

معرفی Dataflow Introducing Dataflow

• نمای کلی ماژول Module Overview

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• معرفی Dataflow Introducing Dataflow

• فعال کردن API ها و نصب کتابخانه های مشتری Enabling APIs and Installing Client Libraries

• با استفاده از Dataflow Using Dataflow

• معرفی آپاچی بیم Introducing Apache Beam

• کاوش در مجموعه داده کارخانه های شراب سازی Exploring the Wineries Dataset

• اجرای یک کار جریان داده به صورت محلی Running a Dataflow Job Locally

• اجرای یک کار جریان داده در فضای ابری Running a Dataflow Job on the Cloud

• مرحله بندی و خروجی در فضای ذخیره سازی ابری Staging and Output on Cloud Storage

• قیمت گذاری جریان داده Dataflow Pricing

• با استفاده از Stackdriver بر کارهای جریان داده نظارت کنید Monitor Dataflow Jobs Using Stackdriver

درک و استفاده از Apache Beam APIs Understanding and Using the Apache Beam APIs

• نمای کلی ماژول Module Overview

• با استفاده از Maven یک پروژه جاوا ایجاد کنید Create a Java Project Using Maven

• نوشتن یک کار جریان داده در جاوا Writing a Dataflow Job in Java

• بررسی فایل های خروجی در فضای ذخیره سازی ابری Examining Output Files on Cloud Storage

• محصولات پرفروش را بیابید Find the Top Selling Products

• اجرای یک خط لوله جاوا در Cloud Dataflow Executing a Java Pipeline on Cloud Dataflow

• کارها را اجرا کنید و لاگ های نظارتی را مشاهده کنید Execute Jobs and Monitor Logs

• مقیاس بندی تعداد کارگران Scaling Number of Workers

• شناسایی مراحل کند خط لوله Identifying Slow Pipeline Stages

• یکپارچه سازی Dataflow با BigQuery Integrating Dataflow with BigQuery

• نوشتن نتایج در BigQuery Writing Results to BigQuery

ایجاد و استفاده از PCCollection ها و ورودی های جانبی Creating and Using PCollections and Side Inputs

• نمای کلی ماژول Module Overview

• عملیات پنجره و انواع ویندوز Window Operations and Types of Windows

• عملیات پنجره Windowing Operations

• اجرا و نظارت بر خطوط لوله پنجره دار Executing and Monitoring Windowed Pipelines

• عملیات شعبه Branching Operations

• ورودی های جانبی Side Inputs

• اجرا و نظارت بر خطوط لوله با ورودی های جانبی Executing and Monitoring Pipelines with Side Inputs

ایجاد خطوط لوله از Google Templates Creating Pipelines from Google Templates

• نمای کلی ماژول Module Overview

• معرفی الگوهای جریان داده Introducing Dataflow Templates

• معرفی Pub/Sub Introducing Pub/Sub

• با استفاده از الگوهای جریان داده، یک کار Pub/Sub به BigQuery را اجرا کنید Execute a Pub/Sub to BigQuery Job Using Dataflow Templates

• انتشار پیام ها و خواندن از BigQuery Publishing Messages and Reading from BigQuery

• خلاصه و مطالعه بیشتر Summary and Further Study