آموزش پردازش داده‌های بدون سرور با Dataflow: توسعه خط لوله‌های داده (Pipelines) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• معرفی دوره Course Introduction

مرور مفاهیم Beam Beam Concepts Review

• مبانی Beam Beam Basics

• تبدیل‌های کاربردی (Utility Transforms) Utility Transforms

• چرخه حیات DoFn DoFn Lifecycle

پنجره‌ها، واترمارک‌ها و تریگرها Windows, Watermarks, and Triggers

• پنجره‌ها (Windows) Windows

• واترمارک‌ها (Watermarks) Watermarks

• تریگرها (Triggers) Triggers

منابع ورودی و خروجی (Sources & Sinks) Sources & Sinks

• منابع ورودی و خروجی Sources & Sinks

• TextIO و FileIO TextIO & FileIO

• BigQueryIO BigQueryIO

• PubsubIO PubsubIO

• KafkaIO KafkaIO

• BigtableIO BigtableIO

• AvroIO AvroIO

• توابع DoFn قابل تقسیم Splittable DoFn

شماها (Schemas) Schemas

• شماهای Beam Beam schemas

• مثال‌های کدنویسی Code examples

حالت‌ها و تایمرها (State and Timers) State and Timers

• رابط State API State API

• رابط Timer API Timer API

• جمع‌بندی Summary

بهترین روش‌های بهینه‌سازی Best Practices

• شماها (Schemas) Schemas

• مدیریت داده‌های غیرقابل پردازش Handling un-processable data

• مدیریت خطاها Error handling

• تولیدکننده کد AutoValue AutoValue code generator

• مدیریت داده‌های JSON JSON data handling

• بهره‌گیری از چرخه حیات DoFn Utilize DoFn lifecycle

• بهینه‌سازی خط لوله (Pipeline) Pipeline Optimizations

دیتافلو SQL و DataFrames Dataflow SQL & DataFrames

• دیتافلو و Beam SQL Dataflow and Beam SQL

• پنجره‌بندی در SQL Windowing in SQL

• دیتا‌فریم‌های Beam Beam DataFrames

دفترچه‌های Beam Notebooks Beam Notebooks

• دفترچه‌های Beam Notebooks Beam Notebooks

جمع‌بندی Summary

• جمع‌بندی نهایی دوره Course Summary