آموزش پردازش داده‌های سرورلس با Dataflow: توسعه پایپ‌لاین‌ها - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduçao

• مقدمه دوره Introdução ao curso

مرور مفاهیم Beam Resumo dos conceitos do Beam

• مبانی Beam Fundamentos do Beam

• تبدیلات کاربردی Transformações de utilitário

• چرخه حیات DoFn Ciclo de vida da DoFn

• شروع کار با Google Cloud Platform و Qwiklabs Como começar a usar o Google Cloud Platform e o Qwiklabs

پنجره‌ها، تریگرها و واترمارک‌ها Janelas, gatilhos de marcas d'água

• پنجره‌ها Janelas

• واترمارک‌ها Marcas d’água

• تریگرها Gatilhos

منابع و سینک‌ها Origens e coletores

• منابع و سینک‌ها Origens e coletores

• ورودی/خروجی متن و فایل‌ها E/S de texto e arquivos

• ورودی/خروجی BigQuery E/S do BigQuery

• ورودی/خروجی Pub/Sub E/S do Pub/Sub

• ورودی/خروجی Kafka E/S do Kafka

• ورودی/خروجی BigTable E/S do BigTable

• ورودی/خروجی Avro E/S do Avro

• DoFn تقسیم‌پذیر DoFn divisível

طرحواره‌ها (Schemas) Esquemas

• طرحواره‌های Beam Esquemas do Beam

• مثال‌های کدنویسی Exemplos de código

حالت و تایمرها Estado e Timers

• رابط API State API State

• رابط API Timer API Timer

• جمع‌بندی Resumo

بهترین شیوه‌ها Práticas Recomendadas

• طرحواره‌ها Esquemas

• مدیریت داده‌های غیرقابل پردازش Como lidar com dados que não podem ser processados

• رفع خطاها Como resolver erros

• تولیدکننده کدهای AutoValue Gerador de códigos AutoValue

• پردازش داده‌های JSON Processamento de dados JSON

• استفاده از چرخه حیات DoFn Use o ciclo de vida da DoFn

• بهینه‌سازی پایپ‌لاین‌ها Otimizações de pipeline

Dataflow SQL و DataFrames Dataflow SQL e DataFrames

• SQL در Dataflow و Beam SQL do Dataflow e do Beam

• مدیریت پنجره‌ها در SQL Gestão de janelas no SQL

• DataFrames در Beam DataFrames do Beam

دفترچه‌های Beam Notebooks do Beam

• دفترچه‌های Beam Notebooks do Beam

جمع‌بندی Resumo

• جمع‌بندی دوره Resumo do curso