آموزش پردازش داده‌های بدون سرور با Dataflow: خط لوله‌های داده (Pipelines) - نسخه فارسی - آخرین آپدیت

سرفصل ها و درس ها

مقدمه はじめに

• مقدمه دوره コースの概要

• Coursera: استفاده از Google Cloud Platform و Qwiklabs Coursera: Google Cloud Platform と Qwiklabs を使用する

مفاهیم Apache Beam Beam のコンセプトの復習

• مفاهیم پایه Beam Beam の基礎

• تغییر تاریخچه (Watermarks) ユーティリティ変換

• لایف‌سایکل DoFn DoFn のライフサイクル

Windows، Watermarks، Triggers ウィンドウ、ウォーターマーク、トリガー

• Windows ウィンドウ

• Watermark ウォーターマーク

• Triggers トリガー

سورس و سینک ソースとシンク

• سورس و سینک ソースとシンク

• Text IO و File IO Text IO と File IO

• BigQuery IO BigQuery IO

• PubSub IO PubSub IO

• Kafka IO Kafka IO

• BigTable IO BigTable IO

• Avro IO Avro IO

• Splittable DoFn Splittable DoFn

اسکیما スキーマ

• اسکیما در Beam Beam スキーマ

• مثال‌های کد コードの例

State و Timer State と Timer

• State API State API

• Timer API Timer API

• مرور 概要

بهترین تمرین‌های خط لوله ベスト プラクティス

• اسکیما スキーマ

• پردازش داده‌های غیرقابل تغییر 処理不可能なデータの処理

• ارائه پردازش エラー処理

• تولید ابزار کد AutoValue AutoValue コード生成ツール

• پردازش داده‌های JSON JSON データ処理

• کاربرد لایف‌سایکل DoFn DoFn ライフサイクルの活用

• بهینه‌سازی خط لوله パイプラインの最適化

Dataflow SQL و DataFrame Dataflow SQL と DataFrame

• Dataflow و Beam SQL Dataflow と Beam SQL

• پردازش Window در SQL SQL でのウィンドウ処理

• Beam DataFrame Beam DataFrame

Beam Notebooks Beam ノートブック

• Beam Notebooks Beam ノートブック

مرور 概要

• مرور و جمع‌بندی コースのまとめ