آموزش پردازش داده های بدون سرور با جریان داده: توسعه خطوط لوله

معرفی Introduction

• معرفی دوره Course Introduction

بررسی مفاهیم پرتو Beam Concepts Review

• مبانی پرتو Beam Basics

• Utility Transforms Utility Transforms

• چرخه حیات DoFn DoFn Lifecycle

• شروع کار با GCP و Qwiklabs Getting Started With GCP And Qwiklabs

• آزمایشگاه: Dataflow Academy (جاوا) - آزمایشگاه 1 - نوشتن خط لوله ETL با استفاده از پرتو Apache و Cloud Dataflow Lab: Dataflow Academy (Java) - Lab 1 - Writing an ETL pipeline using Apache Beam and Cloud Dataflow

• آزمایشگاه: Dataflow Academy (Python) - آزمایشگاه 1 - نوشتن خط لوله ETL با استفاده از Apache Beam و Cloud Dataflow Lab: Dataflow Academy (Python) - Lab 1 - Writing an ETL pipeline using Apache Beam and Cloud Dataflow

• منابع ماژول Module Resources

Windows, Watermarks Triggers Windows, Watermarks Triggers

• پنجره ها Windows

• متن Watermarks

• محرک Triggers

• آزمایشگاه: آکادمی DataFlow (جاوا) - آزمایشگاه 3 - خط لوله های تجزیه و تحلیل دسته ای با جریان داده ابر Lab: Dataflow Academy (Java) - Lab 3 - Batch Analytics Pipelines with Cloud Dataflow

• آزمایشگاه: Dataflow Academy (Python) - Lab 3 - Batch Analytics Pipelines with Cloud Dataflow Lab: Dataflow Academy (Python) - Lab 3 - Batch Analytics Pipelines with Cloud Dataflow

• آزمایشگاه: Dataflow Academy (Java) - Lab 5 - Streaming Analytics Pipeline با Cloud Dataflow Lab: Dataflow Academy (Java) - Lab 5 - Streaming Analytics Pipeline with Cloud Dataflow

• Lab: Dataflow Academy (Python) - Lab 5 - Streaming Analytics Pipeline با Cloud Dataflow Lab: Dataflow Academy (Python) - Lab 5 - Streaming Analytics Pipeline with Cloud Dataflow

• منابع ماژول Module Resources

منابع و سینک ها Sources & Sinks

• منابع سینک Sources & Sinks

• متن io پرونده io Text IO & File IO

• BigQuery IO BigQuery IO

• PubSub IO PubSub IO

• کافکا آی او Kafka IO

• BigTable IO BigTable IO

• Avro IO Avro IO

• DoFn قابل تقسیم Splittable DoFn

• منابع ماژول Module Resources

طرحواره ها Schemas

• طرحواره های پرتو Beam schemas

• نمونه های کد Code examples

• آزمایشگاه: Dataflow Academy (Java) - Lab 2 - Branching Pipelines Lab: Dataflow Academy (Java) - Lab 2 - Branching Pipelines

• آزمایشگاه: Dataflow Academy (Python) - Lab 2 - Branching Pipelines Lab: Dataflow Academy (Python) - Lab 2 - Branching Pipelines

• منابع ماژول Module Resources

حالت و تایمرها State and Timers

• API حالت State API

• تایمر API Timer API

• خلاصه Summary

• منابع ماژول Module Resources

بهترین شیوه ها Best Practices

• طرحواره ها Schemas

• مدیریت داده های غیر قابل پردازش Handling un-processable data

• رسیدگی به خطا Error handling

• تولید کننده کد AutoValue AutoValue code generator

• مدیریت داده های JSON JSON data handling

• از چرخه عمر DoFn استفاده کنید Utilize DoFn lifecycle

• بهینه سازی خطوط لوله Pipeline Optimizations

• آزمایشگاه: Dataflow Academy (Java) - Lab 7 - Advanced Streaming Analytics Pipeline با Cloud Dataflow Lab: Dataflow Academy (Java) - Lab 7 - Advanced Streaming Analytics Pipeline with Cloud Dataflow

• آزمایشگاه: Dataflow Academy (Python) - Lab 7 - Advanced Streaming Analytics Pipeline با Cloud Dataflow Lab: Dataflow Academy (Python) - Lab 7 - Advanced Streaming Analytics Pipeline with Cloud Dataflow

• منابع ماژول Module Resources

Dataflow SQL و DataFrames Dataflow SQL & DataFrames

• Dataflow و Beam SQL Dataflow and Beam SQL

• ویندوز در SQL Windowing in SQL

• Beam DataFrames Beam DataFrames

• آزمایشگاه: Dataflow Academy (Java) - Lab 4 - SQL Batch Analytics Pipelines with Cloud Dataflow Lab: Dataflow Academy (Java) - Lab 4 - SQL Batch Analytics Pipelines with Cloud Dataflow

• آزمایشگاه: Dataflow Academy (Python) - Lab 4 - SQL Batch Analytics Pipelines with Cloud Dataflow Lab: Dataflow Academy (Python) - Lab 4 - SQL Batch Analytics Pipelines with Cloud Dataflow

• آزمایشگاه: آکادمی DataFlow (Java) - آزمایشگاه 6 - با استفاده از DataFlow SQL برای تجزیه و تحلیل جریان Lab: Dataflow Academy (Java) - Lab 6 - Using Dataflow SQL for Streaming Analytics

• آزمایشگاه: Dataflow Academy (Python) - آزمایشگاه 6 - استفاده از Dataflow SQL برای تحلیل جریانی Lab: Dataflow Academy (Python) - Lab 6 - Using Dataflow SQL for Streaming Analytics

• منابع ماژول Module Resources

نوت بوک پرتو Beam Notebooks

• نوت بوک پرتو Beam Notebooks

• منابع ماژول Module Resources

خلاصه Summary

• خلاصه دوره Course Summary