آموزش مدل سازی داده های جریان برای پردازش با پرتو Apache

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

شروع با پردازش جریان Getting Started with Stream Processing

• پیش نیازها و طرح کلی دوره Prerequisites and Course Outline

• پردازش دسته ای و پردازش جریان Batch Processing and Stream Processing

• پردازش دسته ای در مقابل پردازش جریان Batch Processing vs. Stream Processing

• پردازش جریان Stream Processing

• مدل های پردازش جریان Stream Processing Models

• جریان پردازش معماری Stream Processing Architectures

• چالش های پردازش جریان Challenges in Stream Processing

معرفی پرتو Apache برای پردازش جریان Introducing Apache Beam for Stream Processing

• معرفی پرتو آپاچی Introducing Apache Beam

• خطوط لوله ، PCollections و PTransforms Pipelines, PCollections, and PTransforms

• پردازش ورودی با استفاده از Bundles Input Processing Using Bundles

• راننده و راننده Driver and Runner

• نسخه ی نمایشی: تنظیمات محیطی و گزینه های پیش فرض خط لوله Demo: Environment Set up and Default Pipeline Options

• نسخه ی نمایشی: فیلتر کردن با استفاده از ParDo و DoFns Demo: Filtering Using ParDo and DoFns

• نسخه ی نمایشی: جمع بندی ها با استفاده از تغییرات داخلی Demo: Aggregagtions Using Built-in Transforms

• نسخه ی نمایشی: منبع فایل و File Sink Demo: File Source and File Sink

• نسخه ی نمایشی: گزینه های خط لوله سفارشی Demo: Custom Pipeline Options

• نسخه ی نمایشی: پخش جریانی داده با Direct Runner Demo: Streaming Data with the Direct Runner

• نسخه ی نمایشی: تعداد کلمات Demo: Word Count

انجام عملیات پنجره سازی Performing Windowing Operations

• تحولات بدون دولت و دولت Stateless and Stateful Transformations

• انواع ویندوز Types of Windows

• زمان رویداد و زمان پردازش Event Time and Processing Time

• علامت های آبی و داده های بعدی Watermarks and Late Data

• نسخه ی نمایشی: استفاده از ویندوز ثابت با در حافظه داده Demo: Using Fixed Windows with in Memory Data

• نسخه ی نمایشی: استفاده از ویندوزهای ثابت با پرونده های ورودی Demo: Using Fixed Windows with Input Files

• نسخه ی نمایشی: استفاده از ویندوز کشویی با در حافظه داده Demo: Using Sliding Windows with in Memory Data

• نسخه ی نمایشی: استفاده از ویندوزهای کشویی با پرونده های ورودی Demo: Using Sliding Windows with Input Files

• نسخه ی نمایشی: ویندوز جلسه Demo: Session Windows

• نسخه ی نمایشی: ویندوزهای جهانی Demo: Global Windows

• راه اندازها Triggers

• چه چیزی ، کجا ، چه زمانی و چگونه در پردازش جریان What, Where, When, and How in Stream Processing

• خلاصه و مطالعه بیشتر Summary and Further Study