آموزش بررسی Apache Flink API برای پردازش جریان داده ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

اعمال تغییر شکل در جریانهای ورودی Applying Transforms on Input Streams

• پیش نیازها و طرح کلی دوره Prerequisites and Course Outline

• Flink API ها برای پردازش جریان Flink APIs for Stream Processing

• اتصال دهنده های جریان داده Data Stream Connectors

• نسخه ی نمایشی: محیط و راه اندازی پروژه Maven Demo: Environment and Maven Project Setup

• نسخه ی نمایشی: پیکربندی وابستگی ها در IntelliJ Demo: Configuring Dependencies in IntelliJ

• نسخه ی نمایشی: تحولات نقشه و فیلتر Demo: Map and Filter Transformations

• نسخه ی نمایشی: پخش جریانی فایل سینک Demo: Streaming File Sink

• نسخه ی نمایشی: اجرای برنامه های Flink در خوشه محلی Flink Demo: Running Flink Applications on the Local Flink Cluster

• نسخه ی نمایشی: تحولات نقشه Flatmap Demo: Flatmap Transformations

• نسخه ی نمایشی: جریان های کلیددار و تغییر شکل در جریان های کلیددار Demo: Keyed Streams and Transforms on Keyed Streams

• نسخه ی نمایشی: استفاده از POJO در جریان داده ها Demo: Using POJOs in Data Streams

• نسخه ی نمایشی: جریان های متصل Demo: Connected Streams

• Async IO Async IO

انجام تحولات سفارشی در جریان ها Performing Custom Transforms on Streams

• توابع فرآیند Process Functions

• نسخه ی نمایشی: تعداد باتری ها و باتری های هیستوگرام Demo: Count Accumulators and Histogram Accumulators

• نسخه ی نمایشی: تنظیم یک منبع جریان سفارشی Demo: Setting up a Custom Streaming Source

• نسخه ی نمایشی: تبدیل داده ها با استفاده از عملکرد فرآیند Demo: Transforming Data Using a Process Function

• نسخه ی نمایشی: دستیابی به وضعیت و ثبت تایمرها با استفاده از عملکرد فرآیند کلید خورده Demo: Accessing State and Registering Timers Using a Keyed Process Function

• نسخه ی نمایشی: پردازش جریان های متصل با استفاده از عملکرد Coed Coed Coed Demo: Processing Connected Streams Using the Keyed CoProcess Function

• نسخه ی نمایشی: پردازش جریان های متصل به ازای هر کلید با استفاده از یک تابع CoProcess کلید خورده Demo: Processing Connected Streams Per Key Using a Keyed CoProcess Function

• خروجی های جانبی Side Outputs

• نسخه ی نمایشی: خروجی های جانبی Demo: Side Outputs

• الگوی حالت پخش The Broadcast State Pattern

• نسخه ی نمایشی: حالت پخش Demo: Broadcast State

کار با عملیات Windowing در جریان ها Working with Windowing Operations on Streams

• عملیات های دولتی در جریان ها Stateful Operations on Streams

• انواع ویندوز Types of Windows

• زمان رویداد ، زمان بلع و زمان پردازش Event Time, Ingestion Time, and Processing Time

• علامت های آبی و داده های بعدی Watermarks and Late Data

• راه اندازهای Flink Flink Triggers

• نسخه ی نمایشی: Windows Eumb Time Tumbling Demo: Event Time Tumbling Windows

• نسخه ی نمایشی: توابع جمع شده سفارشی با Tumbling Windows Demo: Custom Aggregate Functions with Tumbling Windows

• نسخه ی نمایشی: زمان رویداد کشویی ویندوز و پنجره همه عملیات Demo: Event Time Sliding Windows and Window All Operations

• نسخه ی نمایشی: زمان پردازش ویندوز Demo: Processing Time Session Windows

• نسخه ی نمایشی: Windows Windows و Triggers Demo: Global Windows and Triggers

• پنجره می پیوندد Window Joins

• Interval می پیوندد Interval Joins

• نسخه ی نمایشی: می پیوندد Demo: Joins

کاوش در API جدول و اجرای نمایش داده های SQL Exploring the Table API and Running SQL Queries

• چشمک بزن و چشمک بزن Blink and Flink

• جداول پویا و س Quالات مستمر Dynamic Tables and Continuous Queries

• نسخه ی نمایشی: معرفی Table API و SQL نمایش داده شد Demo: Introducing the Table API and SQL Queries

• نسخه ی نمایشی: ایجاد جداول از جریان داده ها Demo: Creating Tables from Data Streams

• نسخه ی نمایشی: نگاشت نام ستون ها بر اساس موقعیت و بر اساس نام Demo: Position-based and Name-based Mapping of Column Names

• نسخه ی نمایشی: عملیات انتخاب ، پروجکشن و فیلتر کردن روی جداول Demo: Selection, Projection, and Filtering Operations on Tables

• نسخه ی نمایشی: انجام عملیات انتخاب ، پروجکشن و فیلتر کردن با استفاده از SQL query Demo: Performing Selection, Projection, and Filtering Operations Using SQL Queries

• نسخه ی نمایشی: گروه بندی عملیات با استفاده از جداول پویا Demo: Grouping Operations Using Dynamic Tables

• نسخه ی نمایشی: تبدیل جداول به جریان داده با استفاده از حالت ضمیمه و حالت جمع کردن Demo: Converting Tables to Data Streams Using Append Mode and Retract Mode

• نسخه ی نمایشی: اجرا با استفاده از جداول Demo: Performing Joins Using Tables

• نسخه ی نمایشی: انجام عملیات پنجره سازی با استفاده از Table API Demo: Performing Windowing Operations Using the Table API

• خلاصه و مطالعه بیشتر Summary and Further Study