آموزش تصور مدل پردازش برای Apache Flink

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

شروع کار با Apache Flink Getting Started with Apache Flink

• پیش نیازها و طرح کلی دوره Prerequisites and Course Outline

• پردازش دسته ای و پردازش جریان Batch Processing and Stream Processing

• پردازش دسته ای در مقابل پردازش جریان Batch Processing vs. Stream Processing

• جریان اول معماری Stream-first Architecture

• پردازش جریان در Flink Stream Processing in Flink

• کارهای فرعی و پارتیشن های جریان اپراتور Operator Subtasks and Stream Partitions

• نسخه ی نمایشی: Flink را بارگیری و نصب کنید Demo: Download and Install Flink

• تحولات بدون دولت و دولت Stateless and Stateful Transformations

• Flink Architecture: مدیر شغلی و مدیران وظایف Flink Architecture: Job Manager and Task Managers

• چرخه عملیاتی و وظیفه Operator and Task Lifecycle

اجرا و مانیتور کردن س Quالات پخش جریانی Executing and Monitoring Streaming Queries

• نسخه ی نمایشی: شروع یک Clink Cluster و ارسال برنامه های پخش جریانی Demo: Starting a Flink Cluster and Submitting Streaming Applications

• نسخه ی نمایشی: خطاهای اشکال زدایی با استفاده از داشبورد Flink Demo: Debugging Errors Using the Flink Dashboard

• نسخه ی نمایشی: بررسی تنظیمات پیش فرض پیکربندی Demo: Exploring Default Configuration Settings

• نسخه ی نمایشی: تنظیمات خاص پیکربندی خوشه و شغل Demo: Cluster and Job Specific Configuration Settings

• نسخه ی نمایشی: راه اندازی یک پروژه Maven Flink Demo: Setting up a Maven Flink Project

• نسخه ی نمایشی: اجرای اولین برنامه جریانی شما Demo: Implementing Your First Streaming Application

• نسخه ی نمایشی: پیکربندی خصوصیات خاص شغل Demo: Configuring Job Specific Properties

• نسخه ی نمایشی: UID ها را به طور صریح مشخص می کند Demo: Explicitly Specifying UIDs

• خوشه ها و استقرار Flink Clusters and Deployment

• در دسترس بودن بالا با Flink High Availability with Flink

• نسخه ی نمایشی: خواندن جریان داده ها از یک فایل متنی Demo: Reading Streaming Data from a Text File

• نسخه ی نمایشی: بسته بندی و ارسال یک کار جریانی به Clink Cluster Demo: Packaging and Submitting a Streaming Job to the Flink Cluster

انجام تحولات بدون حالت در جریان ها Performing Stateless Transformations on Streams

• تحولات بدون کشور Stateless Transformations

• نسخه ی نمایشی: انجام عملیات فیلتر در جریان های ورودی Demo: Performing Filter Operations on Input Streams

• نسخه ی نمایشی: انجام عملیات نقشه در جریان ورودی Demo: Performing Map Operations on Input Streams

• نسخه ی نمایشی: انجام عملیات Flatmap در جریان های ورودی Demo: Performing Flatmap Operations on Input Streams

• نسخه ی نمایشی: عملیات Flatmap بیشتر در جریان های ورودی Demo: More Flatmap Operations on Input Streams

• Flink API ها Flink APIs

• نسخه ی نمایشی: معرفی Dataset API Demo: Introducing the Dataset API

• نسخه ی نمایشی: با استفاده از مجموعه داده ها ، نقشه و فیلتر کنید Demo: Map and Filter Using Datasets

• نسخه ی نمایشی: معرفی Table API Demo: Introducing the Table API

• نسخه ی نمایشی: در حال اجرای نمایش داده های SQL در جریان دادن داده ها Demo: Running SQL Queries on Streaming Data

• نسخه ی نمایشی: خواندن به طور مداوم از یک منبع فایل Demo: Reading Continuously from a File Source

• نسخه ی نمایشی: نوشتن در یک سینک پرونده پخش جریانی Demo: Writing out to a Streaming File Sink

• نسخه ی نمایشی: پخش جریانی سینک با سیاست Rollover Demo: Streaming Sink with Rollover Policy

• نسخه ی نمایشی: پردازش دقیقاً یکبار پرونده Demo: Processing a File Exactly Once

• ضمانت های تحمل خطا Fault Tolerance Guarantees

انجام تحولات حالت مند در جریان ها Performing Stateful Transformations on Streams

• تحولات دولتی Stateful Transformations

• جریانهای کلید دار Keyed Streams

• نسخه ی نمایشی: جریان های کلید دار Demo: Keyed Streams

• ایالات در فلینک States in Flink

• رابط حالت کلید دار و توابع غنی Keyed State Interfaces and Rich Functions

• نسخه ی نمایشی: حالت ارزش - حداکثر قیمت بسته شده Demo: Value State - Max Closing Price

• نسخه ی نمایشی: حالت ارزش - میانگین نورد Demo: Value State - Rolling Average

• نسخه ی نمایشی: حالت مقدار - میانگین نورد در هر کلید Demo: Value State - Rolling Average per Key

• نسخه ی نمایشی: وضعیت لیست - روزها از زمان شکست آستانه قیمت Demo: List State - Days since Price Threshold Breach

• نسخه ی نمایشی: کاهش وضعیت - میانگین نورد Demo: Reducing State - Rolling Average

• دولت باطن State Backends

بررسی معماری Checkpointing در Flink Exploring the Checkpointing Architecture in Flink

• ایست های بازرسی Checkpoints

• موانع جریان و ایست های بازرسی تراز شده Stream Barriers and Aligned Checkpoints

• ایست های بازرسی غیر همسطح Unaligned Checkpoints

• نسخه ی نمایشی: فعال کردن و پیکربندی ایست های بازرسی Demo: Enabling and Configuring Checkpoints

• نسخه ی نمایشی: پیش فرض در بازرسی های حافظه Demo: Default in Memory Checkpoints

• نسخه ی نمایشی: ایست های بازرسی مداوم با استفاده از حالت Backs Fs Demo: Persistent Checkpoints Using the Fs State Backend

• نسخه ی نمایشی: پیکربندی Backend State برای خوشه Demo: Configuring the State Backend for the Cluster

• نقاط ذخیره Savepoints

• نسخه ی نمایشی: راه اندازی دستی ذخیره نقاط Demo: Manually Triggering Savepoints

• نسخه ی نمایشی: بازیابی برنامه ها از Savepoints Demo: Restoring Applications from Savepoints

• راهکارهای راه اندازی مجدد Restart Strategies

• نسخه ی نمایشی: استراتژی راه اندازی مجدد - تاخیر ثابت Demo: Restart Strategy - Fixed Delay

• نسخه ی نمایشی: استراتژی راه اندازی مجدد - بدون شروع مجدد Demo: Restart Strategy - No Restart

• نسخه ی نمایشی: استراتژی راه اندازی مجدد - نرخ شکست Demo: Restart Strategy - Failure Rate

• خلاصه و مطالعه بیشتر Summary and Further Study