آموزش مفهوم سازی مدل پردازش برای فلینک آپاچی

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

شروع کار با Apache Flink Getting Started with Apache Flink

• بررسی نسخه Version Check

• پیش نیازها و طرح کلی دوره Prerequisites and Course Outline

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• پردازش دسته ای و پردازش جریان Batch Processing and Stream Processing

• پردازش دسته ای و پردازش جریان Batch Processing and Stream Processing

• پردازش دسته ای در مقابل پردازش جریان Batch Processing vs. Stream Processing

• جریان اول معماری Stream-first Architecture

• پردازش دسته ای در مقابل پردازش جریان Batch Processing vs. Stream Processing

• معماری اول جریان Stream-first Architecture

• پردازش جریان در Flink Stream Processing in Flink

• پردازش جریان در فلینک Stream Processing in Flink

• کارهای فرعی و پارتیشن های جریان اپراتور Operator Subtasks and Stream Partitions

• زیرگروه های اپراتور و پارتیشن های جریان Operator Subtasks and Stream Partitions

• نسخه ی نمایشی: Flink را بارگیری و نصب کنید Demo: Download and Install Flink

• تحولات بدون دولت و دولت Stateless and Stateful Transformations

• نسخه ی نمایشی: بارگیری و نصب فلینک Demo: Download and Install Flink

• تحولات بی تاب و دولتی Stateless and Stateful Transformations

• Flink Architecture: مدیر شغلی و مدیران وظایف Flink Architecture: Job Manager and Task Managers

• چرخه عملیاتی و وظیفه Operator and Task Lifecycle

• معماری فلینک: مدیر کار و مدیران وظیفه Flink Architecture: Job Manager and Task Managers

• عملگر و چرخه عمر کار Operator and Task Lifecycle

اجرا و مانیتور کردن س Quالات پخش جریانی Executing and Monitoring Streaming Queries

• نسخه ی نمایشی: شروع یک خوشه فلین و ارسال برنامه های جریان Demo: Starting a Flink Cluster and Submitting Streaming Applications

• نسخه ی نمایشی: خطای اشکال زدایی با استفاده از داشبورد فلینک Demo: Debugging Errors Using the Flink Dashboard

• نسخه ی نمایشی: کاوش در تنظیمات پیش فرض پیکربندی Demo: Exploring Default Configuration Settings

• نسخه ی نمایشی: تنظیمات پیکربندی خاص خوشه ای و کار Demo: Cluster and Job Specific Configuration Settings

• نسخه ی نمایشی: تنظیم یک پروژه Maven Flink Demo: Setting up a Maven Flink Project

• نسخه ی نمایشی: اجرای اولین برنامه جریان خود Demo: Implementing Your First Streaming Application

• نسخه ی نمایشی: پیکربندی خصوصیات خاص کار Demo: Configuring Job Specific Properties

• نسخه ی نمایشی: صریحاً مشخص کردن UID ها Demo: Explicitly Specifying UIDs

• خوشه های فلینک و استقرار Flink Clusters and Deployment

• در دسترس بودن بالا با فلینک High Availability with Flink

• نسخه ی نمایشی: خواندن داده های جریان از یک فایل متنی Demo: Reading Streaming Data from a Text File

• نسخه ی نمایشی: بسته بندی و ارسال کار جریان به خوشه فلینک Demo: Packaging and Submitting a Streaming Job to the Flink Cluster

انجام تحولات بدون حالت در جریان ها Performing Stateless Transformations on Streams

• تحولات بی تاب Stateless Transformations

• نسخه ی نمایشی: انجام عملیات فیلتر در جریان های ورودی Demo: Performing Filter Operations on Input Streams

• نسخه ی نمایشی: انجام عملیات نقشه بر روی جریانهای ورودی Demo: Performing Map Operations on Input Streams

• نسخه ی نمایشی: انجام عملیات مسطح در جریان های ورودی Demo: Performing Flatmap Operations on Input Streams

• نسخه ی نمایشی: عملیات مسطح بیشتر در جریان های ورودی Demo: More Flatmap Operations on Input Streams

• API های فلین Flink APIs

• نسخه ی نمایشی: معرفی API مجموعه داده Demo: Introducing the Dataset API

• نسخه ی نمایشی: با استفاده از مجموعه داده ها نقشه و فیلتر کنید Demo: Map and Filter Using Datasets

• نسخه ی نمایشی: معرفی API جدول Demo: Introducing the Table API

• نسخه ی نمایشی: اجرای نمایش داده های SQL در داده های جریان Demo: Running SQL Queries on Streaming Data

• نسخه ی نمایشی: خواندن مداوم از یک منبع پرونده Demo: Reading Continuously from a File Source

• نسخه ی نمایشی: نوشتن به یک سینک پرونده جریان Demo: Writing out to a Streaming File Sink

• نسخه ی نمایشی: جریان سینک با سیاست Rollover Demo: Streaming Sink with Rollover Policy

• نسخه ی نمایشی: پردازش یک پرونده دقیقاً یک بار Demo: Processing a File Exactly Once

• ضمانت تحمل گسل Fault Tolerance Guarantees

انجام تحولات حالت مند در جریان ها Performing Stateful Transformations on Streams

• تحولات حالت Stateful Transformations

• جریانهای کلید Keyed Streams

• نسخه ی نمایشی: جریان های کلید Demo: Keyed Streams

• ایالات در فلینک States in Flink

• رابط های حالت کلید و عملکردهای غنی Keyed State Interfaces and Rich Functions

• نسخه ی نمایشی: وضعیت ارزش - حداکثر قیمت بسته شدن Demo: Value State - Max Closing Price

• نسخه ی نمایشی: حالت ارزش - میانگین نورد Demo: Value State - Rolling Average

• نسخه ی نمایشی: حالت ارزش - میانگین نورد در هر کلید Demo: Value State - Rolling Average per Key

• نسخه ی نمایشی: لیست وضعیت - روزهایی از نقض آستانه قیمت Demo: List State - Days since Price Threshold Breach

• نسخه ی نمایشی: کاهش حالت - میانگین نورد Demo: Reducing State - Rolling Average

• باکتری های دولتی State Backends

بررسی معماری Checkpointing در Flink Exploring the Checkpointing Architecture in Flink

• محل بازرسی Checkpoints

• موانع جریان و پاسگاه های تراز Stream Barriers and Aligned Checkpoints

• پاسگاه های بدون طراحی Unaligned Checkpoints

• نسخه ی نمایشی: فعال کردن و پیکربندی پاسگاه ها Demo: Enabling and Configuring Checkpoints

• نسخه ی نمایشی: پیش فرض در پاسگاه های حافظه Demo: Default in Memory Checkpoints

• نسخه ی نمایشی: پاسگاه های مداوم با استفاده از Backend State State Demo: Persistent Checkpoints Using the Fs State Backend

• نسخه ی نمایشی: پیکربندی پشتیبان دولت برای خوشه Demo: Configuring the State Backend for the Cluster

• نقض Savepoints

• نسخه ی نمایشی: به صورت دستی ایجاد نقاط ذخیره سازی Demo: Manually Triggering Savepoints

• نسخه ی نمایشی: بازگرداندن برنامه ها از SavePoints Demo: Restoring Applications from Savepoints

• راهبردهای راه اندازی مجدد Restart Strategies

• نسخه ی نمایشی: راه اندازی مجدد استراتژی - تأخیر ثابت Demo: Restart Strategy - Fixed Delay

• نسخه ی نمایشی: راه اندازی مجدد استراتژی - بدون راه اندازی مجدد Demo: Restart Strategy - No Restart

• نسخه ی نمایشی: راه اندازی مجدد استراتژی - نرخ شکست Demo: Restart Strategy - Failure Rate

• خلاصه و مطالعه بیشتر Summary and Further Study