دوره جامع Apache Flink DataStream - سری آموزش‌های Apache Flink - آخرین آپدیت

سرفصل ها و درس ها

معرفی دوره Apache Flink 1.17.2 Apache Flink 1.17.2 Course introduction

• طرح کلی دوره Course Outline

• پیش نیازها Prerequisites

• هدف دوره Course Objective

راه اندازی کلاستر مستقل Apache Flink 1.17.2 و شروع سریع Apache Flink 1.17.2 Standalone Cluster setup and quick start

• معرفی طرح کلی بخش Section outline introduction

• Apache Flink چیست (معرفی Apache Flink) What is Apache Flink(Apache Flink Introduction)

• ویژگی های Apache Flink Apache Flink Features

• موارد استفاده Apache Flink Apache Flink Use Cases

• مروری بر معماری Apache Flink Overview Apache Flink Architecture

• راه اندازی کلاستر مستقل Apache Flink -I Apache Flink Standalone Cluster Setup -I

• راه اندازی کلاستر مستقل Apache Flink -II Apache Flink Standalone Cluster Setup -II

• راه اندازی کلاستر مستقل Apache Flink -III Apache Flink Standalone Cluster Setup -III

• راه اندازی محیط توسعه اپلیکیشن Flink Apache Flink Application Development Setup

• پردازش داده های دسته ای با Flink DataSet API (استریمینگ محدود) Flink DataSet API Process Batch Data(Bounded Streaming)

• پردازش داده های دسته ای با Flink DataStream API (استریمینگ محدود) Flink DataStream API Process Batch Data(Bounded Streaming)

• پردازش داده های بلادرنگ با Flink DataStream API (استریمینگ نامحدود) Flink DataStream API Process Realtime Data(Unbounded Streaming)

• DataStream API و عبارت Lambda جاوا 8 DataStream API and Java 8 Lambda expression

• ارسال Job های Flink به کلاستر مستقل Flink (WebUI و Command) Submit Flink Job to Flink Standalone Cluster(WebUI & Command)

حالت های استقرار اپلیکیشن Apache Flink 1.17.2 و ارائه دهندگان منابع Apache Flink 1.17.2 Application Deploy Modes and Resource Providers

• معرفی طرح کلی بخش Section outline introduction

• مروری بر حالت های استقرار اپلیکیشن Apache Flink Apache Flink Application Deploy Modes Overview

• حالت استقرار Session اپلیکیشن Apache Flink Apache Flink Application Session Deploy Mode

• حالت استقرار Per-Job اپلیکیشن Apache Flink Apache Flink Application Per-Job Deploy Mode

• حالت استقرار Application اپلیکیشن Apache Flink Apache Flink Application Application Deploy Mode

• حالت استقرار Session در کلاستر مستقل Flink Session Deploy Mode on the Flink Standalone Cluster

• حالت استقرار Application در کلاستر مستقل Flink Application Deploy Mode on the Flink Standalone Cluster

• آماده سازی کلاستر Apache Hadoop(Yarn) Apache Hadoop(Yarn) Cluster Preparation

• حالت استقرار Session در ارائه دهنده منابع Yarn Session Deploy Mode On the Yarn Resource Provider

• حالت استقرار Per-Job در ارائه دهنده منابع Yarn Per-Job Deploy Mode On the Yarn Resource Provider

• حالت استقرار Application در ارائه دهنده منابع Yarn Application Deploy Mode On the Yarn Resource Provider

• بهترین روش حالت استقرار Application در ارائه دهنده منابع Yarn The Application Deploy mode best practice on the Yarn Resource Provider

• پیکربندی و راه اندازی Flink Job History Server Flink Job History Server Configuration and Start

اصطلاحات اصلی Apache Flink 1.17.2 و معماری Runtime Apache Flink 1.17.2 Core Terms and Runtime Architecture

• معرفی طرح کلی بخش Section outline introduction

• معماری Runtime سطح بالای Apache Flink و اجزای داخلی Apache Flink High Level Runtime Architecture and Internal Components

• Operator ها، Task ها، Slot ها، SubTask ها در Apache Flink Apache Flink Operators,Tasks,Slots,SubTasks

• محیط محلی Apache Flink برای توسعه Apache Flink Local Environment For Develop

• موازی سازی Operator در Apache Flink Apache Flink Operator Parallelism

• موازی سازی و اولویت Operator در Apache Flink Apache Flink Operator Parallelism and Priority

• زنجیره سازی Operator و توزیع Task در Apache Flink Apache Flink Operator Chaining and Task Distribution

• توضیحات دقیق زمان وقوع زنجیره Operator When does an operator chain happen details Explanation

• API دقیق زنجیره Operator در Apache Flink Apache Flink Operator Chain Fine-Grained API

• بررسی عمیق گروه اشتراک گذاری Slot در Apache Flink Apache Flink Slots Sharing Group In Depth

• بررسی عمیق گردش کار اجرای Job در Flink در حالت Session در کلاستر مستقل Dive Into Flink Job Execution Workflow on Standalone Cluster by Session Mode

• بررسی عمیق گردش کار اجرای Job در Flink در حالت Per-Job در کلاستر Hadoop Yarn Dive Into Flink Job Execution Workflow on Hadoop Yarn Cluster by Per-Job Mode

• بررسی عمیق گردش کار اجرای Job در Flink در حالت Session در کلاستر Hadoop Yarn Dive Into Flink Job Execution Workflow on Hadoop Yarn Cluster by Session Mode

• بررسی عمیق تبدیل نمودارهای جریان داده Flink (از A تا Z) Dive into Flink Dataflow Graphs Transformations (from A to Z)

API و برنامه نویسی DataStream در Apache Flink 1.17.2 Apache Flink 1.17.2 DataStream API and Programming

• معرفی طرح کلی بخش Section outline introduction

• معرفی کانکتور Source در Flink Flink Source Connector Introduction

• کانکتور Source در Flink - کانکتور Source مجموعه جاوا Flink Source Connector - Java Collection Source Connector

• کانکتور Source در Flink - کانکتور Source DataGenerator Flink Source Connector - DataGenerator Source Connector

• کانکتور Source در Flink - کانکتور Source Tcp Socket Flink Source Connector - Tcp Socket Source Connector

• کانکتور Source در Flink - پردازش فایل های محلی FileSource توسط StreamFormat Flink Source Connector - FileSource Process Local Files by StreamFormat

• کانکتور Source در Flink - پردازش فایل های محلی FileSource توسط BulkFormat Flink Source Connector - FileSource Process Local Files by BulkFormat

• کانکتور Source در Flink - پردازش فایل های HDFS FileSource توسط StreamFormat Flink Source Connector - FileSource Process HDFS Files by StreamFormat

• کانکتور Source در Flink - خواندن رکوردهای کالکشن توسط کانکتور Source Mongodb Flink Source Connector -Mongodb Source Connector Read Collection Records

• کانکتور Source در Flink - مصرف رکورد متنی توسط کانکتور Source Kafka Flink Source Connector -Kafka Source Connector Consume Text Record

• کانکتور Source در Flink - مصرف رکورد JSON توسط کانکتور Source Kafka Flink Source Connector -Kafka Source Connector Consume JSON Record

• کانکتور Source در Flink - مصرف رکورد Key-Value توسط کانکتور Source Kafka Flink Source Connector -Kafka Source Connector Consume Key-Value Record

• کانکتور Source در Flink - سفارشی سازی کانکتور Source (RichSourceFunction) Flink Source Connector - Customize Source Connector(RichSourceFunction)

• کانکتور Source در Flink - سفارشی سازی کانکتور Source (RichParallelSourceFunction) Flink Source Connector - Customize Source Connector(RichParallelSourceFunction)

• انواع داده و TypeInformation در Apache Flink Apache Flink Data Types and TypeInformation

• تبدیلات DataStream در Apache Flink Apache Flink DataStream Transformations

• DataStream در Apache Flink - تبدیلات Map، Filter، FlatMap Apache Flink DataStream - Map,Filter,FlatMap Transformation

• keyBy و KeyedStream در Apache Flink DataStream Apache Flink DataStream keyBy and KeyedStream

• اعمال توابع تجمیع چرخشی KeyedStream KeyedStream Apply Rolling Aggregation Functions

• اعمال ReduceFunction در KeyedStream KeyedStream Apply the ReduceFunction

• تبدیلات Multistream - ادغام چند DataStream به یک DataStream Multistream Transformations - Union Multiple DataStreams To One DataStream

• تبدیلات Multistream - اتصال چند DataStream به یک DataStream Multistream Transformations - Connect Multiple DataStreams To One DataStream

• تبدیلات Multistream - مورد استفاده اتصال چند DataStream (اتصال داخلی) Multistream Transformations - Connect Multiple DataStreams Use Case (Inner Join)

• SideOutput DataStream - تقسیم DataStream به چند DataStream DataStream SideOutput - Split DataStream to Multiple DataStreams

• RichFunction تعریف شده توسط کاربر و مدیریت پارامترهای اپلیکیشن User Defined RichFunction and Handling Application Parameters

• استراتژی ها و الگوریتم های تبادل داده در Apache Flink Apache Flink Data Exchange Strategies and Algorithms

• الگوریتم Forward Partitioner Forward Partitioner Algorithm

• الگوریتم Shuffle Partitioner Shuffle Partitioner Algorithm

• الگوریتم Rebalance Partitioner Rebalance Partitioner Algorithm

• الگوریتم Broadcast Partitioner Broadcast Partitioner Algorithm

• الگوریتم Global Partitioner Global Partitioner Algorithm

• الگوریتم KeyGroupStream Partitioner KeyGroupStream Partitioner Algorithm

• الگوریتم Rescale Partitioner Rescale Partitioner Algorithm

• الگوریتم Custom Partitioner Custom Partitioner Algorithm

• نحوه اعمال Accumulator ها و Counter ها در اپلیکیشن Flink How to apply Accumulators & Counters In Flink Application

• معرفی کانکتور Sink در Flink Flink Sink Connector Introduction

• کانکتور Sink در Flink - کانکتور Sink TCP Socket Flink Sink Connector - TCP Socket Sink Connector

• کانکتور Sink در Flink - نوشتن چرخشی داده های متنی FileSink به صورت محلی Flink Sink Connector - FileSink Rolling Write Text Data to Locally

• کانکتور Sink در Flink - نوشتن چرخشی داده های Avro FileSink به صورت محلی Flink Sink Connector - FileSink Rolling Write Avro Data to Locally

• کانکتور Sink در Flink - نوشتن چرخشی داده های Parquet FileSink به صورت محلی Flink Sink Connector - FileSink Rolling Write Parquet Data to Locally

• کانکتور Sink در Flink - نوشتن چرخشی داده های Avro FileSink به HDFS Flink Sink Connector - FileSink Rolling Write Avro Data to HDFS

• کانکتور Sink در Flink - نوشتن داده ها به پایگاه داده Mysql توسط JdbcSink Flink Sink Connector - JdbcSink Write Data to Mysql Database

• کانکتور Sink در Flink - نوشتن پیام ValueOnly به موضوع Kafka توسط KafkaSink Flink Sink Connector - KafkaSink Write ValueOnly Message to Kafka Topic

• کانکتور Sink در Flink - نوشتن پیام Key-Value به موضوع Kafka توسط KafkaSink Flink Sink Connector - KafkaSink Write Key-Value Message to Kafka Topic

• کانکتور Sink در Flink - نوشتن پیام Json به موضوع Kafka توسط KafkaSink Flink Sink Connector - KafkaSink Write Json Message to Kafka Topic

• کانکتور Sink در Flink - نوشتن داده ها به کالکشن Mongodb توسط MongodbSink Flink Sink Connector - MongodbSink Write Data to Mongodb Collection

• کانکتور Sink در Flink - نحوه سفارشی سازی کانکتور Sink (Legacy API) Flink Sink Connector - How to Customize Sink Connector(Legacy API)

• کانکتور Sink در Flink - نحوه سفارشی سازی کانکتور Sink (New API) Flink Sink Connector - How to Customize Sink Connector(New API)

Operator ها مبتنی بر زمان و Window در Apache Flink 1.17.2 Apache Flink 1.17.2 Time-Based and Window Operators

• معرفی طرح کلی بخش Section outline introduction

• Window Keyed در مقابل No-Keyed در Flink Flink Keyed Window vs No-Keyed Window

• بررسی عمیق پیاده سازی Window No-Keyed در Flink Dive into Flink No-Keyed Window Implementation

• بررسی عمیق تعریف Window و Window Assigner در Flink Dive into Flink Window Definition and Window Assigner

• چه تعداد از انواع Window توسط Apache Flink پشتیبانی می شود How Many Window types supported by Apache Flink

• بررسی عمیق چرخه حیات Window در Flink Dive into flink Window Lifecycle

• Flink WindowAssigner - Tumbling TimeWindow Flink WindowAssigner - Tumbling TimeWindow

• بررسی عمیق پیاده سازی TumblingProcessingTimeWindow Dive into TumblingProcessingTimeWindow Implementation

• Tumbling TimeWindow - محاسبه بالاترین دما برای دقیقه گذشته Tumbling TimeWindow - Calculate the highest temperature for the past minute

• Sliding TimeWindow - محاسبه بالاترین دما برای 1 دقیقه اخیر Sliding TimeWindow - Calculate the highest temperature for the latest 1 minute

• Session TimeWindow - محاسبه بازدیدهای صفحه وب سایت در طول یک جلسه معتبر Session TimeWindow - Calculate website page views during a valid session

• GlobalWindow - راه اندازی محاسبات توسط شرایط سفارشی GlobalWindow - Trigger Compuation by customize condition

• CountWindow - پیاده سازی شده توسط GlobalWindow CountWindow - Implemented by GlobalWindow

• WindowedStream - معرفی Window Functions WindowedStream - Window Functions Introduction

• WindowedStream - عملگر Reduce و ReduceFunction WindowedStream - Reduce Operator and ReduceFunction

• WindowedStream - عملگر Aggregate و AggregateFunction WindowedStream - Aggregate Operator and AggregateFunction

• WindowedStream - عملگر Process و ProcessWindowFunction WindowedStream - Process Operator and ProcessWindowFunction

• WindowedStream - عملگر Apply و WindowFunction (Legacy) WindowedStream - Apply Operator and WindowFunction(Legacy)

• WindowedStream - ترکیب Full Window Function و Incremental Function با هم WindowedStream - Combine Full Window Function & Incremental Function Together

• WindowedStream - SideOutput Stream WindowedStream - SideOutput Stream

• WindowedStream-درک عمیق از نحوه کارکرد WindowedStream Trigger -1 WindowedStream-In-depth understanding of how the WindowedStream Trigger Work-1

• WindowedStream-درک عمیق از نحوه کارکرد WindowedStream Trigger -2 WindowedStream-In-depth understanding of how the WindowedStream Trigger Work-2

• WindowedStream-درک عمیق از نحوه کارکرد WindowedStream Trigger -3 WindowedStream-In-depth understanding of how the WindowedStream Trigger Work-3

• WindowedStream - تجزیه و تحلیل عمیق پیاده سازی Trigger در Flink WindowedStream - In-depth analysis of the Flink Trigger Implementation

• WindowedStream - سفارشی سازی Trigger و اتصال به GlobalWindow -1 WindowedStream - Customized the Trigger and Attached to GlobalWindow-1

• WindowedStream - سفارشی سازی Trigger و اتصال به GlobalWindow -2 WindowedStream - Customized the Trigger and Attached to GlobalWindow-2

• WindowedStream - سفارشی سازی Evictor و اتصال به TimeWindow WindowedStream - Customized the Evictor and Attached to TimeWindow

• معرفی Timer و TimerService در Flink Flink Timer and TimerService Introduction

• پیاده سازی Timer و TimerService در Flink با معناشناسی Cached Flink Timer and TimerService Implement Cached Semantics

Watermark ها و برنامه نویسی در Apache Flink 1.17.2 Apache Flink 1.17.2 Watermarks and Programming

• معرفی طرح کلی بخش Section outline introduction

• معناشناسی زمانی Apache Flink Apache Flink Time Semantics

• زمان پردازش در مقابل زمان رویداد در Apache Flink Apache Flink Processing Time vs Event Time

• Watermark Flink چیست What is Flink Watermark

• بحث در مورد نحوه تولید Watermark ها How to generate the Watermarks Discussion

• عناصر Out-Of-Orderness و داده های دیررس Out-Of-Orderness elements and late data

• مدیریت Out-Of-Orderness و داده های دیررس Handle Out-Of-Orderness and late data

• WatermarkStrategy (TimestampAssigner & WatermarkGenerator) WatermarkStrategy(TimestampAssigner&WatermarkGenerator)

• بررسی عمیق سورس کد Flink برای درک نحوه کارکرد Watermark ها Dived Into Flink Source Code In Depth Understand How Watermarks Work

• نحوه سفارشی سازی تولید کننده Watermark Flink با رویکرد دوره ای How to Customize The Flink Watermark Generator by Periodic Approach

• نحوه سفارشی سازی تولید کننده Watermark Flink با رویکرد Punctuated How to Customize The Flink Watermark Generator by Punctuated Approach

• نحوه کارکرد انتشار Watermark Flink How Flink Watermark Propagation Works

• منبع Idle Flink و نحوه مدیریت منبع Idleness Flink Idle Source and How to Handle Idleness Source

• WindowedStream Allowed Lateness WindowedStream Allowed Lateness

• WindowedStream Side Output Late Event اجتناب از دست دادن داده ها WindowedStream Side Output Late Event Avoid Data Lost

• عملیات و تمرین Join دو Window در Flink Flink Two Window Join Operation and Practice

• عملیات و تمرین Join Interval دو KeyedStream در Flink Flink Two KeyedStreams Interval Join Operation and Practice

Operator های Stateful و Application در Apache Flink 1.17.2 Apache Flink 1.17.2 Stateful Operators and Application

• معرفی طرح کلی بخش Section outline introduction

• معرفی State و Application Stateful در Flink با مثال Flink State and Stateful Application Introduce by Example

• مروری بر API های State در Apache Flink Overview of the Apache Flink State API

• توضیحات دقیق و عملی Keyed State - ValueState در Flink Flink Keyed State - ValueState Details Explanation and Practical

• توضیحات دقیق و عملی Keyed State - ReducingState در Flink Flink Keyed State - ReducingState Details Explanation and Practical

• توضیحات دقیق و عملی Keyed State - AggregatingState در Flink Flink Keyed State - AggregatingState Details Explanation and Practical

• توضیحات دقیق Keyed State - ListState و پیاده سازی اپلیکیشن TopN در Flink Flink Keyed State - ListState Details Explanation and Implement TopN Application

• توضیحات دقیق و عملی Keyed State - MapState در Flink Flink Keyed State - MapState Details Explanation and Practical

• فعال کردن Time To Live (TTL) در KeyedState KeyedState Enable The Time To Live(TTL)

• طرح های Operator State و توزیع مجدد State در Flink Flink Operator State and State Redistribution Schemes

• جنبه عملی Operator State در Flink با پیاده سازی تابع Source Stateful - I Flink Operator State Practical By Implement the Stateful Source Function - I

• جنبه عملی Operator State در Flink با پیاده سازی تابع Source Stateful - II Flink Operator State Practical By Implement the Stateful Source Function - II

• توضیحات دقیق و عملی Broadcast State در Flink (به روز رسانی دینامیکی پیکربندی) Flink Broadcast State Details Explanation and Practical(Dynamic Update Config)

• معرفی Backend - HashmapStateBackend در Flink Flink Backend - HashmapStateBackend Introduction

• معرفی Backend - EmbeddedRocksDBStateBackend در Flink Flink Backend - EmbeddedRocksDBStateBackend Introduction

• پرسش و پاسخ های State در Flink Flink State Questions and Answers

Checkpoint ها، Savepoint ها، بازیابی State و EOS در Apache Flink 1.17.2 Apache Flink 1.17.2 Checkpoints, Savepoints, State Recovery and EOS

• معرفی طرح کلی بخش Section outline introduction

• معرفی Checkpoint های Consistent در Flink Flink Consistent Checkpoints Introduction

• الگوریتم Checkpoint های Consistent در Flink - Checkpoint های Instant Flink Consistent Checkpoints Algorithm - Instant Checkpoints

• الگوریتم Checkpoint های Consistent در Flink - Checkpoint های دوره ای Flink Consistent Checkpoints Algorithm - Periodically Checkpoints

• الگوریتم Checkpoint های Consistent در Flink - Chandy-Lamport Flink Consistent Checkpoints Algorithm - Chandy-Lamport

• Checkpoint ها و هماهنگ کننده Checkpoint ها در JobManager در Flink Flink Checkpoints and JobManager Checkpoints Coordinator

• توضیحات دقیق نحوه فعال کردن Checkpoint ها و پیکربندی های اساسی در Flink Details Explain How to Enable The Flink Checkpoints and Basic Configurations

• پیکربندی Alignment سد Checkpoint اپلیکیشن Flink و معناشناسی Exactly Once Flink App Checkpoint barrier Alignment and Exactly Once Semantic Configuration

• پیکربندی Alignment سد Checkpoint اپلیکیشن Flink و معناشناسی At Least Once Flink App Checkpoint barrier Alignment and At Least Once Semantic Configuration

• پیکربندی Unalignment سد Checkpoint اپلیکیشن Flink و معناشناسی Exactly Once Flink App Checkpoint barrier Unalignment and Exactly Once Semantic Configuration

• معرفی Savepoint ها و بازیابی وضعیت اپلیکیشن از Savepoint ها در Flink Flink Savepoints Introduction and Restore Application State From Savepoints

• نحوه اعمال Savepoint ها هنگام از سرگیری اپلیکیشن Flink How to Apply Savepoints when Flink Application Resume

• فرآیند راه اندازی Savepoint ها هنگام توقف Job Flink Trigger Savepoints Process When Stop the Flink Job

• تعیین شناسه های Operator منحصر به فرد Specifying Unique Operator Identifiers

• Checkpoint ها در مقابل Savepoint ها در Flink Flink Checkpoints vs Savepoints

• طراحی و پیاده سازی یک اپلیکیشن End to End Exactly Once Semantics Flink Design and implement an End to End Exactly Once Semantics Flink Application

• اپلیکیشن Flink End to End Exactly Once Semantics - Sink نوشتن Idempotent Flink End to End Exactly Once Semantics Application - Idempotent Write Sink

• اپلیکیشن Flink End to End Exactly Once Semantics - Sink Generic WAL Flink End to End Exactly Once Semantics Application - Generic WAL Sink

• اپلیکیشن Flink End to End Exactly Once Semantics - Sink Two Phase Commit Flink End to End Exactly Once Semantics Application - Two Phase Commit Sink

• آزمایشگاه EOS (معناشناسی End to End Exactly Once) در Flink: ادغام Flink با Kafka - 1 Flink EOS(End to End Exactly Once Semantics) Lab: Flink integrate with Kafka - 1

• آزمایشگاه EOS (معناشناسی End to End Exactly Once) در Flink: ادغام Flink با Kafka - 2 Flink EOS(End to End Exactly Once Semantics) Lab: Flink integrate with Kafka - 2

• آزمایشگاه EOS (معناشناسی End to End Exactly Once) در Flink: ادغام Flink با Kafka - 3 Flink EOS(End to End Exactly Once Semantics) Lab: Flink integrate with Kafka - 3

• مشخصات API کانکتور Data Source جدید Apache Flink Apache Flink New Data Source Connector API Specification

• سفارشی سازی کانکتور Data Source Apache Flink با مشخصات API جدید - 1 Customize Apache Flink Data Source Connector with New API Specification - 1

• سفارشی سازی کانکتور Data Source Apache Flink با مشخصات API جدید - 2 Customize Apache Flink Data Source Connector with New API Specification - 2

• سفارشی سازی کانکتور Data Source Apache Flink با مشخصات API جدید - 3 Customize Apache Flink Data Source Connector with New API Specification - 3

دانلود سورس کد و PPT Source Code and PPT download

• برای دانلود راحت باشید Feel Free to Download