آموزش پردازش جریان داده ها با استفاده از Apache Flink

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

شروع کار با یک خوشه مستقل در Flink Getting Started with a Standalone Cluster in Flink

• پیش نیازها و طرح کلی دوره Prerequisites and Course Outline

• حالت های استقرار در Apache Flink Deployment Modes in Apache Flink

• خوشه مستقل Standalone Cluster

• نسخه ی نمایشی: تهیه ماشین های مجازی برای خوشه Flink Demo: Provisioning VMs for the Flink Cluster

• نسخه ی نمایشی: ایجاد جفت های کلید خصوصی عمومی برای SSH بدون رمز عبور Demo: Creating Public Private Key Pairs for Passwordless SSH

• نسخه ی نمایشی: راه اندازی SSH بدون رمز عبور Demo: Setting up Passwordless SSH

• نسخه ی نمایشی: Flink را روی گره های خوشه نصب کنید Demo: Install Flink on Cluster Nodes

• نسخه ی نمایشی: تنظیمات خوشه را پیکربندی کنید Demo: Configure Cluster Settings

• نسخه ی نمایشی: پیکربندی قوانین فایروال Demo: Configuring Firewall Rules

• نسخه ی نمایشی: شروع فرآیندهای مدیر شغلی و مدیر وظیفه Demo: Starting the Job Manager and Task Manager Processes

• نسخه ی نمایشی: اجرای یک نمونه برنامه روی Clink Cluster Demo: Running a Sample Application on the Flink Cluster

• نسخه ی نمایشی: راه اندازی یک پروژه Maven Demo: Setting up a Maven Project

• نسخه ی نمایشی: ساخت یک شیشه برای برنامه Flink Demo: Building a Jar for the Flink Application

• نسخه ی نمایشی: اجرای یک برنامه سفارشی در Clink Cluster Demo: Running a Custom Application on the Flink Cluster

ادغام Flink با Apache Kafka Integrating Flink with Apache Kafka

• معرفی Apache Kafka Introducing Apache Kafka

• ناشران ، مصرف کنندگان و عناوین در کافکا Publishers, Consumers, and Topics in Kafka

• نسخه ی نمایشی: نصب و اجرای Apache Kafka Demo: Installing and Running Apache Kafka

• نسخه ی نمایشی: تولید کنندگان ، مصرف کنندگان و عناوین کافکا Demo: Kafka Producers, Consumers, and Topics

• نسخه ی نمایشی: یکپارچه سازی یک برنامه Flink با کافکا Demo: Integrating a Flink Application with Kafka

• نسخه ی نمایشی: خواندن و نوشتن به کافکا در یک برنامه Flink Demo: Reading from and Writing to Kafka in a Flink Application

• نسخه ی نمایشی: ایجاد و دسترسی به کلیدهای توسعه دهنده برای توییتر Demo: Creating and Accessing Developer Keys for Twitter

• نسخه ی نمایشی: خواندن از توییتر API و انتشار به عنوان یک موضوع کافکا Demo: Reading from the Twitter API and Publishing to a Kafka Topic

• نسخه ی نمایشی: استخراج هشتگ ها از پیام های توییتر Demo: Extracting Hashtags from Twitter Messages

• نسخه ی نمایشی: خواندن از چندین موضوع کافکا Demo: Reading from Multiple Kafka Topics

• نسخه ی نمایشی: اتصال مستقیم به منبع Twitter از طریق یک برنامه Flink Demo: Connecting to the Twitter Source Directly from a Flink Application

پردازش جریان پر سرعت داده با استفاده از عملیات پنجره سازی Processing High-velocity Streaming Data Using Windowing Operations

• پنجره سازی و مفهوم زمان Windowing and the Notion of Time

• نسخه ی نمایشی: استخراج زمان رویداد و مرتبط کردن زمان پردازش Demo: Extracting Event Time and Associating Processing Time

• نسخه ی نمایشی: غلتیدن زمان رویداد و کشویی ویندوز Demo: Event Time Tumbling and Sliding Windows

• نسخه ی نمایشی: Event Time Global و Session Windows Demo: Event Time Global and Session Windows

• نسخه ی نمایشی: زمان ویرایش ویندوز Demo: Processing Time Tumbling Windows

• فشار برگشتی در جریان Backpressure in Streaming

• نسخه ی نمایشی: کنترل فشار برگشتی Demo: Monitoring Back Pressure

• نسخه ی نمایشی: استفاده از توابع غنی برای انجام عملیاتی با وضعیت بالا Demo: Using Rich Functions to Perform Stateful Operations

پردازش جریان داده ها با استفاده از عملیات پیوستن Processing Streaming Data Using Join Operations

• مقدمه ای سریع بر پیوستن ها A Quick Introduction to Joins

• نسخه ی نمایشی: انجام عملیات عضویت در جریان ها Demo: Performing Join Operations on Streams

• معرفی Elasticsearch Introducing Elasticsearch

• نسخه ی نمایشی: نصب Elasticsearch و ایجاد فهرست Demo: Installing Elasticsearch and Creating an Index

• نسخه ی نمایشی: اجرای خط لوله انشعاب برای نوشتن به Elasticsearch و Kafka Demo: Implementing a Branching Pipeline to Write to Elasticsearch and Kafka

• نسخه ی نمایشی: نوشتن داده ها در فهرست Elasticsearch Demo: Writing Data out to an Elasticsearch Index

• معرفی معیارها Introducing Metrics

• نسخه ی نمایشی: استفاده از معیارهای شمارنده برای نظارت بر برنامه ها Demo: Using Counter Metrics to Monitor Applications

• نسخه ی نمایشی: تست واحد Demo: Unit Testing

• نسخه ی نمایشی: آزمایش با استفاده از MiniClusterWithClientResource Demo: Testing Using MiniClusterWithClientResource

• خلاصه و مطالعه بیشتر Summary and Further Study