آموزش پردازش داده های جریان با استفاده از Apache flink

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

شروع کار با یک خوشه مستقل در Flink Getting Started with a Standalone Cluster in Flink

• بررسی نسخه Version Check

• پیش نیازها و طرح کلی دوره Prerequisites and Course Outline

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• حالت های استقرار در Apache Flink Deployment Modes in Apache Flink

• خوشه مستقل Standalone Cluster

• حالت های استقرار در Apache flink Deployment Modes in Apache Flink

• نسخه ی نمایشی: تهیه ماشین های مجازی برای خوشه Flink Demo: Provisioning VMs for the Flink Cluster

• خوشه دار Standalone Cluster

• نسخه ی نمایشی: ایجاد جفت های کلید خصوصی عمومی برای SSH بدون رمز عبور Demo: Creating Public Private Key Pairs for Passwordless SSH

• نسخه ی نمایشی: تهیه VM برای خوشه فلین Demo: Provisioning VMs for the Flink Cluster

• نسخه ی نمایشی: راه اندازی SSH بدون رمز عبور Demo: Setting up Passwordless SSH

• نسخه ی نمایشی: ایجاد جفت های کلید خصوصی عمومی برای SSH بدون رمز عبور Demo: Creating Public Private Key Pairs for Passwordless SSH

• نسخه ی نمایشی: Flink را روی گره های خوشه نصب کنید Demo: Install Flink on Cluster Nodes

• نسخه ی نمایشی: تنظیم SSH بدون رمز عبور Demo: Setting up Passwordless SSH

• نسخه ی نمایشی: روی گره های خوشه ای نصب کنید Demo: Install Flink on Cluster Nodes

• نسخه ی نمایشی: تنظیمات خوشه را پیکربندی کنید Demo: Configure Cluster Settings

• نسخه ی نمایشی: پیکربندی قوانین فایروال Demo: Configuring Firewall Rules

• نسخه ی نمایشی: تنظیمات خوشه ای را پیکربندی کنید Demo: Configure Cluster Settings

• نسخه ی نمایشی: پیکربندی قوانین فایروال Demo: Configuring Firewall Rules

• نسخه ی نمایشی: شروع فرآیندهای مدیر شغلی و مدیر وظیفه Demo: Starting the Job Manager and Task Manager Processes

• نسخه ی نمایشی: اجرای یک نمونه برنامه روی Clink Cluster Demo: Running a Sample Application on the Flink Cluster

• نسخه ی نمایشی: شروع فرآیند مدیر کار و مدیر وظیفه Demo: Starting the Job Manager and Task Manager Processes

• نسخه ی نمایشی: اجرای یک برنامه نمونه بر روی خوشه فلینک Demo: Running a Sample Application on the Flink Cluster

• نسخه ی نمایشی: راه اندازی یک پروژه Maven Demo: Setting up a Maven Project

• نسخه ی نمایشی: راه اندازی یک پروژه Maven Demo: Setting up a Maven Project

• نسخه ی نمایشی: ساخت یک شیشه برای برنامه Flink Demo: Building a Jar for the Flink Application

• نسخه ی نمایشی: اجرای یک برنامه سفارشی در Clink Cluster Demo: Running a Custom Application on the Flink Cluster

• نسخه ی نمایشی: ساختن یک شیشه برای برنامه Flink Demo: Building a Jar for the Flink Application

• نسخه ی نمایشی: اجرای یک برنامه سفارشی در خوشه فلینک Demo: Running a Custom Application on the Flink Cluster

ادغام Flink با Apache Kafka Integrating Flink with Apache Kafka

• معرفی آپاچی کافکا Introducing Apache Kafka

• ناشران ، مصرف کنندگان و مباحث در کافکا Publishers, Consumers, and Topics in Kafka

• نسخه ی نمایشی: نصب و اجرای Apache Kafka Demo: Installing and Running Apache Kafka

• نسخه ی نمایشی: تولید کنندگان ، مصرف کنندگان و موضوعات کافکا Demo: Kafka Producers, Consumers, and Topics

• نسخه ی نمایشی: ادغام یک برنامه فلینک با کافکا Demo: Integrating a Flink Application with Kafka

• نسخه ی نمایشی: خواندن و نوشتن به کافکا در یک برنامه فلین Demo: Reading from and Writing to Kafka in a Flink Application

• نسخه ی نمایشی: ایجاد و دسترسی به کلیدهای توسعه دهنده برای توییتر Demo: Creating and Accessing Developer Keys for Twitter

• نسخه ی نمایشی: خواندن از API توییتر و انتشار به یک موضوع Kafka Demo: Reading from the Twitter API and Publishing to a Kafka Topic

• نسخه ی نمایشی: استخراج هشتگ از پیام های توییتر Demo: Extracting Hashtags from Twitter Messages

• نسخه ی نمایشی: خواندن از چندین موضوع کافکا Demo: Reading from Multiple Kafka Topics

• نسخه ی نمایشی: اتصال مستقیم به منبع توییتر از یک برنامه فلین Demo: Connecting to the Twitter Source Directly from a Flink Application

پردازش جریان پر سرعت داده با استفاده از عملیات پنجره سازی Processing High-velocity Streaming Data Using Windowing Operations

• پنجره و مفهوم زمان Windowing and the Notion of Time

• نسخه ی نمایشی: استخراج زمان رویداد و ارتباط زمان پردازش Demo: Extracting Event Time and Associating Processing Time

• نسخه ی نمایشی: ویندوز در حال ریزش و کشویی زمان Demo: Event Time Tumbling and Sliding Windows

• نسخه ی نمایشی: ویندوزهای جهانی و جلسات زمان رویداد Demo: Event Time Global and Session Windows

• نسخه ی نمایشی: زمان پردازش ویندوزها Demo: Processing Time Tumbling Windows

• فشار خون در جریان Backpressure in Streaming

• نسخه ی نمایشی: نظارت بر فشار عقب Demo: Monitoring Back Pressure

• نسخه ی نمایشی: با استفاده از توابع غنی برای انجام عملیات حالت Demo: Using Rich Functions to Perform Stateful Operations

پردازش جریان داده ها با استفاده از عملیات پیوستن Processing Streaming Data Using Join Operations

• مقدمه ای سریع برای پیوستن A Quick Introduction to Joins

• نسخه ی نمایشی: انجام عملیات پیوستن به جریان Demo: Performing Join Operations on Streams

• معرفی Elasticsearch Introducing Elasticsearch

• نسخه ی نمایشی: نصب Elasticsearch و ایجاد یک فهرست Demo: Installing Elasticsearch and Creating an Index

• نسخه ی نمایشی: اجرای خط لوله انشعاب برای نوشتن به Elasticsearch و Kafka Demo: Implementing a Branching Pipeline to Write to Elasticsearch and Kafka

• نسخه ی نمایشی: نوشتن داده ها به یک فهرست elasticsearch Demo: Writing Data out to an Elasticsearch Index

• معرفی معیارها Introducing Metrics

• نسخه ی نمایشی: با استفاده از معیارهای پیشخوان برای نظارت بر برنامه ها Demo: Using Counter Metrics to Monitor Applications

• نسخه ی نمایشی: آزمایش واحد Demo: Unit Testing

• نسخه ی نمایشی: آزمایش با استفاده از MiniClusterWithClientResource Demo: Testing Using MiniClusterWithClientResource

• خلاصه و مطالعه بیشتر Summary and Further Study