آموزش جامع کافکا استریمز (3.x): پردازش داده بلادرنگ - آخرین آپدیت

سرفصل ها و درس ها

مقدمه دوره Course Introduction

• معرفی محتوای دوره Course content introduction

• هدف و دامنه دوره Course objective and scope

• ویژگی‌های دوره و نحوه یادگیری (پیشنهادات) Course Characteristics & how to learning (suggestions)

• دانلود کد منبع و پاورپوینت Download the source code & PowerPoint

مقدمه Apache Kafka Streams Apache Kafka Streams Introduction

• Kafka Streams چیست؟ What is Kafka Streams

• اصطلاحات کلیدی Kafka Streams Kafka Streams Key Terms

• حالت موازی Kafka Streams Kafka Streams Parallel mode

• استراتژی پردازش داده در Kafka Streams Data process strategy in Kafka Streams

• راه‌اندازی محیط توسعه Kafka Streams (راه‌اندازی Kafka Broker) Kafka Streams Development Environment Setup(Kafka Broker Setup)

• راه‌اندازی محیط توسعه Kafka Streams (پروژه Maven) Kafka Streams Development Environment setup(Maven Project)

• شروع سریع - توسعه اولین برنامه Kafka Streams Quick Start-Develop First Kafka Streams Application

• راه‌اندازی و تست اولین برنامه Kafka Stream Setup the First Kafka Stream Application and Testing

ساخت برنامه Kafka Stateless Streams Build Kafka Stateless Streams Application

• برنامه استریم‌های بدون حالت چیست؟ What is stateless streams application

• عملیات بدون حالت - Map و KeyValueMapper Stateless Operation- Map & KeyValueMapper

• عملیات بدون حالت - MapValues و ValueMapper و ValueMapperWithKey Stateless Operation- MapValues & ValueMapper & ValueMapperWithKey

• عملیات بدون حالت - Filter و FilterNot و Predicate Stateless Operation- Filter & FilterNot & Predicate

• عملیات بدون حالت - FlatMap و KeyValueMapper Stateless Operation-FlatMap & KeyValueMapper

• عملیات بدون حالت - FlatMapValues و ValueMapper و ValueMapperWithKey Stateless Operation-FlatMapValues&ValueMapper&ValueMapperWithKey

• عملیات بدون حالت - SelectKey و KeyValueMapper Stateless Operation-SelectKey & KeyValueMapper

• عملیات بدون حالت - Foreach و ForeachAction Stateless Operation-Foreach & ForeachAction

• عملیات بدون حالت - Print و Peek Stateless Operation-Print and Peek

• عملیات بدون حالت - (BranchedKStream) تقسیم استریم‌ها به زیر-استریم‌های متعدد Stateless Operation-(BranchedKStream)Split Streams to multiple sub-streams

• عملیات بدون حالت - ادغام KStreamهای کوچک به یک KStream بزرگ Stateless Operation-Merge Small KStreams to big one

• عملیات بدون حالت - سینک کردن رکوردهای تبدیل شده به تاپیک هدف Stateless Operation-Sink the transformed records to target topic

• یکپارچه‌سازی: تمرین تحلیل بلادرنگ داده‌های تراکنش XMall Assemble Together: XMall Transaction data real-time analysis practise

• یکپارچه‌سازی: تحلیل بلادرنگ داده‌های تراکنش XMall - تعریف مدل داده Assemble Together: XMall Transaction data real-time analysis - Data Model Define

• یکپارچه‌سازی: تحلیل بلادرنگ داده‌های تراکنش XMall - Serdes سفارشی Assemble Together: XMall Transaction data real-time analysis-Custom Serdes

• یکپارچه‌سازی: تحلیل بلادرنگ داده‌های تراکنش XMall - برنامه استریم‌ها Assemble Together: XMall Transaction data real-time analysis-Streams Application

• یکپارچه‌سازی: تحلیل بلادرنگ داده‌های تراکنش XMall - استقرار و تست Assemble Together: XMall Transaction data real-time analysis-Deploy & Testing

• مرور و خلاصه Kafka Stateless Streams Kafka Stateless Streams Recap & Summarize

ساخت برنامه Kafka Stateful Streams و حافظه حالت (RocksDB) Build Kafka Stateful Streams application & statestore(RocksDB)

• برنامه استریم‌های حالت‌دار چیست؟ What is stateful streams application

• حافظه حالت و راه‌حل حافظه حالت State store & state store solution

• تبدیل حالت‌دار عملی (شمارش کلمات) Stateful transformation practical (Word Count)

• تبدیل حالت‌دار عملی (شمارش کلمات) تست و اعتبارسنجی نتایج Stateful transformation practical(Word Count) test and result verify

• درک بازتوزیع داده داخلی کافکا استریمز و تبدیل حالت‌دار Understand the Kafka streams internal data redistribution and stateful transform

• بهبود پردازشگر امتیاز پاداش تراکنش XMall برای پشتیبانی از کل امتیازات Enhancement XMall transaction reward point processor support total reward points

• عملیات تبدیل حالت‌دار Stateful transform operations

• معرفی عملیات Join در KStream KStream Joining operation introduction

• عملیات Inner Join در KStream KStream inner joining operation

• راه‌اندازی و تست برنامه عملیات Inner Join در KStream KStream inner joining operation application startup & testing

• درک عمیق عملیات Join و لاگ‌های تغییرات زیرین Depth understand the joining operation and underlying change logs

• عملیات Left Join در KStream KStream left joining operation

• عملیات Outer Join در KStream KStream outer joining operation

• عملیات گروه‌بندی KStream KStream grouping operation

• عملیات تجمیع شمارش KGroupedStream عملی (شمارش کلمات) KGroupedStream count aggregation operation practical(word count)

• عملیات تجمیع reduce KGroupedStream عملی (شمارش کلمات) KGroupedStream reduce aggregation operation practical(word count)

• تحلیل بلادرنگ برنامه قهرمان فروش با عملیات تجمیع reduce Real-Time analysis the sales champion application by reduce aggregate operation

• توسعه برنامه قهرمان فروش با عملیات تجمیع reduce و تست Develop the sales champion application by reduce aggregating operation and test

• عملیات تجمیع KGroupedStream برای محاسبه بلادرنگ گزارشگر آمار فروش KGroupedStream aggregate operation for Real-Time compute sales stats reporter

• حافظه قابل پرس‌وجوی حالت‌دار KStream (KeyValueStore) - تک نمونه Stateful KStream Queryable Storestore(KeyValueStore)-single instance

• حافظه قابل پرس‌وجوی حالت‌دار KStream (KeyValueStore) - چند نمونه Stateful KStream Queryable Storestore(KeyValueStore)-multiple instance

• پردازش حالت‌دار و ProcessorSupplier (مستندات رسمی اشکال دارد) Stateful process and ProcessorSupplier(Official documentation has bugs)

• مرور و خلاصه Kafka Stateful Streams Kafka Stateful Streams Recap & Summarize

ساخت برنامه استریمینگ پیچیده با عملیات پنجره‌بندی KGroupedStream Build complex streaming application with KGroupedStream windowing operation

• معناشناسی زمان در Kafka Streams Kafka Streams Time Semantics

• LogAppendTime و CreateTime در کافکا Kafka LogAppendTime&CreateTime

• TimestampExtractor در Kafka Streams Kafka Streams TimestampExtractor

• معرفی عملیات پنجره‌بندی در Kafka Streams The Kafka Streams Windowing Operation introduction

• پنجره زمانی Tumbling: تحلیل بلادرنگ رفتار حملات شبکه Tumbling time window analyzes network attack behavior in real time

• ساخت برنامه تحلیل بلادرنگ رفتار حملات شبکه با پنجره زمانی Tumbling Tumbling time window real-time analysis of network attack behavior app building

• سرکوب برخی به‌روزرسانی‌ها از این استریم لاگ تغییرات Suppress some updates from this changelog stream

• پنجره زمانی Hopping برای آمار بلادرنگ ترافیک دسترسی وب‌سایت Hopping time window for real-time statistics the website access traffic

• پنجره زمانی Sliding برای آمار بلادرنگ ترافیک دسترسی وب‌سایت Sliding time window for real-time statistics the website access traffic

• مقایسه پنجره زمانی Hopping و Sliding Hopping time window vs Sliding time window

• پنجره زمانی Session برای آمار بلادرنگ PV و UV وب‌سایت Session time window for real-time statistics website PV&UV

• یکپارچه‌سازی - تحلیل بلادرنگ داده‌های حسگر ضربان قلب برای پایش سلامت بیمار-I Assembly-Heartbeat sensor data real-time analysis patient health monitoring-I

• یکپارچه‌سازی - تحلیل بلادرنگ داده‌های حسگر ضربان قلب برای پایش سلامت بیمار-II Assembly-Heartbeat sensor data real-time analysis patient health monitoring-II

• یکپارچه‌سازی - تحلیل بلادرنگ داده‌های حسگر ضربان قلب برای پایش سلامت بیمار-III Assembly-Heartbeat sensor data real-time analysis patient health monitoring-III

• حافظه قابل پرس‌وجوی تعاملی KGroupedStream (WindowStore) KGroupedStream Interactive Queryable Storestore(WindowStore)

• مرور و خلاصه KGroupedStream و تجمیع پنجره‌بندی KGroupedStream & Windowing Aggregation Recap and Summarize

ساخت برنامه استریم‌های قابل به‌روزرسانی با KTable Build Updatable Streams Application with KTable

• KTable چیست؟ What is KTable

• ایجاد KTable از StreamsBuilder (مستندات رسمی اشکال دارد) Create KTable from StreamsBuilder(Official documentation has bugs)

• ایجاد KTable از KStream Create KTable from KStream

• معرفی عملیات پایه KTable و توضیح رکوردهای Tombstone KTable basic operation introduction and Tombstone records explanation

• آزمایشگاه: تمرینات عملیات پایه KTable (شامل رکوردهای Tombstone) Lab: KTable basic operation exercises(contains tombstone records)

• عملیات transformValues در KTable و بازی شوت KTable transformValues operation and shoot game

• KStream Inner Join با KTable KStream inner join the KTable

• KStream Left Join با KTable KStream left join the KTable

• KTable Inner Join با KTable KTable inner join the KTable

• KTable Foreign Key Inner Join با KTable KTable Foreign Key inner join the KTable

• عملیات Join پشتیبانی شده توسط KTable KTable supported joining operations

• گروه‌بندی KTable و شمارش تعداد کارمندان (تجمیع شمارش) KTable grouping & count aggregating count the number of employees

• گروه‌بندی KTable و تجمیع reduce برای آمار کل حقوق بخش KTable grouping & reduce aggregating statistics department total salary

• گروه‌بندی KTable و تجمیع aggregate برای آمار کل حقوق بخش KTable grouping & aggregate aggregating statistics department total salary

• مرور و خلاصه KTable KTable Recap and Summarize

API مربوط به GlobalKTable GlobalKTable API

• GlobalKTable چیست؟ What is GlobalKTable

• مقایسه GlobalKTable و KTable GlobalKTable vs KTable

• KStream Join (Inner و Left) با GlobalKTable KStream joining(inner&left) GlobalKTable