آموزش آپاچی کافکا - پردازش جریانی در زمان واقعی (کلاس کارشناسی ارشد)

سرفصل ها و درس ها

قبل از اینکه تو شروع کنی Before you Start

• معرفی Introduction

• درباره دوره About the Course

• درباره نویسنده About the Author

• برای این دوره به چه چیزهایی نیاز دارید؟ What do you Need for this Course?

• اشکال زدایی مشکلات و پرسیدن سوال Debugging Problems and Asking Questions

• سوالات متداول Frequently Asked Questions

• کد منبع و سایر منابع Source Code and Other Resources

مقدمه ای بر جریان های بلادرنگ Introduction to Real-time Streams

• ظهور Bigdata - یک جمع بندی سریع Emergence of Bigdata - A Quick Recap

• مفهوم جریان رویداد Conception of Event Streams

• پخش هم‌زمان - موارد استفاده Real-time Streaming - Use Cases

• چالش های جریانی در زمان واقعی Real-time Streaming Challenges

• در نظر گرفتن طراحی جریان در زمان واقعی Real-time Streaming Design Consideration

• خلاصه بخش Section Summary

وارد دنیای آپاچی کافکا شوید Enter the world of Apache Kafka

• آپاچی کافکا چیست؟ What is Apache Kafka?

• معماری ذخیره سازی کافکا Kafka Storage Architecture

• معماری خوشه کافکا Kafka Cluster Architecture

• معماری توزیع کار کافکا - قسمت 1 Kafka Work Distribution Architecture - Part 1

• معماری توزیع کار کافکا - قسمت 2 Kafka Work Distribution Architecture - Part 2

• خلاصه بخش Section Summary

• خلاصه بخش Section Summary

ایجاد جریان های بلادرنگ Creating Real-time Streams

• جریان به کافکا Streaming into Kafka

• تولیدکنندگان کافکا - شروع سریع Kafka Producers - Quick Start

• بخش داخلی تهیه کننده کافکا Kafka Producer Internals

• Scaling Kafka Producer Scaling Kafka Producer

• تهیه کنندگان پیشرفته کافکا (دقیقا یک بار) Advanced Kafka Producers (Exactly Once)

• تهیه کننده پیشرفته کافکا (اجرای تراکنش) Advanced Kafka Producer (Implementing Transaction)

• تهیه کننده کافکا - پروژه میکرو Kafka Producer - Micro Project

• تهیه کننده کافکا - یادداشت پایانی و مراجع Kafka Producer - Final Note and References

وارد قسمت Stream Processing شوید Enter the Stream Processing

• پردازش جریان در آپاچی کافکا Stream Processing in Apache Kafka

• مصرف کننده کافکا - مقدمه عملی Kafka Consumer - Practical Introduction

• مصرف کننده کافکا - مقیاس پذیری، تحمل خطا و ویژگی های از دست رفته Kafka Consumer - Scalability, Fault tolerance and Missing Features

• Kafka Streams API - شروع سریع Kafka Streams API - Quick Start

• ایجاد توپولوژی جریان Creating Streams Topology

• پیاده سازی توپولوژی جریان Implementing Streams Topology

• معماری کافکا استریمز Kafka Streams Architecture

• خلاصه بخش و مراجع Section Summary and References

بنیاد برای اجرای پروژه زندگی واقعی Foundation for Real Life Project Implementations

• مقدمه ای بر انواع و سریال سازی در کافکا Introduction to Types and Serialization in Kafka

• طرحواره JSON به POJO برای JSON Serdes JSON Schema to POJO for JSON Serdes

• ایجاد و استفاده از JSON Serdes Creating and Using JSON Serdes

• طرحواره AVRO به POJO برای AVRO Serdes AVRO Schema to POJO for AVRO Serdes

• ایجاد و استفاده از طرحواره AVRO در Producers Creating and using AVRO schema in Producers

• ایجاد و استفاده از طرحواره AVRO در Kafka Streams Creating and using AVRO schema in Kafka Streams

• خلاصه بخش و مراجع Section Summary and References

ایالات و فروشگاه ها States and Stores

• درک ایالات و فروشگاه های ایالتی Understanding States and State Stores

• ایجاد اولین فروشگاه دولتی شما Creating your First State Store

• احتیاط با ایالات Caution with States

• تحمل خطا فروشگاه ایالتی State Store Fault Tolerance

• خلاصه بخش و مراجع Section Summary and References

• خلاصه بخش و مراجع Section Summary and References

KTable - یک جریان به روز رسانی KTable - An Update Stream

• معرفی KTable Introducing KTable

• ایجاد اولین جریان به روز رسانی شما - KTable Creating your First Update Stream - KTable

• ذخیره جدول و نرخ انتشار Table Caching and Emit Rates

• معرفی GlobalKTable Introducing GlobalKTable

کل زمان واقعی Real-time Aggregates

• محاسبه اولین مجموع شما - تعداد کلمات جاری در زمان واقعی Computing Your First Aggregate - Real-time Streaming Word Count

• جریان مصالح - مفهوم اصلی Streaming Aggregates - Core Concept

• KStream Aggregation با استفاده از Reduce() KStream Aggregation using Reduce()

• KStream Aggregation با استفاده از Aggregate() KStream Aggregation using Aggregate()

• اشتباهات رایج در تجمیع Common Mistakes in Aggregation

• روی KTable حساب کنید Count on KTable

• KTable Aggregation با استفاده از Aggregate() KTable Aggregation using Aggregate()

مهر زمانی و ویندوز Timestamps and Windows

• مُهر زمان و استخراج کننده مهر زمانی Timestamps and Timestamp Extractors

• ایجاد ویندوز نازک Creating Tumbling Windows

• زمان پخش و دوره مهلت Stream Time and Grace Period

• سرکوب نتایج متوسط Supressing Intermediate Results

• ایجاد Hopping Windows Creating Hopping Windows

• ایجاد Session Windows Creating Session Windows

پیوستن به جریان ها و جداول Joining Streams and Tables

• پیوستن به جریان Streaming Joins

• پیوستن KStrem به KStream دیگر Joining a KStrem to another KStream

• پیوستن KTable به KTable دیگر Joining a KTable to another KTable

• پیوستن KStream به KTable و GlobalKTable Joining a KStream to a KTable and GlobalKTable

• اختلاط اتصالات با مصالح - Computing Top 3 Mixing Joins with Aggregates - Computing Top 3

• اختلاط اتصالات با مصالح - CTR آگهی Mixing Joins with Aggregates - Advert CTR

تست برنامه Streams Testing Streams Application

• چگونه یک برنامه پردازش جریانی را آزمایش کنیم How to test a Stream Processing Application

• واحد تست توپولوژی شما Unit Testing Your Topology

پرسش های تعاملی و پاسخ های میکرو سرویس در کافکا Interactive Query and Micro-Service Responses in Kafka

• معرفی خدمات میکرو مورد نیاز Introducing Micro-services Requirement

• آشنایی با فروشگاه محلی در مقابل Remote State Understanding Local Vs Remote State Store

• اجرای میکرو سرویس پرس و جو تعاملی در کافکا Implementing Interactive Query Micro-service in Kafka

ضمیمه Appendix

• راه اندازی محیط توسعه آپاچی کافکا Setting up Apache Kafka Development Environment

به یادگیری ادامه دهید Keep Learning

• کلمه پایانی Final Word

• سخنرانی جایزه: اضافی دریافت کنید Bonus Lecture : Get Extra