آموزش مستر کلاس آپاچی کافکا با جاوا + بوت بهار [دست روی]

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• نیاز به معماری رویداد محور/کافکا Need For Event Driven Architecture / Kafka

• درخواست و منابع فروتن Humble Request & Resources

راه اندازی کافکا Kafka Setup

• معرفی Introduction

• تصویر Docker سفارشی Custom Docker Image

• راه اندازی Docker Compose Docker Compose Setup

دوره تصادف کافکا Kafka Crash Course

• معرفی Introduction

• خوشه Cluster

• سرور بوت استرپ Bootstrap Server

• دستور موضوع Topic Command

• کاوش فهرست داده ها Exploring Data Directory

• دستورات مستندسازی Documenting Commands

• سازنده کنسول Console Producer

• مصرف کننده کنسول Console Consumer

• تولید کننده و مصرف کننده در کنار یکدیگر Producer & Consumer Side By Side

• [خواص] linger.ms در مقابل batch.size [Properties] linger.ms vs batch.size

• فشار مصرف کننده در مقابل کشش Consumer Push vs Pull

• سریال سازی در مقابل سریال زدایی Serialization vs Deserialization

• [خواص] حفظ گزارش [Properties] Log Retention

• انحراف Offset

• مهر زمان پیام Message Timestamp

• 2 نسخه ی نمایشی مصرف کنندگان 2 Consumers Demo

• گروه مصرف کننده Consumer Group

• گروه مصرف کننده - نسخه ی نمایشی Consumer Group - Demo

• نیاز به سفارش پیام Need For Message Ordering

• پارتیشن و کلید Partition & Key

• چه کسی پارتیشن را محاسبه می کند؟ Who is calculating the Partition?

• موضوع با 2 پارتیشن Topic With 2 Partitions

• نسخه نمایشی گروه مصرف کننده با پارتیشن - قسمت 1 Consumer Group Demo with Partitions - Part 1

• نسخه نمایشی گروه مصرف کننده با پارتیشن - قسمت 2 Consumer Group Demo with Partitions - Part 2

• مقیاس بندی گروه مصرف کننده - سناریوها Consumer Group Scaling - Scenarios

• گروه مصرف کننده - LAG Consumer Group - LAG

• گروه مصرف کننده چندگانه - LAG Multiple Consumer Group - LAG

• تنظیم مجدد Offset Resetting Offset

• بازنشانی افست - نسخه ی نمایشی Resetting Offset - Demo

• فرمت پیام Message Format

• خلاصه Summary

• امتحان Quiz

راکتور کافکا Reactor Kafka

• وابستگی های Maven Maven Dependencies

• راه اندازی پروژه Project Setup

• پیکربندی مصرف کننده Consumer Config

• ایجاد گیرنده کافکا Creating Kafka Receiver

• نسخه نمایشی گیرنده کافکا Kafka Receiver Demo

• تنظیم مجدد افست خودکار Auto Offset Reset

• تنظیمات زمان پایان جلسه Session Timeout Config

• پیام تایید Acknowledging Message

• فعال کردن Auto Commit Enabling Auto Commit

• آیا پیام ها دوباره تحویل داده می شوند؟ Will Messages Be Redelivered?

• خارج از نظم تعهد Out Of Order Commit

• مصرف از چندین موضوع Consume From Multiple Topics

• پیکربندی سازنده کافکا Kafka Producer Config

• ایجاد رکورد فرستنده Creating Sender Record

• نسخه نمایشی تهیه کننده کافکا Kafka Producer Demo

• فرستنده بستن Sender Close

• گیرنده بستن Receiver Close

• انتشار 1 میلیون رویداد Emitting 1 Million Events

• حداکثر در پرواز Max In Flight

• سرصفحه های پیام Message Headers

• نسخه نمایشی گروه مصرف کننده - قسمت 1 Consumer Group Demo - Part 1

• نسخه نمایشی گروه مصرف کننده - قسمت 2 Consumer Group Demo - Part 2

• تعاونی چسبنده Cooperative Sticky Assignor

• تعیین کننده محدوده Range Assignor

• به دنبال افست Seeking Offset

• خلاصه Summary

خوشه کافکا Kafka Cluster

• معرفی Introduction

• یادداشت سریع در مورد شنوندگان Quick Note On Listeners

• ویژگی های خوشه Cluster Properties

• دمو خوشه Cluster Demo

• نسخه نمایشی تحمل خطا کافکا Kafka Fault Tolerance Demo

• خلاصه Summary

بهترین شیوه ها Best Practices

• تولید کننده تایید می کند Producer acks

• min.insync.replica min.insync.replica

• تولید کننده بی توان Idempotent Producer

• تولید پیام های تکراری Producing Duplicate Messages

• مصرف کننده بی توان Idempotent Consumer

• فشرده سازی Compression

• چند موضوع باید ایجاد کنم؟ How Many Topics Should I Create?

• چند پارتیشن باید ایجاد کنم؟ How Many Partitions Should I Create?

• چند فاکتور تکرار باید داشته باشم؟ How Many Replication Factor Should I Have?

• خلاصه Summary

پردازش دسته ای/موازی Batch / Parallel Processing

• معرفی Introduction

• Batch - Receiver Auto Ack/concatMap Batch - Receiver Auto Ack / concatMap

• موازی - flatMap Parallel - flatMap

• زمانبندی با FlatMap Schedulers with FlatMap

• مشکل سفارش پیام با FlatMap Message Ordering Issue With FlatMap

• GroupedFlux - مرتب سازی موازی و پیام - قسمت 1 GroupedFlux - Parallel and Message Ordering - Part 1

• GroupedFlux - مرتب سازی موازی و پیام - قسمت 2 GroupedFlux - Parallel and Message Ordering - Part 2

• خلاصه Summary

رسیدگی به خطا Error Handling

• معرفی Introduction

• سعی مجدد ساده Simple Retry

• جداسازی گیرنده و پردازنده - تئوری Separating Receiver & Processor - Theory

• جداسازی گیرنده و پردازنده - پیاده سازی - قسمت 1 Separating Receiver & Processor - Implementation - Part 1

• جداسازی گیرنده و پردازنده - پیاده سازی - قسمت 2 Separating Receiver & Processor - Implementation - Part 2

• جداسازی گیرنده و پردازنده - پیاده سازی - قسمت 3 Separating Receiver & Processor - Implementation - Part 3

• بسته به خطا دوباره امتحان کنید Retry Depending On Error

• موضوع نامه مرده - مقدمه Dead Letter Topic - Introduction

• سازنده موضوع نامه مرده واکنشی - قسمت 1 Reactive Dead Letter Topic Producer - Part 1

• سازنده موضوع نامه مرده واکنشی - قسمت 2 Reactive Dead Letter Topic Producer - Part 2

• پردازشگر رویداد سفارش Order Event Processor

• پاکسازی کد Code Cleanup

• نسخه نمایشی موضوع نامه مرده Dead Letter Topic Demo

• پیام های قرص سمی Poison Pill Messages

• پیام های قرص سمی - رفع کنید Poison Pill Messages - Fix

• رسیدگی به خطا در سمت سازنده Error Handling At Producer Side

• خلاصه Summary

معامله کافکا Kafka Transaction

• معرفی Introduction

• بررسی برنامه آزمایشی Demo App Walkthrough

• انتقال مصرف کننده رویداد Transfer Event Consumer

• پردازشگر رویداد انتقال - قسمت 1 Transfer Event Processor - Part 1

• پردازشگر رویداد انتقال - قسمت 2 Transfer Event Processor - Part 2

• پیکربندی انتقال Transfer Config

• اضافه کردن تاخیر Adding Delay

• دستورات کافکا Kafka Commands

• نسخه نمایشی تراکنش کافکا Kafka Transaction Demo

• تراکنش کافکا چگونه کار می کند How Kafka Transaction Works

• read_committed در مقابل read_uncommitted read_committed vs read_uncommitted

• ارسال به صورت معامله ای Send Transactionally

• تولید کننده استثناء محصور شده Producer Fenced Exception

• معناشناسی تحویل Delivery Semantics

کافکا واکنشی با فنر Reactive Kafka With Spring

• معرفی Introduction

• مصرف کننده کافکا ساده بهار Simple Spring Kafka Consumer

• سفارش رویداد DTO Order Event DTO

• پیکربندی سازنده کافکا بهار Spring Kafka Producer Config

• موضوع رمزگشایی رویداد سفارش Order Event Decoding Issue

• اهمیت نوع شناسه Importance Of Type ID

• سفارش رویداد نمایشی Order Event Demo

• سربرگ شناسه نوع چاپ Printing Type ID Header

• رمزگشایی به عنوان شی سفارشی Decoding As Custom Object

• خلاصه Summary

تست یکپارچه سازی Integration Testing

• معرفی Introduction

• تست کافکا تعبیه شده Embedded Kafka Test

• دمو کافکا جاسازی شده Embedded Kafka Demo

• بندر تصادفی کافکا تعبیه شده Embedded Kafka Random Port

• بازسازی پروژه Project Restructure

• تست ادغام چکیده - ابزارهای کمکی - قسمت 1 Abstract Integration Test - Utilities - Part 1

• تست ادغام چکیده - ابزارهای کمکی - قسمت 2 Abstract Integration Test - Utilities - Part 2

• OrderEventProducer - تست OrderEventProducer - Test

• OrderEventProducer - نسخه ی نمایشی OrderEventProducer - Demo

• @DirtiesContext @DirtiesContext

• ایجاد Sender Util Creating Sender Util

• OrderEventConsumer - نسخه ی نمایشی OrderEventConsumer - Demo

*** وظیفه *** *** ASSIGNMENT ***

• معرفی Introduction

• R2DBC - رابط پایدار R2DBC - Persistable Interface

• ** وظیفه ** ** ASSIGNMENT **

• [راه حل تکلیف] - راه اندازی خدمات محصول [ASSIGNMENT SOLUTION] - Product Service Setup

• [راه حل تکلیف] - خدمات محصول - پیاده سازی - قسمت 1 [ASSIGNMENT SOLUTION] - Product Service - Implementation - Part 1

• [راه حل تکلیف] - خدمات محصول - پیاده سازی - قسمت 2 [ASSIGNMENT SOLUTION] - Product Service - Implementation - Part 2

• [راه حل تکلیف] - خدمات محصول - تست یکپارچه سازی - قسمت 1 [ASSIGNMENT SOLUTION] - Product Service - Integration Test - Part 1

• [راه حل تکلیف] - خدمات محصول - تست یکپارچه سازی - قسمت 2 [ASSIGNMENT SOLUTION] - Product Service - Integration Test - Part 2

• [راه حل تکلیف] - سرویس تجزیه و تحلیل - راه اندازی [ASSIGNMENT SOLUTION] - Analytics Service - Setup

• [راه حل تکلیف] - سرویس تجزیه و تحلیل - پیاده سازی - قسمت 1 [ASSIGNMENT SOLUTION] - Analytics Service - Implementation - Part 1

• [راه حل تکلیف] - سرویس تجزیه و تحلیل - پیاده سازی - قسمت 2 [ASSIGNMENT SOLUTION] - Analytics Service - Implementation - Part 2

• [راه حل تکلیف] - سرویس تجزیه و تحلیل - پیاده سازی - قسمت 3 [ASSIGNMENT SOLUTION] - Analytics Service - Implementation - Part 3

• [راه حل تکلیف] - سرویس تجزیه و تحلیل - تست یکپارچه سازی - قسمت 1 [ASSIGNMENT SOLUTION] - Analytics Service - Integration Test - Part 1

• [راه حل تکلیف] - سرویس تجزیه و تحلیل - تست یکپارچه سازی - قسمت 2 [ASSIGNMENT SOLUTION] - Analytics Service - Integration Test - Part 2

• نسخه ی نمایشی نهایی Final Demo

• نسخه ی نمایشی نهایی با Companion Flux Final Demo With Companion Flux

امنیت کافکا Kafka Security

• معرفی Introduction

• برنامه با اعتبار کافکا App With Kafka Credentials

• معرفی SSL SSL Introduction

• Kafka SSL Kafka SSL

• نسخه ی نمایشی کافکا SSL Kafka SSL Demo

بعد چه می شود؟ What's Next?

• معماری رویداد محور و الگوی حماسه Event Driven Architecture & Saga Pattern

• بعد چه است What's Next