آموزش آپاچی کافکا (Apache Kafka) برای توسعه‌دهندگان با Spring Boot - آخرین آپدیت

سرفصل ها و درس ها

شروع کار با دوره Getting Started With the Course

• معرفی دوره و اهداف Course Introduction & Objectives

• پیش‌نیازها Pre-Requisites

آشنایی با کافکا Getting Started with Kafka

• مقدمه‌ای بر کافکا Introduction to Kafka

• اصطلاحات کافکا و APIهای کلاینت Kafka Terminologies and Client APIs

درک اجزا و ساختار داخلی کافکا (تئوری و عملی) Understanding Kafka Components and its Internals - (Theory + Hands On)

• تئوری Topicها و Partitionها در کافکا Kafka Topics and Partitions - Theory

• راه‌اندازی Zookeeper و Kafka Broker به صورت محلی SetUp a Zookeeper/Kafka Broker in Local

• ساخت Topic و تولید و مصرف پیام‌ها با استفاده از CLI Create Topic, Produce and Consume Messages using the CLI

• تولید و مصرف پیام‌ها با استفاده از کلید (Key) Produce and Consume Messages with Key

• مفهوم Consumer Offsets Consumer Offsets

• گروه‌های مصرف‌کننده (Consumer Groups) Consumer Groups

• لاگ تعهدی (Commit Log) و سیاست‌های نگهداری داده (Retention Policy) Commit Log and Retention Policy

• کافکا به عنوان یک سیستم استریم توزیع شده Kafka as a Distributed Streaming System

• راه‌اندازی کلاستر کافکا محلی با 3 بروکر Setting up a Kafka Cluster in Local with 3 Kafka Brokers

• نحوه توزیع درخواست‌های کلاینت در کلاستر (Leader/Follower) How Kafka Cluster distributes the Client Requests ? - Leader/Follower

• نحوه مدیریت فقدان داده در کافکا (Replication و ISR) How Kafka handles Data Loss ? - Replication and In-Sync-Replica(ISR)

• پیکربندی min.insync.replicas Configuring min.insync.replicas

مرور کلی اپلیکیشن Application Overview

• مرور کلی اپلیکیشن مدیریت موجودی کتابخانه Overview of the application - Library Inventory

ساخت Kafka Producer با Spring Boot (عملی) Build Spring Boot Kafka Producer - Hands On

• راه‌اندازی پروژه پایه برای Kafka Producer رویدادهای کتابخانه Setting up the Base project for Library Event Kafka producer

• ساخت دامنه (Domain) رویدادهای کتابخانه Build the Library Event Domain

• ایجاد End-point متد POST برای /libraryevent Create the POST endpoint "/libraryevent"

• آشنایی با Spring KafkaTemplate برای تولید پیام‌ها Introduction to Spring KafkaTemplate to Produce Messages

• پیکربندی KafkaTemplate با استفاده از پروفایل‌های Spring Boot در application.yml Configure KafkaTemplate using Spring Boot Profiles - application.yml

• نحوه عملکرد AutoConfiguration در Spring Boot برای Kafka Producer How Kafka Spring Boot AutoConfiguration Works? - Kafka Producer

• ساخت خودکار Topic با استفاده از KafkaAdmin AutoCreate TOPIC using KafkaAdmin

• ساخت Producer رویدادهای کتابخانه با KafkaTemplate (روش اول - بخش 1) Build LibraryEvents Producer using KafkaTemplate - Approach1- Part1

• ساخت Producer رویدادهای کتابخانه با KafkaTemplate (روش اول - بخش 2) Build LibraryEvents Producer using KafkaTemplate - Approach1- Part2

• بررسی پشت صحنه API تولیدکننده رویدادهای کتابخانه LibraryEvents Producer API - Behind the Scenes

• ساخت Producer رویدادهای کتابخانه با KafkaTemplate (روش دوم) Build LibraryEvents Producer using KafkaTemplate - Approach 2

• ساخت Producer رویدادهای کتابخانه با KafkaTemplate (روش سوم) Build LibraryEvents Producer using KafkaTemplate - Approach3

• ارسال KafkaRecord به همراه Headerها با استفاده از KafkaTemplate Sending KafkaRecord With Headers using KafkaTemplate

تست یکپارچگی (Integration Testing) با JUnit5 (عملی) Integration Testing using JUnit5 - Hands On

• مقدمه‌ای بر تست‌های خودکار Introduction to Automates Tests

• تست یکپارچگی برای End-point متد POST (بخش 1) Integration Test for POST endpoint - "/v1/libraryevent" - Part 1

• تست یکپارچگی برای End-point متد POST (بخش 2) Integration Test for POST endpoint - "/v1/libraryevent" - Part 2

• آشنایی، پیکربندی و ادغام Embedded Kafka در JUnit Embedded Kafka - Introduction, Configure and Integrate in JUnit

• ادغام Kafka Consumer در JUnit و مصرف رکوردها Integrate Kafka Consumer in JUnit and Consume the record

تست واحد (Unit Testing) با JUnit5 (عملی) Unit Testing using JUnit5 - Hands On

• مقدمه‌ای بر تست واحد (Unit Testing) Introduction to Unit Testing

• تست واحد برای End-point متد POST با استفاده از MockMVC Unit Test POST "/libraryevent" endpoint using MockMVC

• افزودن اعتبارسنجی (Validation) به بدنه رویداد کتابخانه Adding Validations to the LibraryEvent Payload

• پیام‌های خطای سفارشی با ControllerAdvice برای خطاهای 4xx Custom ErrorMessages using ControllerAdvice - Handling 4xx ClientErrors

ارسال پیام با کلید در Kafka Producer (عملی) Kafka Producer - Sending Message With Key - Hands On

• ایجاد End-point متد PUT برای /libraryEvent Create the PUT endpoint - "/libraryEvent"

پیکربندی‌های مهم Kafka Producer Kafka Producer - Important Configurations

• پیکربندی‌های مهم Kafka Producer Kafka Producer - Important Configurations

• بازنویسی retry و retry.backoff.ms (عملی) Override the retry and retry.backoff.ms - Hands On

ساخت Kafka Consumer با Spring Boot (عملی) Build Spring Boot Kafka Consumer - Hands On

• راه‌اندازی پروژه پایه برای Kafka Consumer رویدادهای کتابخانه Set Up the Library Events Consumer Base project

• آشنایی با Spring Kafka Consumer Introducing Spring Kafka Consumer

• پیکربندی Kafka Consumer با پروفایل‌های Spring Boot در application.yml Configure Kafka Consumer using Spring Boot Profiles - application.yml

• ساخت Kafka Consumer با استفاده از انوتیشن @KafkaListener Build Kafka Consumer using @KafkaListener Annotation

• نحوه عملکرد AutoConfiguration در Spring Boot برای Kafka Consumer How Spring Boot AutoConfiguration Works ? - Kafka Consumer

مدیریت Consumer Groupها و Offsetها (عملی) Consumer Groups and Consumer Offset Management - Hands On

• گروه‌های مصرف‌کننده و Rebalance (عملی) Consumer Groups and Rebalance - Hands On

• مدیریت پیش‌فرض Consumer Offset در Spring Kafka (عملی) Default Consumer Offset Management in Spring Kafka - Hands On

• مدیریت دستی Consumer Offset (عملی) Manual Consumer Offset Management - Hands On

• مصرف‌کنندگان همزمان (Concurrent Consumers) (عملی) Concurrent Consumers - Hands On

ذخیره رویدادهای کتابخانه در دیتابیس H2 InMemory Persisting Library Events in DB - Using H2 InMemory DataBase

• پیکربندی دیتابیس H2 In Memory Configuring the H2 In-Memory DB

• ساخت موجودیت‌های LibraryEvent و Book Create LibraryEvent and Book Entity

• ساخت لایه سرویس برای پردازش نوع رویداد ADD Build Service Layer to process LibraryEvent - ADD Event Type

• ساخت لایه سرویس برای پردازش نوع رویداد MODIFY Build Service Layer to process LibraryEvent - MODIFY Event Type

تست یکپارچگی با Embedded Kafka برای Consumer Integration Testing using Embedded Kafka - Kafka Consumer

• پیکربندی Embedded Kafka برای تست‌های یکپارچگی Configure Embedded Kafka for Integration Tests

• نوشتن تست یکپارچگی برای ارسال رویداد NEW Write the Integration test for posting a "NEW" LibraryEvent

• نوشتن تست یکپارچگی برای ارسال رویداد UPDATE Write the Integration test for posting a "UPDATE" LibraryEvent

• نوشتن تست یکپارچگی برای ارسال رویداد UPDATE نامعتبر Write the Integration test for posting an invalid UPDATE LibraryEvent

• تست‌های یکپارچگی برای دیتابیس‌های واقعی با استفاده از TestContainers Integration Tests for Real Databases using TestContainers

مدیریت خطا، تلاش مجدد و بازیابی در Kafka Consumers Error Handling, Retry and Recovery - Kafka Consumers

• مدیریت خطای سفارشی و Retry سفارشی در Kafka Consumer Custom Error Handler and Custom Retry in Kafka Consumer

• افزودن RetryListener برای نظارت بر هر تلاش مجدد Add a RetryListener to monitor each Retry attempt

• تلاش مجدد برای Exceptionهای خاص با Custom RetryPolicy Retry SpecificExceptions using Custom RetryPolicy

• تلاش مجدد برای رکوردهای شکست‌خورده با ExponentialBackOff Retry failed Records with ExponentialBackOff

• بازیابی (Recovery) در Kafka Consumer Recovery in Kafka Consumer

• بازیابی: ارسال پیام به Retry Topic Recovery: Publish the message to the Retry Topic

• ساخت Listener برای RetryTopic جهت پردازش مجدد پیام Build the RetryTopic Listener to reprocess the Message

• بازسازی (Refactor) تست یکپارچگی LibraryEventsConsumer Refactor the LibraryEventsConsumer Integration test

• بازیابی: ارسال پیام به DeadLetter Topic Recovery: Publish the message to the DeadLetter Topic

• بازیابی: ذخیره پیام‌های شکست‌خورده در دیتابیس Recovery: Save the failed message to the DB

• بازیابی: استفاده از Spring Scheduler برای بازیابی پیام‌های شکست‌خورده Recovery: Spring Scheduler to recover the failed message

مدیریت خطا، تلاش مجدد و بازیابی در Kafka Producer Error Handling, Retry and Recovery - Kafka Producer

• مدیریت خطا در Kafka Producer Error Handling in Kafka Producer

• تلاش مجدد در Producer هنگام عدم دسترسی به Broker Retry in Kafka Producer - Broker Not Available

• تلاش مجدد در Producer در مورد Min.in.sync.replicas Retry in Kafka Producer - Min.in.sync.replicas

• نگهداری و بازیابی رکوردهای شکست‌خورده در Kafka Producer Retain/Recover Failed Records in Kafka Producer

امنیت کافکا با استفاده از SSL (عملی) Kafka Security using SSL : Hands-On

• چرا امنیت کافکا مهم است و SSL چگونه کار می‌کند؟ Why Kafka Security & How SSL works?

• نحوه مدیریت و افزودن گواهینامه‌های SSL در سازمان‌ها How Enterprises add/manage SSL Certificate?

• راه‌اندازی امنیت SSL کافکا به صورت محلی Set Up SSL Kafka Security in Local

دسترسی به کلاستر امن SSL کافکا با Spring Boot Accessing SSL Secured Kafka Cluster using Spring Boot

• پیکربندی Producer رویدادهای کتابخانه برای دسترسی به کلاستر امن SSL Configuring Library Events Producer to access SSL secured Cluster

• پیکربندی Consumer رویدادهای کتابخانه برای دسترسی به کلاستر امن SSL Configuring Library Events Consumer to access SSL secured Cluster