آموزش راهنمای جامع آپاچی کافکا (Apache Kafka) برای مبتدیان - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• آپاچی کافکا در پنج دقیقه Apache Kafka in five minutes

• معرفی دوره کافکا Kafka course introduction

• اهداف دوره Course objectives

1. تئوری کافکا 1. Kafka Theory

• مصرف‌کنندگان و دسریال‌سازی Consumers and deserialization

• زوکِیپر (ZooKeeper) ZooKeeper

• تاپیک‌ها، پارتیشن‌ها و آفست‌ها Topics, partitions, and offsets

• تاییدیه تولیدکننده و ماندگاری تاپیک Producer acknowledgments and topic durability

• مرور کلی تئوری Theory roundup

• بروکره‌ها و تاپیک‌ها Brokers and topics

• تکثیر تاپیک (Replication) Topic replication

• کافکا KRaft: حذف زوکیپر Kafka KRaft: Removing ZooKeeper

• تولیدکنندگان و کلیدهای پیام Producers and message keys

• گروه‌های مصرف‌کننده و آفست‌های مصرف‌کننده Consumer groups and consumer offsets

2. شروع کار با کافکا 2. Starting Kafka

• سیستم مک: استفاده از brew macOS X: Using brew

• لینوکس: اجرای کافکا در حالت KRaft Linux: Start Kafka in KRaft mode

• اجرای کافکا با Conduktor: چند پلتفرمی Starting Kafka with Conduktor: Multi-platform

• مهم: ترتیب اجرای کافکا و جلسات Important: Starting Kafka and lectures order

• سیستم مک: اجرای کافکا در حالت KRaft macOS X: Start Kafka in KRaft mode

• ویندوز WSL2: نحوه رفع مشکلات Windows WSL2: How to fix problems

• ویندوز WSL2: اجرای کافکا در حالت KRaft Windows WSL2: Start Kafka in KRaft mode

• لینوکس: دانلود و تنظیم کافکا در PATH Linux: Download and set up Kafka in PATH

• ویندوز WSL2: راه‌اندازی WSL2 Windows WSL2: WSL2 Setup

• سیستم مک: دانلود و تنظیم کافکا در PATH macOS X: Download and set up Kafka in PATH

• ویندوز WSL2: دانلود کافکا و تنظیم PATH Windows WSL2: Download Kafka and PATH setup

3. آشنایی با CLI (رابط خط فرمان) 3. CLI (Command-Line Interface) 101

• رابط خط فرمان تولیدکننده کنسول کافکا Kafka console producer CLI

• بازنشانی آفست‌ها Resetting offsets

• رابط خط فرمان مصرف‌کننده کنسول کافکا Kafka console consumer CLI

• رابط خط فرمان گروه‌های مصرف‌کننده Kafka consumer groups CLI

• رابط خط فرمان تاپیک‌های کافکا Kafka topics CLI

• مصرف‌کنندگان کافکا در گروه‌ها Kafka consumers in groups

• معرفی CLI CLI introduction

4. رابط کاربری کافکا (Kafka UI) 4. Kafka UI

• دموی Conduktor Conduktor: Demo

5. برنامه‌نویسی جاوا در کافکا 5. Kafka Java Programming 101

• تمرین بازتعادل همکاری incrementally در مصرف‌کننده جاوا Java consumer incremental cooperative rebalance: Practice

• مصرف‌کننده جاوا: خاموش کردن ایمن (Graceful shutdown) Java consumer: Graceful shutdown

• مصرف‌کننده جاوا Java consumer

• لیست SDKهای کافکا Kafka SDK list

• بازتعادل همکاری incrementally و عضویت گروه استاتیک در جاوا Java consumer incremental cooperative rebalance and static group membership

• کال‌بک‌های تولیدکننده جاوا Java producer callbacks

• تولیدکننده جاوا Java producer

• تولیدکننده جاوا با استفاده از کلیدها Java producer with keys

• برنامه‌نویسی: آموزش‌های پیشرفته Programming: Advanced tutorials

• رفتار ثبت خودکار آفست در مصرف‌کننده جاوا Java consumer auto offset commit behavior

• مصرف‌کننده جاوا در داخل گروه مصرف‌کننده Java consumer inside consumer group

• ایجاد یک پروژه کافکا Creating a Kafka project

6. پروژه واقعی با کافکا 6. Kafka Real-World Project

• مرور کلی پروژه دنیای واقعی Real-world project overview

7. تولیدکننده ویکی‌پدیا و تنظیمات پیشرفته Producer 7. Kafka Wikimedia Producer and Advanced Producer Configurations

• [پیشرفته] بررسی max.block.ms و buffer.memory [Advanced] max.block.ms and buffer.memory

• پیاده‌سازی تولیدکننده ویکی‌پدیا با توان عملیاتی بالا Wikimedia producer high-throughput implementation

• تنظیمات linger.ms و batch.size در تولیدکننده linger.ms and batch.size producer settings

• تلاش‌های مجدد (Retries) تولیدکننده Producer retries

• پیاده‌سازی تولیدکننده ویکی‌پدیا Wikimedia producer implementation

• پارتیشنر پیش‌فرض و پارتیشنر چسبنده (Sticky) Producer default partitioner and sticky partitioner

• تنظیمات ایمن تولیدکننده کافکا Safe Kafka producer settings

• اجرای تولیدکننده ویکی‌پدیا Wikimedia producer run

• تولیدکننده ویکی‌پدیا: معرفی تنظیمات Producer Wikimedia producer: Producer config intros

• پیاده‌سازی ایمن تولیدکننده ویکی‌پدیا Wikimedia producer safe producer implementation

• بررسی عمیق تاییدیه تولیدکننده (Acknowledgments) Producer acknowledgments deep dive

• راه‌اندازی پروژه تولیدکننده ویکی‌پدیا Wikimedia producer project setup

• تولیدکننده Idempotent (تکرارناپذیر) Idempotent producer

• فشرده‌سازی پیام‌های کافکا Kafka message compression

8. مصرف‌کننده OpenSearch و تنظیمات پیشرفته Consumer 8. OpenSearch Consumer and Advanced Consumer Configurations

• رشته‌های داخلی مصرف‌کننده Consumer internal threads

• استراتژی‌های ثبت آفست مصرف‌کننده Consumer offsets commit strategies

• راه‌اندازی OpenSearch در فضای ابری Setting up OpenSearch on the Cloud

• مصرف‌کننده OpenSearch: مرور کلی پروژه OpenSearch consumer: Project overview

• آشنایی با OpenSearch OpenSearch 101

• معانی تحویل مصرف‌کننده (Delivery Semantics) Consumer delivery semantics

• پیاده‌سازی مصرف‌کننده OpenSearch: بخش ۳ تکرارناپذیری OpenSearch consumer implementation: Part 3 idempotence

• راه‌اندازی OpenSearch روی داکر Setting up OpenSearch on Docker

• پیاده‌سازی مصرف‌کننده OpenSearch: بخش ۵ دسته‌بندی داده‌ها OpenSearch consumer implementation: Part 5 batching data

• مصرف‌کننده OpenSearch: راه‌اندازی پروژه OpenSearch consumer: Project setup

• دریافت کپی مصرف‌کننده: آگاهی از رک (Rack awareness) Consumer replica fetching: Rack awareness

• پیاده‌سازی مصرف‌کننده OpenSearch: بخش ۱ OpenSearch consumer implementation: Part 1

• رفتار بازنشانی آفست مصرف‌کننده Consumer offset reset behavior

• پیاده‌سازی مصرف‌کننده OpenSearch: بخش ۴ معانی تحویل OpenSearch consumer implementation: Part 4 delivery semantics

• پیاده‌سازی مصرف‌کننده OpenSearch: بخش ۶ بازپخش داده‌ها OpenSearch consumer implementation: Part 6 replaying data

• پیاده‌سازی مصرف‌کننده OpenSearch: بخش ۲ OpenSearch consumer implementation: Part 2

9. APIهای گسترش یافته کافکا برای توسعه‌دهندگان 9. Kafka Extended APIs for Developers

• کار عملی با Kafka Schema Registry Kafka Schema Registry hands-on

• معرفی Kafka Connect Kafka Connect introduction

• از کدام API کافکا باید استفاده کنید؟ Which Kafka API should you use?

• معرفی Kafka Streams Kafka Streams introduction

• کار عملی با Kafka Streams Kafka Streams hands-on

• معرفی Kafka Schema Registry Kafka Schema Registry introduction

• APIهای گسترش یافته کافکا: مرور کلی Kafka extended APIs: Overview

• کار عملی با Kafka Connect برای ویکی‌پدیا و Elasticsearch Kafka Connect Wikimedia and Elasticsearch hands-on

10. تحلیل‌های دنیای واقعی و مطالعات موردی: داده‌های حجیم و سریع 10. Real-World Insights and Case Studies: Big Data and Fast Data

• مطالعه موردی: جذب داده‌های حجیم (Big Data Ingestion) Case study: Big data ingestion

• مطالعه موردی: GetTaxi Case study: GetTaxi

• انتخاب تعداد پارتیشن و فاکتور تکثیر (Replication Factor) Choosing partition count and replication factor

• مطالعه موردی: MovieFlix Case study: MovieFlix

• مطالعه موردی: تجمیع لاگ‌ها و متریک‌ها Case study: Logging and metrics aggregation

• مطالعه موردی: MySocialMedia Case study: MySocialMedia

• مطالعه موردی: MyBank Case study: MyBank

• قواعد نام‌گذاری تاپیک‌های کافکا Kafka topics naming convention

11. کافکا در سازمان برای مدیران سیستم 11. Kafka in the Enterprise for Admins

• مانیتورینگ و عملیات کافکا Kafka monitoring and operations

• گوش‌دهنده‌های تبلیغ شده: پروتکل ارتباطی کلاینت و سرور Advertised listeners: Kafka client and server communication protocol

• مرور کلی معماری سطح بالای راه‌اندازی کلاستر کافکا Kafka cluster setup high-level architecture overview

• چند کلاستری در کافکا و MirrorMaker Kafka multi-cluster and MirrorMaker

• امنیت در کافکا Kafka security

12. تنظیمات موضوعات پیشرفته 12. Advanced Topics Configurations

• پیام‌های حجیم در کافکا Large messages in Kafka

• سگمنت‌ها و ایندکس‌ها Segment and indexes

• انتخاب لیدر ناپاک (Unclean Leader Election) Unclean leader election

• سیاست‌های پاک‌سازی لاگ Log cleanup policies

• تمرین فشرده‌سازی لاگ (Log Compaction) Log compaction practice

• تغییر تنظیمات یک تاپیک Changing a topic configuration

• حذف در پاک‌سازی لاگ Log cleanup delete

• تئوری فشرده‌سازی لاگ Log compaction theory

جمع‌بندی Conclusion

• گام بعدی چیست؟ What's next?