سری آموزشی آپاچی کافکا - آموزش جامع Apache Kafka برای مبتدیان (نسخه 3) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه‌ای بر کافکا Kafka Introduction

• معرفی دوره Course Introduction

• آپاچی کافکا در پنج دقیقه Apache Kafka in Five Minutes

• اهداف دوره Course Objectives

تئوری کافکا Kafka Theory

• تاپیک‌ها، پارتیشن‌ها و آفست‌ها Topics, Partitions, and Offsets

• تولیدکنندگان (Producers) و کلیدهای پیام Producers and Message Keys

• مصرف‌کنندگان (Consumers) و بازسازی داده‌ها (Deserialization) Consumers and Deserialization

• گروه‌های مصرف‌کننده و آفست‌های Consumer Consumer Groups and Consumer Offsets

• بروکرهای کافکا و تاپیک‌ها Brokers and Topics

• تکثیر تاپیک‌ها (Replication) Topic Replication

• تاییدیه تولیدکننده و دوام تاپیک Producer Acknowledgments and Topic Durability

• زوکپر (Zookeeper) Zookeeper

• حالت KRaft در کافکا: حذف زوکپر Kafka KRaft - Removing Zookeeper

• جمع‌بندی مباحث تئوری Theory Roundup

راه‌اندازی کافکا Starting Kafka

• مهم: شروع به کار با کافکا Important: Starting Kafka

• راه‌اندازی کافکا با Conduktor (چند پلتفرمی) Starting Kafka with Conduktor - Multi-Platform

• در مک: دانلود کافکا و تنظیم PATH Mac OS X - Download Kafka and Set Up PATH

• در مک: اجرای زوکپر و کافکا Mac OS X - Start Zookeeper and Kafka

• در مک: استفاده از Brew Mac OS X - Using Brew

• در لینوکس: دانلود و تنظیم کافکا در PATH Linux - Download and Set Up Kafka in PATH

• در لینوکس: اجرای زوکپر و کافکا Linux - Start Zookeeper and Kafka

• در ویندوز WSL2: دانلود کافکا و تنظیم PATH Windows WSL2 - Download Kafka and PATH Setup

• در ویندوز WSL2: اجرای زوکپر و کافکا Windows WSL2 - Start Zookeeper and Kafka

• در ویندوز WSL2: نحوه رفع مشکلات Windows WSL2 - How to Fix Problems

• در ویندوز (غیر WSL2): اجرای زوکپر و کافکا Windows Non-WSL2 - Start Zookeeper and Kafka

راه‌اندازی کافکا بدون Zookeeper Starting Kafka without Zookeeper

• در مک: اجرای کافکا در حالت KRaft Mac OS X - Start Kafka in KRaft Mode

• در لینوکس: اجرای کافکا در حالت KRaft Linux - Start Kafka in KRaft Mode

• در ویندوز WSL2: اجرای کافکا در حالت KRaft Windows WSL2 - Start Kafka in KRaft Mode

مبانی رابط خط فرمان (CLI) Command Line Interface (CLI) 101

• مقدمه‌ای بر رابط خط فرمان (CLI) Command Line Interface (CLI) Introduction

• دستورات CLI برای تاپیک‌های کافکا Kafka Topics Command Line Interface (CLI)

• دستورات CLI برای تولیدکننده کنسولی (Console Producer) Kafka Console Producer Command Line Interface (CLI)

• دستورات CLI برای مصرف‌کننده کنسولی (Console Consumer) Kafka Console Consumer Command Line Interface (CLI)

• مصرف‌کنندگان کافکا در یک گروه Kafka Consumers in a Group

• دستورات CLI برای گروه‌های مصرف‌کننده Kafka Consumer Groups Command Line Interface (CLI)

• بازنشانی آفست‌ها (Resetting Offsets) Resetting Offsets

رابط کاربری کافکا (Kafka UI) Kafka UI

• دموی نرم‌افزار Conduktor Conduktor - Demo

مبانی برنامه‌نویسی جاوا در کافکا Kafka Java Programming 101

• لیست SDKهای کافکا Kafka SDK List

• ایجاد پروژه کافکا Creating Kafka Project

• تولیدکننده جاوا (Java Producer) Java Producer

• توابع Callback در Producer جاوا Java Producer Callback

• تولیدکننده جاوا با استفاده از کلیدها Java Producer with Keys

• مصرف‌کننده جاوا (Java Consumer) Java Consumer

• توقف ایمن (Graceful Shutdown) در مصرف‌کننده جاوا Java Consumer - Graceful Shutdown

• مصرف‌کننده جاوا در یک گروه Consumer Java Consumer Inside a Consumer Group

• بالانس مجدد تعاونی افزایشی و عضویت استاتیک در گروه Java Consumer Incremental Cooperative Rebalance and Static Group Membership

• تمرین بالانس مجدد تعاونی افزایشی در Java Consumer Java Consumer Incremental Cooperative Rebalance - Practice

• رفتار Commit خودکار آفست در مصرف‌کننده جاوا Java Consumer Auto Offset Commit Behavior

• برنامه‌نویسی: آموزش‌های پیشرفته Programming - Advanced Tutorials

پروژه واقعی کافکا Kafka Real-World Project

• مرور کلی پروژه دنیای واقعی Real-World Project Overview

تولیدکننده Wikimedia و تنظیمات پیشرفته Kafka Wikimedia Producer and Advanced Configurations

• مهم: اجرای کافکای محلی با Conduktor و Docker IMPORTANT: Start Local Kafka with Conduktor Using Docker

• راه‌اندازی پروژه تولیدکننده Wikimedia Wikimedia Producer Project Setup

• پیاده‌سازی تولیدکننده Wikimedia Wikimedia Producer Implementation

• اجرای تولیدکننده Wikimedia Wikimedia Producer Run

• معرفی تنظیمات Producer در پروژه Wikimedia Wikimedia Producer - Producer Config Intros

• بررسی عمیق تاییدیه تولیدکننده (Acknowledgements) Producer Acknowledgements Deep Dive

• تلاش‌های مجدد تولیدکننده (Retries) Producer Retries

• تولیدکننده Idempotent (جلوگیری از تکرار) Idempotent Producer

• تنظیمات ایمن برای Kafka Producer Safe Kafka Producer Settings

• پیاده‌سازی Producer ایمن در پروژه Wikimedia Wikimedia Producer Safe Producer Implementation

• فشرده‌سازی پیام‌ها در کافکا Kafka Message Compression

• تنظیمات linger.ms و batch.size در Producer linger.ms and batch.size Producer Settings

• پیاده‌سازی نرخ انتقال بالا (High Throughput) در Wikimedia Wikimedia Producer High Throughput Implementation

• پارتیشن‌کننده پیش‌فرض و Sticky Partitioner Producer Default Partitioner and Sticky Partitioner

• [پیشرفته] بررسی max.block.ms و buffer.memory [Advanced] max.block.ms and buffer.memory

مصرف‌کننده OpenSearch و تنظیمات پیشرفته Consumer OpenSearch Consumer and Advanced Consumer Configurations

• مرور کلی پروژه مصرف‌کننده OpenSearch OpenSearch Consumer - Project Overview

• راه‌اندازی پروژه مصرف‌کننده OpenSearch OpenSearch Consumer - Project Setup

• نصب OpenSearch روی داکر Setting Up OpenSearch on Docker

• نصب OpenSearch در فضای ابری Setting Up OpenSearch on the Cloud

• مبانی OpenSearch OpenSearch 101

• پیاده‌سازی مصرف‌کننده OpenSearch - بخش اول OpenSearch Consumer Implementation - Part 1

• پیاده‌سازی مصرف‌کننده OpenSearch - بخش دوم OpenSearch Consumer Implementation - Part 2

• معناشناسی تحویل پیام در Consumer (Delivery Semantics) Consumer Delivery Semantics

• پیاده‌سازی OpenSearch - بخش سوم: Idempotence OpenSearch Consumer Implementation Part 3 - Idempotence

• استراتژی‌های Commit آفست در مصرف‌کننده Consumer Offsets Commit Strategies

• پیاده‌سازی OpenSearch - بخش چهارم: Delivery Semantics OpenSearch Consumer Implementation Part 4 - Delivery Semantics

• پیاده‌سازی OpenSearch - بخش پنجم: دسته‌بندی داده‌ها (Batching) OpenSearch Consumer Implementation Part 5 - Batching Data

• رفتار بازنشانی آفست در Consumer Consumer Offset Reset Behavior

• پیاده‌سازی OpenSearch - بخش ششم: بازپخش داده‌ها (Replaying) OpenSearch Consumer Implementation Part 6 - Replaying Data

• رشته‌های داخلی (Internal Threads) در Consumer Consumer Internal Threads

• دریافت رپلیکا در Consumer و آگاهی از رک (Rack Awareness) Consumer Replica Fetching - Rack Awareness

APIهای گسترده کافکا برای توسعه‌دهندگان Kafka Extended APIs for Developers

• مرور کلی APIهای گسترده کافکا Kafka Extended APIs - Overview

• مقدمه‌ای بر Kafka Connect Kafka Connect Introduction

• کار عملی با Kafka Connect، Wikimedia و ElasticSearch Kafka Connect Wikimedia and ElasticSearch Hands-On

• مقدمه‌ای بر Kafka Streams Kafka Streams Introduction

• کار عملی با Kafka Streams Kafka Streams Hands-On

• مقدمه‌ای بر Kafka Schema Registry Kafka Schema Registry Introduction

• کار عملی با Kafka Schema Registry Kafka Schema Registry Hands-On

• از کدام API کافکا باید استفاده کنم؟ Which Kafka API Should I Use?

بینش‌های واقعی و مطالعات موردی (داده‌های حجیم / داده‌های سریع) Real-World Insights and Case Studies (Big Data / Fast Data)

• انتخاب تعداد پارتیشن و فاکتور تکثیر (Replication Factor) Choosing Partition Count and Replication Factor

• قراردادهای نام‌گذاری تاپیک‌های کافکا Kafka Topics Naming Convention

• مطالعه موردی: MovieFlix Case Study - MovieFlix

• مطالعه موردی: GetTaxi Case Study - GetTaxi

• مطالعه موردی: MySocialMedia Case Study - MySocialMedia

• مطالعه موردی: MyBank Case Study - MyBank

• مطالعه موردی: جذب داده‌های حجیم (Big Data Ingestion) Case Study - Big Data Ingestion

• مطالعه موردی: ثبت لاگ‌ها و تجمیع متریک‌ها Case Study - Logging and Metrics Aggregation

کافکا در محیط سازمانی برای مدیران سیستم Kafka in the Enterprise for Admins

• معماری سطح بالای راه‌اندازی کلاستر کافکا Kafka Cluster Setup High-Level Architecture Overview

• مانیتورینگ و عملیات کافکا Kafka Monitoring and Operations

• امنیت در کافکا Kafka Security

• چند-کلاستری و MirrorMaker در کافکا Kafka Multi-Cluster and MirrorMaker

• Advertised Listeners: پروتکل ارتباطی کلاینت و سرور Advertised Listeners: Kafka Client and Server Communication Protocol

تنظیمات موضوعات پیشرفته Advanced Topics Configurations

• تغییر تنظیمات یک تاپیک Changing a Topic Configuration

• سگمنت‌ها و ایندکس‌ها Segment and Indexes

• سیاست‌های پاکسازی لاگ (Cleanup Policies) Log Cleanup Policies

• پاکسازی لاگ با متد Delete Log Cleanup Delete

• تئوری فشرده‌سازی لاگ (Log Compaction) Log Compaction Theory

• تمرین فشرده‌سازی لاگ Log Compaction Practice

• انتخاب لیدر ناپاک (Unclean Leader Election) Unclean Leader Election

• مدیریت پیام‌های حجیم در کافکا Large Messages in Kafka

گام‌های بعدی Next Steps

• گام‌های بعدی چیست؟ What's Next?