Apache Kafka Series - آموزش Apache Kafka for Beginners v3

سرفصل ها و درس ها

مقدمه کافکا Kafka Introduction

• معرفی دوره Course Introduction

• آپاچی کافکا در 5 دقیقه Apache Kafka in 5 minutes

• اهداف دوره Course Objectives

• خوش آمدی! - در مورد مربی شما Welcome! - About your instructor

دانلود کد Code Download

• دانلود کد Code Download

====== مبانی کافکا ====== ====== Kafka Fundamentals ======

• مبانی کافکا Kafka Fundamentals

نظریه کافکا Kafka Theory

• موضوعات، پارتیشن ها و افست ها Topics, Partitions and Offsets

• تولیدکنندگان و کلیدهای پیام Producers and Message Keys

• مصرف کنندگان و غیراصولی سازی Consumers & Deserialization

• گروه های مصرف کننده و افست های مصرف کننده Consumer Groups & Consumer Offsets

• کارگزاران و موضوعات Brokers and Topics

• تکرار موضوع Topic Replication

• قدردانی سازنده و ماندگاری موضوع Producer Acknowledgements & Topic Durability

• نگهبان باغ وحش Zookeeper

• Kafka KRaft - حذف Zookeeper Kafka KRaft - Removing Zookeeper

• خلاصه تئوری Theory Roundup

• آزمون تئوری Quiz on Theory

شروع کافکا Starting Kafka

• مهم: شروع کافکا و ترتیب سخنرانی ها Important: Starting Kafka & Lectures Order

• سوالات متداول برای مشکلات راه اندازی FAQ for Setup Problems

• شروع کافکا با Conduktor - Multi Platform Starting Kafka with Conduktor - Multi Platform

• Mac OS X - دانلود و راه اندازی Kafka در PATH Mac OS X - Download and Setup Kafka in PATH

• Mac OS X - Zookeeper و Kafka را شروع کنید Mac OS X - Start Zookeeper and Kafka

• Mac OS X - استفاده از دم Mac OS X - Using brew

• لینوکس - دانلود و راه اندازی Kafka در PATH Linux - Download and Setup Kafka in PATH

• لینوکس - Zookeeper و Kafka را راه اندازی کنید Linux - Start Zookeeper and Kafka

• Windows WSL2 - راه اندازی Kafka and PATH را دانلود کنید Windows WSL2 - Download Kafka and PATH Setup

• Windows WSL2 - Zookeeper & Kafka را شروع کنید Windows WSL2 - Start Zookeeper & Kafka

• Windows WSL2 - نحوه رفع مشکلات Windows WSL2 - How to Fix Problems

• Windows WSL2 - دستورالعمل های اضافی Windows WSL2 - Extra Instructions

• ویندوز غیر WSL2 - Zookeeper و Kafka را راه اندازی کنید Windows non-WSL2 - Start Zookeeper and Kafka

شروع کافکا بدون Zookeeper Starting Kafka without Zookeeper

• توجه: کافکا کرافت را امتحان کنید Note: try out Kafka KRaft

• Mac OS X - کافکا را در حالت KRaft راه اندازی کنید Mac OS X - Start Kafka in KRaft mode

• لینوکس - کافکا را در حالت KRaft راه اندازی کنید Linux - Start Kafka in KRaft mode

• Windows WSL2 - کافکا را در حالت KRaft راه اندازی کنید Windows WSL2 - Start Kafka in KRaft mode

CLI (واسط خط فرمان) 101 CLI (Command Line Interface) 101

• CLI مقدمه CLI Introduction

• WINDOWS اخطار: لطفاً بخوانید WINDOWS WARNING: PLEASE READ

• موضوعات کافکا CLI Kafka Topics CLI

• CLI سازنده کنسول کافکا Kafka Console Producer CLI

• CLI مصرف کننده کنسول کافکا Kafka Console Consumer CLI

• مصرف کنندگان کافکا در گروه Kafka Consumers in Group

• CLI گروه های مصرف کننده کافکا Kafka Consumer Groups CLI

• بازنشانی افست ها Resetting Offsets

• امتحان در CLI Quiz on CLI

Kafka UI - Conduktor Demo Kafka UI - Conduktor Demo

• Conductor - نسخه ی نمایشی Conduktor - Demo

برنامه نویسی کافکا جاوا 101 Kafka Java Programming 101

• لیست SDK کافکا Kafka SDK List

• ایجاد پروژه کافکا Creating Kafka Project

• تولید کننده جاوا Java Producer

• تماس های تولید کننده جاوا Java Producer Callbacks

• تولید کننده جاوا با کلید Java Producer with Keys

• مصرف کننده جاوا Java Consumer

• مصرف کننده جاوا - خاموش شدن برازنده Java Consumer - Graceful Shutdown

• مصرف کننده جاوا در داخل گروه مصرف کننده Java Consumer inside Consumer Group

• تعادل مجدد تعاونی افزایشی مصرف کننده جاوا و عضویت گروه ایستا Java Consumer Incremental Cooperative Rebalance & Static Group Membership

• تعادل مجدد تعاونی افزایشی مصرف کننده جاوا - تمرین Java Consumer Incremental Cooperative Rebalance - Practice

• رفتار متعهد آفست خودکار مصرف کننده جاوا Java Consumer Auto Offset Commit Behavior

• برنامه نویسی - آموزش های پیشرفته Programming - Advanced Tutorials

• آزمون برنامه نویسی جاوا 101 Quiz on Java Programming 101

===== پروژه دنیای واقعی کافکا ===== ===== Kafka Real World Project =====

• نمای کلی پروژه دنیای واقعی Real World Project Overview

• ورزش دنیای واقعی - راه حل Real World Exercise - Solution

سازنده ویکی‌مدیا کافکا و پیکربندی‌های سازنده پیشرفته Kafka Wikimedia Producer & Advanced Producer Configurations

• مهم: Local Kafka را با Conduktor با استفاده از Docker شروع کنید IMPORTANT: Start Local Kafka with Conduktor using Docker

• راه اندازی پروژه تولیدکننده ویکی مدیا Wikimedia Producer Project Setup

• پیاده سازی تولید کننده ویکی مدیا Wikimedia Producer Implementation

• اجرای تولیدکننده ویکی‌مدیا Wikimedia Producer Run

• Wikimedia Producer - Producer Config Intros Wikimedia Producer - Producer Config Intros

• قدردانی سازنده Deep Dive Producer Acknowledgements Deep Dive

• تولید کننده دوباره تلاش می کند Producer Retries

• تولید کننده بی توان Idempotent Producer

• تنظیمات ایمن تهیه کننده کافکا Safe Kafka Producer Settings

• اجرای ایمن تولیدکننده ویکی‌مدیا Wikimedia Producer Safe Producer Implementation

• فشرده سازی پیام کافکا Kafka Message Compression

• linger.ms و batch.size تنظیمات سازنده linger.ms and batch.size Producer settings

• ویکی‌مدیا تولیدکننده اجرای عملیاتی بالا Wikimedia Producer High Throughput Implementation

• پارتیشن‌کننده پیش‌فرض سازنده و پارتیشن‌کننده چسبنده Producer Default Partitioner & Sticky Partitioner

• [پیشرفته] max.block.ms و buffer.memory [Advanced] max.block.ms and buffer.memory

• آزمون تنظیمات سازنده Quiz on Producer Configurations

OpenSearch Consumer & Advanced Consumer Configurations OpenSearch Consumer & Advanced Consumer Configurations

• OpenSearch Consumer - بررسی اجمالی پروژه OpenSearch Consumer - Project Overview

• OpenSearch Consumer - راه اندازی پروژه OpenSearch Consumer - Project Setup

• راه اندازی OpenSearch در Docker Setting up OpenSearch on Docker

• راه اندازی OpenSearch در Cloud Setting up OpenSearch on the Cloud

• OpenSearch 101 OpenSearch 101

• اجرای OpenSearch Consumer - قسمت 1 OpenSearch Consumer Implementation - Part 1

• اجرای OpenSearch Consumer Part 2 OpenSearch Consumer Implementation Part 2

• معناشناسی تحویل مصرف کننده Consumer Delivery Semantics

• اجرای OpenSearch Consumer Part 3 - Idempotence OpenSearch Consumer Implementation Part 3 - Idempotence

• استراتژی های متعهد به جبران هزینه های مصرف کننده Consumer Offsets Commit Strategies

• اجرای OpenSearch Consumer Part 4 - Delivery Semantics OpenSearch Consumer Implementation Part 4 - Delivery Semantics

• اجرای OpenSearch Consumer Part 5 - دسته بندی داده ها OpenSearch Consumer Implementation Part 5 - Batching Data

• رفتار بازنشانی آفست مصرف کننده Consumer Offset Reset Behavior

• اجرای OpenSearch Consumer Part 6 - پخش مجدد داده ها OpenSearch Consumer Implementation Part 6 - Replaying Data

• موضوعات داخلی مصرف کننده Consumer Internal Threads

• Consumer Replica Fetching - Rack Awareness Consumer Replica Fetching - Rack Awareness

• امتحان در مورد تنظیمات مصرف کننده Quiz on Consumer Configurations

API های توسعه یافته کافکا برای توسعه دهندگان Kafka Extended APIs for Developers

• API های توسعه یافته کافکا - بررسی اجمالی Kafka Extended APIs - Overview

• کافکا کانکت مقدمه Kafka Connect Introduction

• Kafka Connect Hands On: هشدار Kafka Connect Hands On: Warning

• Kafka Connect Wikimedia & ElasticSearch فعال است Kafka Connect Wikimedia & ElasticSearch Hands On

• معرفی جریان های کافکا Kafka Streams Introduction

• کافکا به صورت دستی جریان می‌دهد Kafka Streams Hands-On

• معرفی رجیستری طرحواره کافکا Kafka Schema Registry Introduction

• رجیستری طرحواره کافکا فعال است Kafka Schema Registry Hands On

• از کدام API کافکا استفاده کنم؟ Which Kafka API should I use?

• آزمون API های توسعه یافته کافکا Quiz on Kafka Extended APIs

بینش دنیای واقعی و مطالعات موردی (داده های بزرگ/داده های سریع) Real World Insights and Case Studies (Big Data / Fast Data)

• انتخاب تعداد پارتیشن و فاکتور تکرار Choosing Partition Count & Replication Factor

• کنوانسیون نامگذاری موضوعات کافکا Kafka Topics Naming Convention

• مطالعه موردی - MovieFlix Case Study - MovieFlix

• مطالعه موردی - GetTaxi Case Study - GetTaxi

• مطالعه موردی - MySocial Media Case Study - MySocialMedia

• مطالعه موردی - MyBank Case Study - MyBank

• مطالعه موردی - مصرف کلان داده Case Study - Big Data Ingestion

• مطالعه موردی - ورود به سیستم و متریک تجمع Case Study - Logging and Metrics Aggregation

کافکا در سازمانی برای مدیران Kafka in the Enterprise for Admins

• نمای کلی معماری سطح بالا راه اندازی خوشه کافکا Kafka Cluster Setup High Level Architecture Overview

• نظارت و عملیات کافکا Kafka Monitoring & Operations

• امنیت کافکا Kafka Security

• کافکا چند خوشه و آینه ساز Kafka Multi Cluster & MirrorMaker

• شنوندگان تبلیغ شده: پروتکل ارتباطی مشتری و سرور کافکا Advertised Listeners: Kafka Client & Server Communication Protocol

===== کافکای پیشرفته ===== ===== Advanced Kafka =====

• کافکای پیشرفته Advanced Kafka

تنظیمات موضوعات پیشرفته Advanced Topics Configurations

• تغییر پیکربندی موضوع Changing a Topic Configuration

• بخش و شاخص Segment and Indexes

• سیاست های پاکسازی گزارش Log Cleanup Policies

• پاکسازی گزارش حذف Log Cleanup Delete

• تئوری تراکم لاگ Log Compaction Theory

• تمرین تراکم چوب Log Compaction Practice

• انتخابات ناپاک رهبر Unclean Leader Election

• پیام های بزرگ در کافکا Large Messages in Kafka

===== مراحل بعدی ===== ===== Next Steps =====

• بعد چه می شود؟ What's Next?

• متشکرم! THANK YOU!

• سخنرانی پاداش Bonus Lecture