آموزش Apache Kafka Series - Learn Apache Kafka for Beginners v3 [ویدئو]

سرفصل ها و درس ها

مقدمه کافکا Kafka Introduction

• معرفی دوره Course Introduction

• آپاچی کافکا در پنج دقیقه Apache Kafka in Five Minutes

• اهداف دوره Course Objectives

نظریه کافکا Kafka Theory

• موضوعات، پارتیشن ها و افست ها Topics, Partitions, and Offsets

• تولیدکنندگان و کلیدهای پیام Producers and Message Keys

• مصرف کنندگان و غیراصولی سازی Consumers and Deserialization

• گروه های مصرف کننده و افست های مصرف کننده Consumer Groups and Consumer Offsets

• کارگزاران و موضوعات Brokers and Topics

• تکرار موضوع Topic Replication

• قدردانی از تولید کننده و ماندگاری موضوع Producer Acknowledgments and Topic Durability

• نگهبان باغ وحش Zookeeper

• کافکا کرافت - حذف نگهبان باغ وحش Kafka KRaft – Removing Zookeeper

• خلاصه تئوری Theory Roundup

شروع کافکا Starting Kafka

• مهم: شروع کافکا Important: Starting Kafka

• شروع کافکا با Conductor – Multi-Platform Starting Kafka with Conduktor – Multi-Platform

• Mac OS X - کافکا را دانلود کنید و راه را راه اندازی کنید Mac OS X - Download Kafka and Set Up PATH

• Mac OS X - Zookeeper و Kafka را شروع کنید Mac OS X - Start Zookeeper and Kafka

• Mac OS X - با استفاده از Brew Mac OS X - Using Brew

• لینوکس - کافکا را در PATH بارگیری و راه اندازی کنید Linux - Download and Set Up Kafka in PATH

• لینوکس - Zookeeper و Kafka را راه اندازی کنید Linux - Start Zookeeper and Kafka

• Windows WSL2 - راه اندازی Kafka and PATH را دانلود کنید Windows WSL2 - Download Kafka and PATH Setup

• Windows WSL2 - Zookeeper و Kafka را راه اندازی کنید Windows WSL2 - Start Zookeeper and Kafka

• Windows WSL2 - نحوه رفع مشکلات Windows WSL2 - How to Fix Problems

• Windows Non-WSL2 - Zookeeper و Kafka را راه اندازی کنید Windows Non-WSL2 - Start Zookeeper and Kafka

شروع کافکا بدون Zookeeper Starting Kafka without Zookeeper

• Mac OS X - کافکا را در حالت KRaft راه اندازی کنید Mac OS X - Start Kafka in KRaft Mode

• لینوکس - کافکا را در حالت KRaft راه اندازی کنید Linux - Start Kafka in KRaft Mode

• Windows WSL2 - کافکا را در حالت KRaft راه اندازی کنید Windows WSL2 - Start Kafka in KRaft Mode

رابط خط فرمان (CLI) 101 Command Line Interface (CLI) 101

• رابط خط فرمان (CLI) مقدمه Command Line Interface (CLI) Introduction

• رابط خط فرمان موضوعات کافکا (CLI) Kafka Topics Command Line Interface (CLI)

• رابط خط فرمان سازنده کنسول کافکا (CLI) Kafka Console Producer Command Line Interface (CLI)

• رابط خط فرمان مصرف کننده کنسول کافکا (CLI) Kafka Console Consumer Command Line Interface (CLI)

• مصرف کنندگان کافکا در یک گروه Kafka Consumers in a Group

• رابط خط فرمان گروه های مصرف کننده کافکا (CLI) Kafka Consumer Groups Command Line Interface (CLI)

• بازنشانی افست ها Resetting Offsets

رابط کاربری کافکا Kafka UI

• Conductor - نسخه ی نمایشی Conduktor - Demo

برنامه نویسی کافکا جاوا 101 Kafka Java Programming 101

• لیست SDK کافکا Kafka SDK List

• ایجاد پروژه کافکا Creating Kafka Project

• تولید کننده جاوا Java Producer

• پاسخ به تماس سازنده جاوا Java Producer Callback

• تولید کننده جاوا با کلید Java Producer with Keys

• مصرف کننده جاوا Java Consumer

• مصرف کننده جاوا - خاموش شدن برازنده Java Consumer – Graceful Shutdown

• مصرف کننده جاوا در یک گروه مصرف کننده Java Consumer Inside a Consumer Group

• تعادل مجدد تعاونی افزایشی مصرف کننده جاوا و عضویت گروه ایستا Java Consumer Incremental Cooperative Rebalance and Static Group Membership

• تعادل مجدد تعاونی افزایشی مصرف کننده جاوا - تمرین Java Consumer Incremental Cooperative Rebalance - Practice

• رفتار متعهد آفست خودکار مصرف کننده جاوا Java Consumer Auto Offset Commit Behavior

• برنامه نویسی - آموزش های پیشرفته Programming - Advanced Tutorials

پروژه دنیای واقعی کافکا Kafka Real-World Project

• نمای کلی پروژه در دنیای واقعی Real-World Project Overview

سازنده ویکی‌مدیا کافکا و تنظیمات پیشرفته Kafka Wikimedia Producer and Advanced Configurations

• مهم: Local Kafka را با Conduktor با استفاده از Docker شروع کنید IMPORTANT: Start Local Kafka with Conduktor Using Docker

• راه اندازی پروژه تولیدکننده ویکی مدیا Wikimedia Producer Project Setup

• پیاده سازی تولید کننده ویکی مدیا Wikimedia Producer Implementation

• اجرای تولیدکننده ویکی‌مدیا Wikimedia Producer Run

• Wikimedia Producer - Producer Config Intros Wikimedia Producer - Producer Config Intros

• قدردانی سازنده Deep Dive Producer Acknowledgements Deep Dive

• تولید کننده دوباره تلاش می کند Producer Retries

• تولید کننده بی توان Idempotent Producer

• تنظیمات ایمن تهیه کننده کافکا Safe Kafka Producer Settings

• اجرای ایمن تولیدکننده ویکی‌مدیا Wikimedia Producer Safe Producer Implementation

• فشرده سازی پیام کافکا Kafka Message Compression

• linger.ms و batch.size تنظیمات سازنده linger.ms and batch.size Producer Settings

• ویکی‌مدیا تولیدکننده اجرای عملیاتی بالا Wikimedia Producer High Throughput Implementation

• پارتیشن‌کننده پیش‌فرض سازنده و پارتیشن‌کننده چسبنده Producer Default Partitioner and Sticky Partitioner

• [پیشرفته] max.block.ms و buffer.memory [Advanced] max.block.ms and buffer.memory

OpenSearch Consumer و تنظیمات مصرف کننده پیشرفته OpenSearch Consumer and Advanced Consumer Configurations

• OpenSearch Consumer - بررسی اجمالی پروژه OpenSearch Consumer - Project Overview

• OpenSearch Consumer - راه اندازی پروژه OpenSearch Consumer - Project Setup

• راه اندازی OpenSearch در Docker Setting Up OpenSearch on Docker

• راه اندازی OpenSearch در Cloud Setting Up OpenSearch on the Cloud

• OpenSearch 101 OpenSearch 101

• اجرای OpenSearch Consumer - قسمت 1 OpenSearch Consumer Implementation - Part 1

• اجرای OpenSearch Consumer - قسمت 2 OpenSearch Consumer Implementation - Part 2

• معناشناسی تحویل مصرف کننده Consumer Delivery Semantics

• اجرای OpenSearch Consumer Part 3 - Idempotence OpenSearch Consumer Implementation Part 3 - Idempotence

• استراتژی های متعهد به جبران هزینه های مصرف کننده Consumer Offsets Commit Strategies

• اجرای OpenSearch Consumer Part 4 - Delivery Semantics OpenSearch Consumer Implementation Part 4 - Delivery Semantics

• اجرای OpenSearch Consumer Part 5 - دسته بندی داده ها OpenSearch Consumer Implementation Part 5 - Batching Data

• رفتار بازنشانی آفست مصرف کننده Consumer Offset Reset Behavior

• اجرای OpenSearch Consumer Part 6 - پخش مجدد داده ها OpenSearch Consumer Implementation Part 6 - Replaying Data

• موضوعات داخلی مصرف کننده Consumer Internal Threads

• Consumer Replica Fetching - Rack Awareness Consumer Replica Fetching - Rack Awareness

API های توسعه یافته کافکا برای توسعه دهندگان Kafka Extended APIs for Developers

• API های توسعه یافته کافکا - بررسی اجمالی Kafka Extended APIs - Overview

• کافکا کانکت مقدمه Kafka Connect Introduction

• Kafka Wikimedia و ElasticSearch Hands-On Kafka Connect Wikimedia and ElasticSearch Hands-On

• معرفی جریان های کافکا Kafka Streams Introduction

• کافکا به صورت دستی جریان می‌دهد Kafka Streams Hands-On

• معرفی رجیستری طرحواره کافکا Kafka Schema Registry Introduction

• طرحواره کافکا رجیستری دستی Kafka Schema Registry Hands-On

• کدام API کافکا را باید استفاده کنم؟ Which Kafka API Should I Use?

بینش های دنیای واقعی و مطالعات موردی (داده های بزرگ/داده های سریع) Real-World Insights and Case Studies (Big Data / Fast Data)

• انتخاب تعداد پارتیشن و ضریب تکرار Choosing Partition Count and Replication Factor

• کنوانسیون نامگذاری موضوعات کافکا Kafka Topics Naming Convention

• مطالعه موردی – MovieFlix Case Study – MovieFlix

• مطالعه موردی - GetTaxi Case Study – GetTaxi

• مطالعه موردی – MySocial Media Case Study – MySocialMedia

• مطالعه موردی – MyBank Case Study – MyBank

• مطالعه موردی - مصرف کلان داده Case Study - Big Data Ingestion

• مطالعه موردی - ورود به سیستم و متریک تجمع Case Study - Logging and Metrics Aggregation

کافکا در سازمانی برای مدیران Kafka in the Enterprise for Admins

• نمای کلی معماری سطح بالا راه اندازی خوشه کافکا Kafka Cluster Setup High-Level Architecture Overview

• نظارت و عملیات کافکا Kafka Monitoring and Operations

• امنیت کافکا Kafka Security

• کافکا چند خوشه و آینه ساز Kafka Multi-Cluster and MirrorMaker

• شنوندگان تبلیغ شده: پروتکل ارتباطی مشتری و سرور کافکا Advertised Listeners: Kafka Client and Server Communication Protocol

تنظیمات موضوعات پیشرفته Advanced Topics Configurations

• تغییر پیکربندی موضوع Changing a Topic Configuration

• بخش و شاخص Segment and Indexes

• سیاست های پاکسازی گزارش Log Cleanup Policies

• پاکسازی گزارش حذف Log Cleanup Delete

• تئوری تراکم لاگ Log Compaction Theory

• تمرین تراکم چوب Log Compaction Practice

• انتخابات ناپاک رهبر Unclean Leader Election

• پیام های بزرگ در کافکا Large Messages in Kafka

مراحل بعدی Next Steps

• بعد چه می شود؟ What's Next?