آموزش راهنمای عملی کامل آپاچی کافکا

سرفصل ها و درس ها

معرفی Introduction

• بیا وصل بشیم به انجمن یادگیری بپیوندید Let's get connected! Join the Learning Community

نمای کلی نصب آپاچی کافکا Apache Kafka Installation Overview

• نمای کلی نصب آپاچی کافکا Apache Kafka Installation Overview

• نصب آپاچی کافکا بر روی سیستم های مک و یونیکس مانند Installing Apache Kafka on the Mac and Unix-like systems

• نصب آپاچی کافکا در مک Installing Apache Kafka on the Mac

• نصب اوبونتو در MacOS با استفاده از VirtualBox Installing Ubuntu on MacOS using VirtualBox

نصب آپاچی کافکا روی سرور اوبونتو راه دور Installing Apache Kafka on the remote Ubuntu server

• بخش 2 مقدمه SECTION 2 Introduction

• ایجاد سرور خصوصی مجازی اوبونتو از راه دور Creating remote Ubuntu Virtual Private Server

• نصب آپاچی کافکا روی سرور خصوصی مجازی Installing Apache Kafka on Virtual Private Server

نصب آپاچی کافکا روی ویندوز Installing Apache Kafka on Windows

• بخش 3 مقدمه SECTION 3 Introduction

• نصب آپاچی کافکا روی ویندوز Installing Apache Kafka on Windows

• راه اندازی Zookeeper و سرور Kafka در ویندوز Starting Zookeeper and Kafka server on Windows

• نصب اوبونتو در ویندوز با استفاده از VirtualBox Installing Ubuntu on Windows using VirtualBox

• نصب آپاچی کافکا روی اوبونتو با استفاده از رابط کاربری گرافیکی Installing Apache Kafka on Ubuntu using GUI

راه اندازی Apache Zookeeper و Kafka Broker Starting Apache Zookeeper and Kafka Broker

• بخش 4 مقدمه SECTION 4 Introduction

• مشاهده محتویات پوشه کافکا Observing contents of the Kafka folder

• خواندن و ویرایش فایل های کافکا با استفاده از کد VisualStudio Reading and editing Kafka files using VisualStudio Code

• تلاش برای راه اندازی سرور کافکا Trying to start Kafka Server

• مشاهده لاگ های سرور کافکا Observing Kafka Server logs

• راه اندازی Zookeeper Starting Zookeeper

• راه اندازی سرور کافکا در حالی که Zookeeper فعال است Starting Kafka Server while Zookeeper is up and running

• مشاهده پوشه سیاههها و تنظیم فعلی سرور کافکا Observing logs folder and current kafka server setup

ایجاد و کاوش موضوع کافکا Creating and exploring Kafka Topic

• بخش 5 مقدمه SECTION 5 Introduction

• نحوه اتصال به خوشه کافکا How to connect to Kafka cluster

• موضوع جدید کافکا ایجاد کنید Create new Kafka topic

• بعد از ایجاد تاپیک جدید چه اتفاقی افتاد What happened after creation of the new topic

• جزئیات موضوع را بخوانید Read details about topic

تولید و مصرف پیام ها Producing and consuming Messages

• بخش 6 مقدمه SECTION 6 Introduction

• با استفاده از سازنده کنسول کافکا چند پیام ارسال کنید Send some messages using Kafka Console Producer

• مصرف پیام ها با استفاده از مصرف کننده کنسول کافکا Consuming messages using Kafka Console Consumer

• مصرف پیام ها از ابتدا Consuming messages from the beginning

• اجرای چندین مصرف کننده Running multiple consumers

• اجرای چندین تولید کننده Running multiple producers

• آنچه در لاگ های کافکا تغییر کرد What was changed in the Kafka logs

آپاچی کافکا چیست و چگونه کار می کند What is Apache Kafka and how it works

• بخش 7 مقدمه SECTION 7 Introduction

• آپاچی کافکا چیست؟ What is Apache Kafka

• دلال Broker

• خوشه کارگزار Broker cluster

• نگهبان باغ وحش Zookeeper

• گروه باغ وحش Zookeeper ensemble

• چندین خوشه کافکا Multiple Kafka clusters

• درگاه های پیش فرض Zookeeper و Broker Default ports of Zookeeper and Broker

• موضوع کافکا Kafka Topic

• ساختار پیام Message structure

• موضوعات و پارتیشن ها Topics and Partitions

• پخش پیام ها در پارتیشن ها Spreading messages across partitions

• رهبر پارتیشن و پیروان Partition Leader and Followers

• کنترل کننده و مسئولیت های آن Controller and it's responsibilities

• چگونه تولیدکنندگان برای موضوع پیام می نویسند How Producers write messages to the topic

• چگونه مصرف کنندگان پیام های موضوع را می خوانند How Consumers read messages from the topic

مخزن GitHub و نمودارهای دوره GitHub Repository and Diagrams for the course

• بخش 8 مقدمه SECTION 8 Introduction

• مخزن GitHub و لیستی از دستورات اولیه کافکا GitHub repository and list of basic Kafka commands

• نمودارهای دوره Diagrams for the course

مثال 1 - موضوع با پارتیشن های متعدد EXAMPLE 1 - Topic with Multiple Partitions

• بخش 9 مقدمه SECTION 9 Introduction

• اگر از کارگزاران کافکا از راه دور استفاده می کنید If you use remote Kafka brokers

• تمیز کردن تاسیسات کافکا موجود Cleaning up existing kafka installation

• ایجاد موضوع با پارتیشن های متعدد Creating topic with multiple partitions

• نحوه پخش پیام ها در پارتیشن های مختلف How messages were spread across different partitions

• خواندن پیام ها از پارتیشن خاص Reading messages from specific partition

• خواندن پیام ها از افست خاص در پارتیشن خاص Reading messages from specific offset in specific partition

• خواندن جزئیات در مورد موضوع و موضوع __مصرف کننده_offsets Reading details about topic and __consumer_offsets topic

• خلاصه برای مثال چند پارتیشن Summary for multiple partitions example

مثال 2 - خوشه کافکا با کارگزاران متعدد EXAMPLE 2 - Kafka Cluster with Multiple Brokers

• بخش 10 مقدمه SECTION 10 Introduction

• نمای کلی مثال - چندین کارگزار را اجرا کنید Example overview - run multiple brokers

• ایجاد فایل های پیکربندی جداگانه برای کارگزاران Creating separate configuration files for brokers

• راه اندازی سه کارگزار Launching three brokers

• دریافت اطلاعات خوشه و جزئیات کارگزار از Zookeeper Getting cluster information and broker details from Zookeeper

• ایجاد موضوع چندپارتیشنی در خوشه کافکا Creating multiple-partition topic in the Kafka cluster

• نگاهی به پوشه های سیاهههای مربوط به هر کارگزار Looking at logs folders of every broker

• تولید و مصرف پیام در خوشه Producing and consuming messages in the cluster

• جزئیات در مورد موضوع در خوشه Details about topic in the cluster

• شبیه سازی شکست کارگزار در خوشه Simulating broker failure in the cluster

• خلاصه برای خوشه کارگزار و موضوع بدون تکرار Summary for broker cluster and topic without replication

مثال 3 - کارگزاران متعدد و موضوع با تکرار EXAMPLE 3 - Multiple Brokers and Topic with Replication

• بخش 11 مقدمه SECTION 11 Introduction

• آماده شدن برای مثال بعدی با تکرار Preparing for the next example with replication

• راه اندازی کارگزاران و ایجاد موضوع با تکرار Launching brokers and creating topic with replication

• مشاهده پوشه سیاههها و جزئیات موضوع Observing logs folder and details of the topic

• تولید و مصرف پیام در موضوع با تکرار Producing and consuming messages in the topic with replication

• مشاهده نحوه ذخیره پیام ها در پارتیشن ها در بروکرهای مختلف Observing how messages were stored in the partitions on different brokers

• پایین آوردن یکی از سه کارگزار و مشاهده تغییرات Bringing down one of three brokers and observing changes

• پایین آوردن یک کارگزار دیگر در خوشه Bringing down another broker in the cluster

• بازگرداندن هر دو کارگزار Bringing back both brokers

• خلاصه برای تکرار Summary for replication

مثال 4 - گروه های مصرف کننده کافکا EXAMPLE 4 - Kafka Consumer Groups

• بخش 12 مقدمه SECTION 12 Introduction

• مثال با بررسی اجمالی گروه های مصرف کننده Example with consumer groups overview

• کاوش گروه های مصرف کننده پیش فرض Exploring default consumer groups

• شروع مصرف کننده در گروه مصرف کننده سفارشی Starting consumer in the custom consumer group

• شروع مصرف کننده دوم در همان گروه مصرف کننده Starting second consumer in the same consumer group

• راه اندازی یک مصرف کننده دیگر در همان گروه Launching one more consumer in the same group

• مصرف کنندگان بیکار در گروه Idle consumers in the group

• خلاصه برای گروه های مصرف کننده Summary for consumer groups

مثال 5 - تست عملکرد EXAMPLE 5 - Performance Testing

• بخش 13 مقدمه SECTION 13 Introduction

• مروری بر نمونه تست عملکرد Overview of the performance testing example

• شروع خوشه و راه اندازی تست عملکرد پایه Starting cluster and launching basic performance test

• افزایش پارامترهای تست عملکرد Increasing performance test parameters

• تست عملکرد مصرف کننده Testing consumer performance

• دریافت مقادیر LAG غیر صفر برای مصرف کنندگان Getting non-zero LAG values for consumers

• خلاصه نمونه تست عملکرد Performance test example summary

پروژه 1 - جاوا PROJECT 1 - Java

• بخش 14 مقدمه SECTION 14 Introduction

• اگر از کارگزاران کافکا از راه دور استفاده می کنید If you use remote Kafka brokers

• فایل های پروژه برای بخش جاوا Project Files for the Java section

• در حال نصب ویرایشگر IntelliJ Installing IntelliJ editor

• ایجاد و پیکربندی پروژه Maven Creating and configuring Maven project

• شروع خوشه کافکا Starting Kafka Cluster

• ایجاد سازنده جاوا Creating Java Producer

• به ایجاد Java Producer ادامه دهید Continue Creating Java Producer

• راه اندازی Java Producer Launching Java Producer

• توضیح رایج ترین پارامترهای Producer Explaining most common Producer parameters

• تغییر نوع سریال ساز Modifying Serializer type

• تولید پیام های معنادار با تاخیر Producing meaningful messages with delay

• Refactoring Producer با افزودن مثال قبلی Refactoring Producer by adding previous example

• ایجاد مصرف کننده با ارتکاب خودکار - بخش 1 Creating consumer with autocommitting - PART 1

• ایجاد مصرف کننده با ارتکاب خودکار - بخش 2 Creating consumer with autocommitting - PART 2

• نمای کلی پارامترهای مصرف کننده Consumer parameters overview

• مصرف کننده با تعهد دستی Consumer with Manual Committing

• مصرف کننده با واگذاری پارتیشن Consumer with Partitions Assignment

• راه اندازی مصرف کنندگان چندگانه در یک گروه مصرف کننده Launching multipile consumers in the same consumer group

• چالش - اشتراک در مقابل اختصاص دادن به گروه های مصرف کننده CHALLENGE - Subscribe vs Assign with consumer groups

پروژه 2 - Node.js PROJECT 2 - Node.js

• بخش 15 مقدمه SECTION 15 Introduction

• اگر از کارگزاران کافکا از راه دور استفاده می کنید If you use remote Kafka brokers

• نصب Node.js با NPM Installing Node.js with NPM

• راه اندازی خوشه کافکا با 3 کارگزار Starting up Kafka cluster with 3 brokers

• راه اندازی پروژه Node.js Initializing Node.js project

• فایل های پروژه نهایی Node.js Final Node.js project files

• ایجاد سازنده اصلی Node.js Creating basic Node.js producer

• تولید نام های تصادفی حیوانات Producing random animal names

• ایجاد مصرف کننده Node.js Creating Node.js consumer

پروژه 3 - پایتون PROJECT 3 - Python

• بخش 16 مقدمه SECTION 16 Introduction

• اگر از کارگزاران کافکا از راه دور استفاده می کنید If you use remote Kafka brokers

• اگر از کارگزاران کافکا از راه دور استفاده می کنید If you use remote Kafka brokers

• نصب پایتون Installing Python

• فایل های نهایی پروژه پایتون Final Python project files

• راه اندازی تولید کننده پایه پایتون Launching basic Python producer

• راه اندازی مصرف کننده و دریافت پیام Launching consumer and receiving messages

• تولید نام های جعلی در پیام ها توسط سازنده Generating fake names in the messages by producer

خلاصه دوره Course Summary

• خلاصه دوره Course Summary

• سخنرانی پاداش Bonus Lecture