آموزش تنظیم کافکا

سرفصل ها و درس ها

معرفی Introduction

• تنظیم کافکا Tuning Kafka

1. معرفی Kafka Tuning 1. Introducing Kafka Tuning

• پیش نیازها Prerequisites

• مروری بر کافکا An overview of Kafka

• تولید کنندگان و مصرف کنندگان Producers and consumers

• قضیه بهینه سازی کافکا Kafka optimization theorem

• تأخیر انتها به انتها در کافکا End-to-end latency in Kafka

• آپاچی کافکا را نصب و راه اندازی کنید Install and set up Apache Kafka

• انتشار و مصرف پیام ها با استفاده از اسکریپت های کنسول Publish and consume messages using console scripts

2. تنظیم تولیدکنندگان کافکا 2. Tuning Kafka Producers

• اجرای یک خوشه کافکا با سه کارگزار Running a Kafka cluster with three brokers

• اجرای تست های عملکرد پایه تولید کننده Running basic producer performance tests

• اثرات پارتیشن بندی بر تولید کنندگان Effects of partitioning on producers

• اثرات تکرار بر تولید کنندگان Effects of replication on producers

• تنظیم آک های تولید کننده Tuning producer acks

• فشرده سازی تولید کننده تنظیم Tuning producer compression

• تنظیم اندازه دسته و زمان ماندن Tuning batch size and linger time

• تأثیر اندازه پیام و تعداد رکورد Effect of message size and record count

3. تنظیم مصرف کنندگان کافکا 3. Tuning Kafka Consumers

• اجرای یک تست عملکرد پایه مصرف کننده Running a basic consumer performance test

• تنظیم واکشی بایت ها و زمان انتظار برای مصرف کنندگان Tuning fetch bytes and wait time for consumers

• تایم اوت جلسه تنظیم و فاصله ضربان قلب Tuning session timeout and heartbeat interval

• تنظیم حداکثر فاصله نظرسنجی و حداکثر رکوردهای نظرسنجی Tuning max poll interval and max poll records

4. تیونینگ کارگزاران کافکا 4. Tuning Kafka Brokers

• تأخیر انتها به انتها با تکرار End-to-end latency with replication

• تنظیم توان عملیاتی Tuning throughput

• تنظیم حفظ گزارش Tuning log retention

5. تست عملکرد با پایتون 5. Performance Testing with Python

• تست عملکرد تولید کننده با استفاده از پایتون Producer performance testing using Python

• تست عملکرد مصرف کننده با استفاده از پایتون Consumer perf testing using Python

نتیجه Conclusion

• خلاصه و مراحل بعدی Summary and next steps