آموزش مبانی کافکا: شروع سریع برای ساخت خط لوله‌های داده (Data Pipelines) موثر - Pearson - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• خوش‌آمدگویی به دوره Course welcome

1. مفاهیم پیش‌زمینه کافکا 1. Kafka Background Concepts

• تاپیک‌ها Topics

• درک اجزای کافکا Understanding Kafka components

• اجرای کافکا روی ماشین مجازی LHM Running Kafka on the LHM virtual machine

• درک کاربردهای پایه کافکا Understanding basic Kafka usage

• چرا به یک Message Broker نیاز دارم؟ Why do I need a message broker?

2. بررسی عملیات کافکا 2. Viewing Kafka Operations

• بررسی ویژگی‌های رابط کاربری KafkaEsque Exploring the KafkaEsque UI features

• تاپیک‌ها Topics

• بازپخش مثال‌های پایه با KafkaEsque Replaying basic examples with KafkaEsque

3. استریم داده‌های هواشناسی NOAA با Kafka Python 3. Streaming NOAA Weather Data with Kafka Python

• درک تولیدکنندگان و مصرف‌کنندگان پایه در Kafka Python Understanding basic Kafka Python producers and consumers

• ساخت مصرف‌کننده پایتون با استفاده از کلیدها، آفست‌ها و پنجره‌های زمانی Constructing a Python consumer using keys, offsets, and time windows

• تاپیک‌ها Topics

• ساخت تولیدکننده پایتون با استفاده از کلیدها و پارتیشن‌های متعدد Constructing a Python producer using keys and multiple partitions

4. انتقال داده‌های تاپیک کافکا به ذخیره‌ساز خارجی 4. Moving Kafka Topic Data to External Storage

• استفاده از مصرف‌کننده پایتون برای نوشتن داده‌ها در HBASE Using a Python consumer to write data to HBASE

• استفاده از مصرف‌کننده PySpark برای استریم داده‌ها به HDFS Using a PySpark consumer to stream data to HDFS

• تاپیک‌ها Topics

• استفاده از مصرف‌کننده پایتون برای نوشتن داده‌ها در MariaDB (MySQL) Using a Python consumer to write data to MariaDB (MySQL)

5. استریم تصاویر لبه (Edge) با Kafka Python 5. Edge Image Streaming with Kafka Python

• درک کپچر تصویر، استریم و تحلیل بلادرنگ CNN با استفاده از تولیدکنندگان و مصرف‌کنندگان کافکا Understanding image capture, streaming, and real-time CNN analysis using Kafka producers and consumers

• شبیه‌سازی مثال استریم چاپ سه بعدی لبه روی ماشین مجازی LHM Emulating an edge 3D-printing streaming example on the LHM virtual machine

• تشخیص مشکلات چاپ سه بعدی در لبه Detecting edge 3D-printing problems

• تاپیک‌ها Topics

6. خط لوله‌های داده و Kafka Connect 6. Data Pipelines and Kafka Connect

• درک طراحی و موارد استفاده Kafka Connect Understanding Kafka Connect design and use cases

• نحوه مدیریت کانکتورهای کافکا How to manage Kafka connectors

• تاپیک‌ها Topics

• مثال‌های Kafka Connect با استفاده از فایل‌ها، HDFS و MariaDB (MySQL) Kafka Connect examples using files, HDFS, and MariaDB (MySQL)

7. ملاحظات نصب 7. Installation Considerations

• ایجاد کلاستر کافکا Creating a Kafka cluster

• تاپیک‌ها Topics

• پیکربندی پارتیشن‌ها Configuring partitions

• نصب Zookeeper و Kafka Installing Zookeeper and Kafka

• درک انتخاب‌های سخت‌افزاری Understanding hardware choices

8. مباحث پایه مدیریت 8. Basic Administration Topics

• یادگیری عملیات تاپیک‌های کافکا Learning Kafka topic operations

• استفاده از ابزارهای کنسول مصرف‌کننده و تولیدکننده کافکا Using Kafka console consumer and producer tools

• تاپیک‌ها Topics

• درک مدیریت فایل‌ها و فشرده‌سازی (Compaction) Understanding file management and compaction

• درک تخصیص و مدیریت پارتیشن‌ها Understanding partition allocation and management

جمع‌بندی Conclusion

• خلاصه و گام‌های بعدی Summary and next steps