آپاچی کافکا برای مبتدیان مطلق [ویدئو]

سرفصل ها و درس ها

اکوسیستم کافکا - تصویر بزرگ Kafka Ecosystem - The Big Picture

• آپاچی کافکا چیست؟ What is Apache Kafka?

• مفاهیم اصلی آپاچی کافکا Apache Kafka Core Concepts

• مفاهیم اصلی کافکا کانکت Kafka Connect Core Concepts

• کافکا مفاهیم اصلی را جاری می کند Kafka Streams Core Concepts

• مفاهیم اصلی کافکا SQL Kafka SQL Core Concepts

• چه زمانی از چه چیزی استفاده کنیم؟ When to use what?

آپاچی کافکا - شروع به کار Apache Kafka- Getting Started

• شروع سریع کافکا Kafka Quick Start

• نصب کلاستر کافکا تک گره Installing Single Node Kafka Cluster

• با استفاده از تولید کننده و مصرف کننده خط فرمان Using Command-Line Producer and Consumer

• نصب یک خوشه کافکا چند گره Installing a Multi-Node Kafka Cluster

• استفاده از گروه های مصرف کننده Using Consumer Groups

• پیکربندی IDE توسعه شما Configuring your development IDE

آپاچی کافکا - معماری ذخیره سازی Apache Kafka- Storage Architecture

• آشنایی با معماری انبار کافکا Understanding Kafka Storage Architecture

• موضوعات و پارتیشن های کافکا Kafka Topics and Partitions

• تکرار موضوع کافکا Kafka Topic Replication

• رهبران و پیروان پارتیشن Partition Leaders and Followers

• بخش های لاگ کافکا Kafka Log Segments

• افست پیام کافکا Kafka Message Offsets

• فهرست پیام کافکا Kafka Message Index

آپاچی کافکا- معماری خوشه Apache Kafka- Cluster Architecture

• درک خوشه کافکا Understanding Kafka Cluster

• نگهبان باغ وحش در کافکا Zookeeper in Kafka

• کنترل کننده خوشه کافکا Kafka Cluster Controller

• تخصیص پارتیشن و تحمل خطا Partition Allocation and Fault Tolerance

• پارتیشن لیدر در مقابل فالوور پارتیشن Partition Leader Vs Partition Follower

• فهرست ISR - In Sync Replica The ISR List - In Sync Replica

• رکوردهای متعهد در مقابل رکوردهای غیرمتعهد Committed Vs Un-Committed Records

• حداقل فهرست ISR Minimum ISR List

داخلی های سازنده آپاچی Apache Producer Internals

• معرفی سازندگان کافکا Introducing Kafka Producers

• ایجاد اولین تهیه کننده کافکا Creating your first Kafka Producer

• رکورد تولید کننده Producer Record

• سریال ساز سازنده Producer Serializer

• پارتیشن ساز تولید کننده Producer Partitioner

• مهر زمان پیام Message Timestamp

• بافر پیام سازنده Producer Message Buffer

• تولید کننده IO Thread و بازنشسته می شود Producer IO Thread and Retires

• خلاصه مطالب داخلی تولید کننده Summarizing Producer Internals

تولیدکنندگان پیشرفته کافکا Advanced Kafka Producers

• افقی در مقابل مقیاس پذیری عمودی Horizontal Vs. Vertical Scalability

• سناریوی چند رشته ای تولید کننده Producer Multi-Threading Scenario

• ایجاد سازنده کافکا چند رشته ای Creating Multi-Threaded Kafka Producer

• حداقل یک بار در مقابل حداکثر یک بار At Least Once Vs. At Most Once

• دقیقا یک بار - عدم توانایی تولید کننده Exactly Once - Producer Idempotence

• معاملات در کافکا تهیه کننده Transactions in Kafka Producer

انواع و سریال سازی Types and Serialization

• کار با انواع و سریال سازی Working with Types and Serialization

• با استفاده از طرحواره JSON Using JSON Schema

• با استفاده از طرحواره AVRO Using AVRO Schema

پروژه خرد- جمع بندی تولیدکنندگان Micro Project- Summing up the Producers

• شبیه ساز POS با استفاده از فاکتورهای سریالی JSON POS Simulator using JSON Serialized Invoices

• شبیه ساز POS با استفاده از فاکتورهای سریالی AVRO POS Simulator using AVRO Serialized Invoices

مصرف کنندگان کافکا Kafka Consumers

• معرفی مصرف کنندگان کافکا Introducing Kafka Consumers

• ایجاد خط لوله مصرف - تبدیل - تولید کافکا Creating Kafka Consume - Transform - Produce Pipeline

• گروه مصرف کننده و مقیاس پذیری Consumer Group and Scalability

• موقعیت های مصرف کننده - افست فعلی در مقابل. افست متعهد Consumer Positions - Current Offset Vs. Committed Offset

بعد کجا برویم Where to go Next

• چالش با مصرف کنندگان کافکا؟ Challenges with Kafka Consumers?