آموزش دوره Crash Apache Kafka برای توسعه دهندگان جاوا و پایتون

سرفصل ها و درس ها

معرفی Introduction

• معرفی دوره Course Introduction

• بررسی اجمالی Overview

• قالب Format

• طرح کلی Outline

• درباره مدرس دوره About Course Instructor

مبانی معماری کافکا و جریان داده ها Kafka Architecture Foundations and Data Flow

• معرفی Introduction

• چرا آپاچی کافکا؟ Why Apache Kafka?

• نمای 50 هزار فوتی کافکا 50K Foot View of Kafka

• نمای 10 هزار فوتی کافکا 10K Foot View of Kafka

• نمای 1K فوت کافکا 1K Foot View of Kafka

• آناتومی یک پیام Anatomy of a Message

• ذخیره‌سازی موضوع پیش‌فرض کافکا Kafka Default Topic Storage

• موضوعات فشرده کافکا Kafka Compacted Topics

• API های کافکا Kafka APIs

• زبان های پیاده سازی Kafka API Kafka API Implementation Languages

• راه اندازی محیط توسعه دهنده Dockerized Dockerized Dev Environment Setup

• بررسی دانش مبانی، ذخیره سازی و جریان داده کافکا Kafka Basis, Storage, and Data Flow Knowledge Check

Kafka Admin API Kafka Admin API

• Admin API معرفی Admin API Introduction

• CLI برای مدیریت موضوعات CLI to Manage Topics

• CLI برای مدیریت موضوعات ادامه دارد (پیکربندی های پیشرفته) CLI to Manage Topics Continued (Advanced Configurations)

• پایتون برای ایجاد موضوعات Python to Create Topics

• Python ایجاد و تغییر موضوعات با تنظیمات پیشرفته Python Create and Alter Topics with Advanced Configurations

• جاوا (بهار برای کافکا) برای ایجاد موضوعات Java (Spring for Kafka) to Create Topics

• جاوا (بهار برای کافکا) برای ایجاد و تغییر موضوعات با تنظیمات پیشرفته Java (Spring for Kafka) to Create and Alter Topics with Advanced Configurations

• بررسی دانش API Admin Admin API Knowledge Check

Kafka Producer API Kafka Producer API

• معرفی API تولید کننده Producer API Introduction

• تولیدکنندگان در سطح بالا Producers at a High Level

• تولیدکنندگان و تأثیر آنها در واگذاری پارتیشن پیام Producers and their Influence on Message Partition Assignment

• ابزارهای CLI برای تولید پیام به کافکا CLI Tools for Producing Messages to Kafka

• تولید کننده پایه در پایتون Basic Producer in Python

• تهیه کننده پایه در جاوا (بهار برای کافکا) Basic Producer in Java (Spring for Kafka)

• سازنده پایه در پیکربندی جاوا Alt (بهار برای کافکا) Basic Producer in Java Alt Configuration (Spring for Kafka)

• مروری دقیق بر تهیه کننده کافکا Detailed Overview of Kafka Producer

• تغییر پارتیشن ها تغییر ترتیب Changing Partitions Change Ordering

• تولید کننده پیشرفته در پایتون Advanced Producer in Python

• تولید کننده پیشرفته در جاوا (بهار برای کافکا) Advanced Producer in Java (Spring for Kafka)

• بررسی دانش API سازنده Producer API Knowledge Check

Kafka Consumer API Kafka Consumer API

• Consumer API معرفی Consumer API Introduction

• آفست گروه مصرف کننده و ردیابی پیشرفت Consumer Group Offsets and Progress Tracking

• توازن مجدد گروه مصرف کننده Consumer Group Rebalances

• مصرف کننده پایه در پایتون Basic Consumer in Python

• مصرف کننده پایه در جاوا (بهار برای کافکا) Basic Consumer in Java (Spring for Kafka)

• افست خودکار متعهد می شود و حداقل یک بار پردازش می شود Auto Offset Commits and At Least Once Processing

• آفست دستی متعهد می شود و حداقل یک بار پردازش می شود Manual Offset Commits and At Least Once Processing

• آفست دستی متعهد می شود و حداکثر یک بار پردازش می شود Manual Offset Commits and At Most Once Processing

• Offset دستی متعهد می شود و دقیقاً یک بار پردازش می شود Manual Offset Commits and Exactly Once Processing

• مصرف کننده پیشرفته در پایتون Advanced Consumer in Python

• مصرف کننده پیشرفته در جاوا (بهار برای کافکا) Advanced Consumer in Java (Spring for Kafka)

• مشاهده افست گروه مصرف کننده Viewing Consumer Group Offsets

• به روز رسانی افست گروه مصرف کننده Updating Consumer Group Offsets

• بررسی دانش API مصرف کننده Consumer API Knowledge Check

رجیستری طرحواره Schema Registry

• معرفی طرحواره رجیستری Schema Registry Introduction

• Confluent Schema Registry چیست؟ What is Confluent Schema Registry

• چرا از Confluent Schema Registry استفاده کنیم؟ Why use Confluent Schema Registry

• چگونه رجیستری طرحواره در معماری کافکا قرار می گیرد How Schema Registry Fits into Kafka Architecture

• مروری سریع بر آپاچی Avro Quick Overview of Apache Avro

• تنظیمات سازگاری رجیستری طرحواره و بررسی های تکامل طرحواره Schema Registry Compatibility Settings and Schema Evolution Checks

• Java Demo Part 1: Avro Library Project Setup Java Demo Part 1: Avro Library Project Setup

• Java Demo قسمت 2: ادغام Avro و Schema Registry در یک برنامه تولید کننده Java Demo Part 2: Integrating Avro and Schema Registry in a Producer Application

• Java Demo قسمت 3: ادغام Avro و Schema Registry در یک برنامه مصرف کننده Java Demo Part 3: Integrating Avro and Schema Registry on a Consumer Application

• جاوا نسخه ی نمایشی قسمت 4: تکامل طرحواره Java Demo Part 4: Evolving the Schema

• نسخه آزمایشی پایتون قسمت 1: ادغام Avro و Schema Registry در یک سازنده Python Demo Part 1: Integrating Avro and Schema Registry in a Producer

• نسخه آزمایشی پایتون قسمت 2: ادغام Avro و Schema Registry در یک مصرف کننده Python Demo Part 2: Integrating Avro and Schema Registry in a Consumer

• نسخه آزمایشی پایتون قسمت 3: تکامل طرحواره Python Demo Part 3: Evolving the Schema

• نمای کلی Schema Registry REST API Overview of Schema Registry REST API

• بررسی دانش رجیستری طرحواره Schema Registry Knowledge Check

کافکا کانکت Kafka Connect

• کافکا کانکت مقدمه Kafka Connect Introduction

• کافکا کانکت چیست؟ What is Kafka Connect

• چرا از کافکا کانکت استفاده کنید؟ Why use Kafka Connect

• چگونه اتصال کافکا با سیستم‌ها و معماری داده‌ها مطابقت دارد How Kafka Connect Fits into Systems and Data Architecture

• نمای کلی مفهومی یک خوشه اتصال و راه اندازی یک پلاگین اتصال Conceptual Overview of a Connect Cluster and Starting a Connector Plugin

• راه اندازی کانکتور Datagen در Docker Setting Up Datagen Connector in Docker

• پیکربندی و راه اندازی کانکتور Datagen از طریق REST API Configuring and Starting a Datagen Connector via REST API

• استفاده از REST API برای مدیریت کانکتور Datagen Using REST API to Manage Datagen Connector

• نسخه نمایشی Kafka Connect Sink با MongoDB Kafka Connect Sink Demo with MongoDB

• بررسی دانش Kafka Connect Kafka Connect Knowledge Check

پردازش جریان با کافکا استریم در جاوا Stream Processing with Kafka Streams in Java

• مقدمه پردازش جریان Stream Processing Introduction

• کافکا استریمز چیست؟ What is Kafka Streams

• جریان ها و جداول Streams and Tables

• دگرگونی های بی تابعیت و دولتی Stateless and Stateful Transformations

• توپولوژی های پردازش Processing Topologies

• پارتیشن‌های ورودی همچنان موازی‌سازی و توان عملیاتی را هدایت می‌کنند Input Partitions Still Drive Parallelism and Throughput

• راه اندازی نسخه ی نمایشی پردازش جریان جاوا Java Stream Processing Demo Setup

• Java Stream Demo: Order Validation Service Java Stream Demo: Order Validation Service

• Java Streams Demo: خدمات درآمد مشتری Java Streams Demo: Customer Revenue Service

• بررسی دانش پردازش جریان Stream Processing Knowledge Check

• غلت زدن ویندوز Tumbling Windows

• ویندوز کشویی Sliding Windows

• ویندوز جلسه Session Windows

پردازش جریان با فاوست در پایتون Stream Processing with Faust in Python

• بخش مقدمه Section Introduction

• فاوست چیست What is Faust

• ساختارهای داده کلیدی کتابخانه فاوست Key Data Constructs of Faust Library

• انواع محاسبات جریانی Types of Streaming Computations

• کانال های فاوست، موضوعات، جریان ها و عوامل Faust Channels, Topics, Streams and Agents

• نسخه ی نمایشی: نصب و راه اندازی Faust & Agents and Topics Demo: Install and Setup Faust & Agents and Topics

• وظایف فاوست و تایمرها Faust Tasks and Timers

• نسخه ی نمایشی: کارهای فاوست و تایمرها Demo: Faust Tasks and Timers

• تولید به موضوعات و پردازش جریان ها در فاوست Producing to Topics and Processing Streams in Faust

• نسخه ی نمایشی: مصرف کننده تولید کننده ساده فاوست Demo: Simple Faust Producer Consumer

• پردازش انواع پیچیده در فاوست Processing Complex Types in Faust

• نسخه ی نمایشی: تولید و مصرف انواع پیچیده Demo: Producing and Consuming Complex Types

• کار با جداول در فاوست Working with Tables in Faust

• نسخه ی نمایشی: محاسبه جمع ها با استفاده از جداول فاوست Demo: Calculating Aggregates using Faust Tables

• درک اینکه پارتیشن‌های موضوعی کافکا همچنان موازی‌سازی را در فاوست پیش می‌برد Understanding that Kafka Topic Partitions Still Drive Parallelism in Faust