آپاچی کافکا A-Z با آموزش عملی [ویدئو]

سرفصل ها و درس ها

معرفی دوره Course Introduction

• معرفی Introduction

شروع کار با داده های بزرگ و آپاچی کافکا Getting Started with Big data and Apache Kafka

• اهداف یادگیری Learning Objectives

• تکامل داده ها در طول زمان Data Evolution over Time

• نمای کلی داده های بزرگ Big Data Overview

• تجزیه و تحلیل داده های بزرگ Big Data Analytics

• سیستم پیام رسانی Messaging System

• معرفی و ویژگی های کافکا Introduction and Features of Kafka

• موارد استفاده کافکا Kafka Use Cases

• اصطلاحات کافکا Kafka Terminologies

• اجزای کافکا Kafka Components

• معماری کافکا Kafka Architecture

• خوشه های کافکا Kafka Clusters

• موارد استفاده صنعت کافکا Kafka Industry Use Cases

• نسخه ی نمایشی - نصب Zookeeper Demo - Installing Zookeeper

• نسخه ی نمایشی - نصب کافکا Demo - Installing Kafka

• نسخه ی نمایشی - راه اندازی یک گره و یک خوشه کارگزار واحد Demo – Setting up a Single Node and Single Broker Cluster

• نسخه ی نمایشی - راه اندازی یک خوشه کارگزار تک چند گره Demo – Setting up a Multi-node Single Broker Cluster

• خوراکی های کلیدی Key Takeaways

تهیه کنندگان کافکا Kafka Producers

• هدف یادگیری Learning Objective

• مروری بر یک تهیه کننده کافکا و معماری آن Overview of a Kafka Producer and Its Architecture

• پیکربندی سازنده کافکا Kafka Producer Configuration

• پیکربندی اختیاری تهیه کننده کافکا Kafka Producer Optional Configuration

• اشیاء پیکربندی سازنده کافکا Kafka Producer Configuration Objects

• نسخه ی نمایشی - ایجاد یک تهیه کننده کافکا Demo - Creating a Kafka Producer

• ارسال پیام Sending Messages

• سریال سازها و سریال سازهای سفارشی Serializers and Custom Serializers

• نسخه ی نمایشی - ایجاد یک سریال ساز سفارشی Demo - Creating a Custom Serializer

• چالش های سریال سازها و سریال سازی با استفاده از Apache Avro Serializers Challenges and Serializing Using Apache Avro

• نسخه ی نمایشی - سریال سازی با استفاده از Apache Avro Demo - Serializing Using Apache Avro

• پارتیشن ها Partitions

• نسخه ی نمایشی - راه اندازی یک پارتیشن سفارشی Demo – Setting up a Custom Partition

• غذای آماده کلیدی Key Takeaway

مصرف کنندگان کافکا Kafka Consumers

• هدف یادگیری Learning Objective

• مروری بر مصرف کنندگان کافکا Overview of Kafka Consumers

• گروه های مصرف کننده Consumer Groups

• تعادل مجدد پارتیشن و ایجاد یک مصرف کننده کافکا Partition Rebalance and Creating a Kafka Consumer

• حلقه نظرسنجی و عملکرد آن Poll Loop and Its Functioning

• پیکربندی یک مصرف کننده کافکا - قسمت 1 Configuring a Kafka Consumer - Part 1

• پیکربندی یک مصرف کننده کافکا - قسمت 2 Configuring a Kafka Consumer - Part 2

• نسخه ی نمایشی - ایجاد یک مصرف کننده کافکا Demo - Creating a Kafka Consumer

• تعهد و آفست Commit and Offset

• روش های انجام آفست - افست خودکار Ways of Committing Offset - Automatic Offset

• روش های ارتکاب آفست - ارتکاب آفست فعلی Ways of Committing Offset - Commit Current Offset

• روشهای ارتکاب افست - تعهد ناهمزمان Ways of Committing Offset - Asynchronous Commit

• روش های ارتکاب افست - ترکیب کامیت های سنکرون و ناهمزمان Ways of Committing Offset - Combining Synchronous and Asynchronous Commits

• روشهای ارتکاب افست - Commit Specified Offset Ways of Committing Offset - Commit Specified Offset

• شنوندگان را مجدداً متعادل کنید Rebalance Listeners

• مصرف سوابق با افست خاص Consuming Records with Specific Offset

• Deserializers Deserializers

• نسخه ی نمایشی - ایجاد و استفاده از Deserializer سفارشی Demo - Creating and Using Custom Deserializer

• خوراکی های کلیدی Key Takeaways

عملیات کافکا و تنظیم عملکرد Kafka Operations and Performance Tuning

• هدف یادگیری Learning Objective

• بررسی اجمالی کافکا داخلی Kafka Internals Overview

• Replication و Replica انواع Replication and Replica Types

• نردبان ترجیحی، درخواست، و پردازش درخواست Preferred Ladder, Request, and Request Processing

• انواع درخواست ها Types of Requests

• تخصیص پارتیشن، مدیریت فایل و بخش ها Partition Allocation, File Management, and Segments

• فرمت فایل، فهرست، و فشرده سازی File Format, Index, and Compaction

• قابلیت اطمینان کافکا و روش های پایایی Kafka Reliability and Reliability Methods

• پیکربندی کارگزار برای تکرار Broker Configuration for Replication

• تولید کننده در یک سیستم قابل اعتماد Producer in a Reliable System

• مصرف کننده در یک سیستم قابل اعتماد Consumer in a Reliable System

• خوراکی های کلیدی Key Takeaways

معماری خوشه کافکا و مدیریت کافکا Kafka Cluster Architectures and Administering Kafka

• هدف یادگیری Learning Objective

• آینه سازی خوشه ای Cluster Mirroring

• معماری چند خوشه ای - هاب، اسپک ها و معماری فعال - قسمت 1 Multi-cluster Architecture - Hub, Spokes, and Active Architecture – Part 1

• معماری چند خوشه ای – معماری فعال/استند بای و خوشه های کششی قسمت – 2 Multi-cluster Architecture – Active/Stand-by Architecture and Stretch Clusters Part – 2

• پیکربندی MirrorMaker - قسمت 1 Configuring MirrorMaker – Part 1

• پیکربندی MirrorMaker - قسمت 2 Configuring MirrorMaker – Part 2

• نسخه ی نمایشی - راه اندازی MirrorMaker Demo - Setting up MirrorMaker

• اداره کافکا - عملیات موضوعی Administering Kafka - Topic Operations

• مدیریت کافکا - عملیات گروه مصرف کننده Administering Kafka - Consumer Group Operations

• تغییرات پیکربندی پویا Dynamic Configuration Changes

• مدیریت پارتیشن Partition Management

• ابزار تولید کنسول Console Producer Tool

• Console Consumer Tool Console Consumer Tool

• خوراکی های کلیدی Key Takeaways

نظارت بر کافکا و ثبت طرحواره Monitoring Kafka and Schema Registry

• هدف یادگیری Learning Objective

• نظارت و اهمیت آن Monitoring and Its Importance

• مانیتورینگ سرور یا زیرساخت و نظارت بر برنامه Server or Infrastructure Monitoring and Application Monitoring

• نظارت بر کافکا Monitoring Kafka

• متریک بروکر کافکا – پارتیشن‌های کم‌تکرار – قسمت ۱ Kafka Broker Metrics – Under-replicated Partitions – Part 1

• معیارهای کافکا بروکر – دیگران – قسمت 2 Kafka Broker Metrics – Others– Part 2

• معیارهای خاص موضوع و پارتیشن Topic and Partition Specific Metrics

• ورود به سیستم و نظارت بر مشتری Logging and Client Monitoring

• معیارهای تولید کننده و مصرف کننده Producer and Consumer Metrics

• نظارت بر سهمیه ها و تاخیر Quotas and Lag Monitoring

• داشبورد مانیتورینگ Monitoring Dashboard

• نسخه ی نمایشی - راه اندازی یک مانیتور سلامت منبع باز Demo - Setting up an Open Source Health Monitor

• رجیستری طرحواره کافکا Kafka Schema Registry

• اجزای کافکا و معماری آن Kafka Components and Its Architecture

• ثبت طرحواره کافکا - موارد داخلی کار و استفاده Kafka Schema Registry - Internal working and Use cases

• کار ثبت طرحواره کافکا Working of the Kafka Schema Registry

• نسخه ی نمایشی – استفاده از رجیستری طرحواره کافکا با کافکا Demo – Using the Kafka Schema Registry with Kafka

• غذای آماده کلیدی Key Takeaway

کافکا استریمز و کانکتورهای کافکا Kafka Streams and Kafka Connectors

• هدف یادگیری Learning Objective

• مروری بر جریان های کافکا Kafka Streams Overview

• جریان های کافکا Kafka Streams

• معماری و کار کافکا استریمز Kafka Streams Architecture and Working

• اجزای جریان کافکا Kafka Streams Components

• وظایف معماری Kafka Streams، مدل Threading و Local State Store Kafka Streams Architecture Tasks, Threading Model and Local State Store

• معماری جریان های کافکا - بافر رکورد Kafka Streams Architecture - Record Buffer

• مدیریت حافظه و خط لوله داده های جریانی Memory Management and Streaming Data Pipeline

• کافکا استریمز زبان خاص دامنه (DSL) Kafka Streams Domain Specific Language (DSL)

• عملیات KStream KStream Operations

• عملیات KTable KTable Operations

• عملیات KTable KTable Operations

• تجمع و پنجره Aggregation and Windowing

• توپولوژی پردازنده و پردازشگر جریان Processor Topology and Stream Processor

• رابط های برنامه نویسی برنامه های کاربردی جریان و پردازنده (API) Stream and Processor Application Programming Interfaces (APIs)

• رابط های برنامه نویسی برنامه کاربردی پردازنده (API) و ایجاد توپولوژی Processor Application Programming Interfaces (APIs) and Creating Topology

• اتصال دهنده های کافکا Kafka Connectors

• پیکربندی کانکتور مستقل و سینک Stand-alone and Sink Connector Configuration

• اجرای Kafka Connect Running Kafka Connect

• حالت توزیع شده رابط کافکا Kafka Connector Distributed Mode

• رابط انتقال حالت نمایشی (REST) ​​پروتکل انتقال ابرمتن (HTTP) Hypertext Transfer Protocol (HTTP) Representational State Transfer (REST) Interface

• نسخه ی نمایشی - رابط کافکا Demo - Kafka Connector

• نسخه ی نمایشی - ایجاد یک برنامه با استفاده از Kafka Streams Demo - Creating an Application Using Kafka Streams

• غذای آماده کلیدی Key Takeaway

ادغام کافکا با طوفان Integration of Kafka with Storm

• هدف یادگیری Learning Objective

• طوفان آپاچی Apache Storm

• تجزیه و تحلیل زمان واقعی Real-time Analytics

• معماری طوفان آپاچی Apache Storm Architecture

• اجزای طوفان آپاچی Apache Storm Components

• توپولوژی طوفان آپاچی - قسمت 1 Apache Storm Topology Part - 1

• توپولوژی طوفان آپاچی - قسمت 2 Apache Storm Topology Part - 2

• دهانه کافکا Kafka Spout

• ادغام طوفان آپاچی و کافکا Integration of Apache Storm and Kafka

• نسخه ی نمایشی - برنامه مستقل ساده با استفاده از کافکا و طوفان Demo - Simple Stand-alone Application Using Kafka and Storm

• غذای آماده کلیدی Key Takeaway

ادغام کافکا با اسپارک و فلوم Kafka Integration with Spark and Flume

• هدف یادگیری Learning Objective

• مقدمه ای بر اسپارک Introduction to Spark

• اجزای جرقه Spark Components

• مجموعه داده های توزیع شده انعطاف پذیر Resilient Distributed Dataset

• عملیات مجموعه داده های توزیع شده انعطاف پذیر (RDD) - تبدیل - نقشه، نقشه مسطح، و فیلتر Resilient Distributed Dataset (RDD) Operations - Transformation - Map, FlatMap, and Filter

• عملیات RDD - تبدیل - پیوستن، متمایز، اول، و گرفتن RDD Operations - Transformation - Join, Distinct, First, and Take

• عملیات مجموعه داده های توزیع شده انعطاف پذیر (RDD) - اقدامات Resilient Distributed Dataset (RDD) Operations - Actions

• مجموعه داده ها و SparkSession Data Sets and SparkSession

• مجموعه داده ها و عملیات جلسه جرقه Data Sets and Spark Session Operations

• جرقه جرقه Spark Stream

• ادغام اسپارک با کافکا Integrating Spark with Kafka

• نسخه ی نمایشی - اجرای یک برنامه مستقل کوچک در Spark با کافکا Demo - Running a Small Stand-alone Application in Spark with Kafka

• قنات، مجرا Flume

• اتصالات فلوم Flume Connectors

• پیکربندی Flume Kafka به سیستم فایل توزیع شده Hadoop (HDFS) Configuring Flume Kafka to Hadoop Distributed File System (HDFS)

• نسخه ی نمایشی - ایجاد یک Flume Agent و ارسال داده از کافکا به سیستم فایل توزیع شده هادوپ (HDFS) Demo - Creating a Flume Agent and Sending Data from Kafka to Hadoop Distributed File System (HDFS)

• خوراکی های کلیدی Key Takeaways

مشتری ادمین و ایمن کردن کافکا Admin Client and Securing Kafka

• هدف یادگیری Learning Objective

• AdminClient AdminClient

• نسخه ی نمایشی - انجام وظایف مدیریت مختلف با استفاده از AdminClient Demo - Performing Various Admin Tasks Using AdminClient

• امنیت کافکا Kafka Security

• اجزای امنیتی کافکا Kafka Security Components

• احراز هویت ساده و لایه امنیتی (SASL) Simple Authentication and Security Layer (SASL)

• پیکربندی ساده احراز هویت و لایه امنیتی (SASL) در کافکا Configuring Simple Authentication and Security Layer (SASL) in Kafka

• ایمن سازی با استفاده از لیست های کنترل دسترسی (ACL) Securing Using Access Control Lists (ACLs)

• غذای آماده کلیدی Key Takeaway