آموزش Java Spring & Apache Kafka Bootcamp - مقدماتی برای تکمیل

سرفصل ها و درس ها

معرفی Introduction

• به این دوره خوش آمدید Welcome to This Course

• ساختار دوره Course Structure

• کد منبع و اسکریپت ها را دانلود کنید Download Source Code & Scripts

• نکات: چگونه از این دوره بیشترین ارزش را دریافت کنید Tips : How To Get Maximum Value From This Course

معرفی Introduction

نسخه بوت بهار Spring Boot Version

• نسخه بهار بوت در این دوره Spring Boot Version In This Course

نسخه بوت بهار Spring Boot Version

فناوری در این دوره Technology in This Course

• سیستم پیام رسانی Messaging System

• مقدمه کافکا Kafka Introduction

• جاوا و بهار Java & Spring

فناوری در این دوره Technology in This Course

نصب و راه اندازی Installation

• جاوا را دانلود کنید Download Java

• جاوا را نصب کنید Install Java

• نصب کافکا برای این دوره Kafka Installation for This Course

• مقدمه داکر Docker Introduction

• Kafka Docker را نصب کنید Install Kafka Docker

• دانلود Eclipse Download Eclipse

• Eclipse را نصب کنید Install Eclipse

نصب و راه اندازی Installation

مفاهیم اساسی کافکا Kafka Basic Concepts

• مفاهیم اساسی کافکا Kafka Basic Concepts

• قیاس کافکا Kafka Analogy

• موضوع، پارتیشن و افست Topic, Partition & Offset

• تهيه كننده Producer

• گروه مصرف کننده و مصرف کننده Consumer & Consumer Group

• تعدیل مصرف کننده و معنایی تحویل Consumer Offset & Delivery Semantic

• نگهبان باغ وحش Zookeeper

مفاهیم اساسی کافکا Kafka Basic Concepts

شروع به نوشتن کدها کنید Start Writing Codes

• چکمه بهاره Spring Boot

• سلام کافکا - موضوع و پارتیشن Hello Kafka - Topic & Partition

• سلام کافکا - کد بهار جاوا Hello Kafka - Java Spring Code

• مصرف کننده در واقع زمان واقعی است Consumer is Real Time Indeed

• "تعمیر" مصرف کننده "Fixing" Consumer

• تولید پیام با کلید Producing Message With Key

• مصرف کنندگان متعدد برای هر موضوع Multiple Consumers for Each Topic

شروع به نوشتن کدها کنید Start Writing Codes

کار با پیام JSON Working with JSON Message

• چرا JSON؟ Why JSON?

• تولید پیام JSON Producing JSON Message

• فرمت JSON را سفارشی کنید Customize JSON Format

• مصرف پیام JSON Consuming JSON Message

• مصرف با گروه های مصرف کننده - تولید کننده ایجاد کنید Consuming with Consumer Groups - Create Producer

• مصرف با گروه های مصرف کننده - ایجاد مصرف کننده Consuming with Consumer Groups - Create Consumer

• تعادل مجدد Rebalancing

• پیکربندی کافکا Kafka Configuration

• فیلتر پیام Message Filter

• ناتوانی Idempotency

• جایگزین بی توانی Idempotency Alternative

کار با پیام JSON Working with JSON Message

استثناء رسیدگی Handling Exception

• کنترل کننده خطای KafkaListener KafkaListener Error Handler

• کنترل کننده خطای جهانی Global Error Handler

• تلاش مجدد مصرف کننده Retrying Consumer

• موضوع نامه مرده Dead Letter Topic

• غیر مسدود کننده سعی مجدد کنید Non Blocking Retry

استثناء رسیدگی Handling Exception

برنامه ریزی مصرف کننده Scheduling Consumer

• برنامه ریزی مصرف کننده Scheduling Consumer

برنامه ریزی مصرف کننده Scheduling Consumer

Rabbitmq در مقابل کافکا Rabbitmq vs Kafka

• Rabbitmq در مقابل کافکا Rabbitmq vs Kafka

Rabbitmq در مقابل کافکا Rabbitmq vs Kafka

کافکا در معماری و الگوی میکروسرویس Kafka in Microservice Architecture & Pattern

• آنچه ما خواهیم ساخت What We Will Build

• سازماندهی کد منبع Organizing Source Code

• راه اندازی پروژه ها Setting Up The Projects

• ایجاد خودکار موضوعات از کد Automatic Create Topics From Code

• برنامه سفارش - پایگاه داده Order App - Database

• برنامه سفارش - تهیه کننده کافکا Order App - Kafka Producer

• Handle Kafka Publish Result - Cafka Producer Callback Handle Kafka Publish Result - Kafka Producer Callback

• سفارش برنامه - API و نهایی کردن برنامه Order App - API & Finalize App

• سفارش برنامه - برنامه را تست کنید Order App - Test the App

• اپلیکیشن الگو - مصرف کننده کافکا Pattern App - Kafka Consumer

• سفارش برنامه - ناشر تبلیغات Order App - Promotion Publisher

• سفارش برنامه - ناشر تخفیف Order App - Discount Publisher

• برنامه ذخیره سازی - مصرف کننده کافکا Storage App - Kafka Consumer

• برنامه سفارش - هدر را به پیام کافکا اضافه کنید Order App - Add Header To Kafka Message

• برنامه پاداش - مصرف کننده کافکا Reward App - Kafka Consumer

• درخواست - پاسخ در کافکا Request - Reply in Kafka

کافکا در معماری و الگوی میکروسرویس Kafka in Microservice Architecture & Pattern

جریان کافکا Kafka Stream

• معرفی کافکا استریم Introducing Kafka Stream

• پردازش جریان Stream Processing

• مفهوم جریان کافکا Kafka Stream Concept

• برای جریان کافکا آماده شوید Prepare For Kafka Stream

• یادداشت برای کاربر ویندوز Notes for Windows User

• سلام کافکا استریم Hello Kafka Stream

• رشته سرده String Serde

• Spring JSON Serde Spring JSON Serde

• سفارشی JSON Serde Custom JSON Serde

• جریان و جدول Stream & Table

• فشردگی ورود به سیستم Log Compaction

• عملیات جریان کافکا (بدون ملیت) Kafka Stream Operations (Stateless)

جریان کافکا Kafka Stream

جریان کافکا - کالا Kafka Stream - Commodity

• توپولوژی جریان کافکا Kafka Stream Topology

• گام اول First Step

• پردازنده های سینک Sink Processors

• الزامات اضافی Additional Requirements

• انشعاب جایگزین Branching Alternative

• نحو شاخه جدیدتر Newer Branch Syntax

• به هر مکان پاداش دهید Reward Each Location

• فراخوانی API یا سایر فرآیندها Calling API or Other Process

• پردازش بیشتر تقلب Further Fraud Processing

جریان کافکا - کالا Kafka Stream - Commodity

جریان کافکا - بازخورد Kafka Stream - Feedback

• آیا ما به اندازه کافی خوب هستیم؟ Are We Good Enough?

• این بازخورد متعلق به چه کسی است؟ Who Owns This Feedback?

• بازخورد خوب یا بازخورد بد؟ Good Feedback or Bad Feedback?

• گروه با استفاده از جدول Group Using Table

• تاخیر روی میز Delay on Table

• ارسال و ادامه Send and Continue

• به طور کلی خوب (یا بد) Overall Good (or Bad)

جریان کافکا - بازخورد Kafka Stream - Feedback

کافکا استریم - مشتری Kafka Stream - Customer

• وب و موبایل Web & Mobile

• سبد خرید و لیست علاقه مندی ها Cart & Wishlist

کافکا استریم - مشتری Kafka Stream - Customer

کافکا استریم - رای فروش فلش Kafka Stream - Flash Sale Vote

• آخرین فید داده Most Recent Data Feed

• جریان و وضعیت Stream & State

• عملیات دولتی جریان کافکا Kafka Stream Stateful Operations

• مهر زمان Timestamp

کافکا استریم - رای فروش فلش Kafka Stream - Flash Sale Vote

جریان کافکا - رتبه بندی بازخورد Kafka Stream - Feedback Rating

• میانگین امتیاز Average Rating

• رتبه بندی تفصیلی Detailed Rating

جریان کافکا - رتبه بندی بازخورد Kafka Stream - Feedback Rating

جریان کافکا - موجودی Kafka Stream - Inventory

• جمع بندی رکوردها Summing Records

• تفریق مقدار Subtracting Value

• استفاده از Reduce Using Reduce

• استخراج کننده مهر زمانی Timestamp Extractor

• پنجره Windowing

• پنجره زمان غلت Tumbling Time Window

• پنجره زمان پرش Hopping Time Window

جریان کافکا - موجودی Kafka Stream - Inventory

پیوستن به جریان سفارش و پرداخت Joining Order & Payment Stream

• عضویت - نظریه Join - Theory

• پیوستن - جریان/جریان Join - Stream / Stream

• پیوستن داخلی - جریان/جریان Inner Join - Stream / Stream

• پیوستن به چپ - جریان/جریان Left Join - Stream / Stream

• پیوستن خارجی - جریان/جریان Outer Join - Stream / Stream

پیوستن به جریان سفارش و پرداخت Joining Order & Payment Stream

پیوستن به دو جدول رأی Joining Two Vote Tables

• پیوستن داخلی - جدول/جدول Inner Join - Table / Table

• پیوستن چپ - جدول/جدول Left Join - Table / Table

• پیوستن بیرونی - جدول/جدول Outer Join - Table / Table

پیوستن به دو جدول رأی Joining Two Vote Tables

تبدیل جریان به جدول Convert Stream to Table

• جریان به جدول Stream to Table

تبدیل جریان به جدول Convert Stream to Table

پیوستن به جریان و جدول Joining Stream & Table

• پیوستن داخلی - جریان/جدول Inner Join - Stream / Table

• پیوستن به چپ - جریان/جدول Left Join - Stream / Table

پیوستن به جریان و جدول Joining Stream & Table

پیوستن به جدول جریان و جهانی Joining Stream & Global Table

• پیوستن به جدول جاری/جهانی - قسمت 1 Stream / Global Table Join - Part 1

• پارتیشن مشترک جریان/جدول Stream / Table Co-Partition

• استریم/پیوستن به جدول جهانی - قسمت 2 Stream / Global Table Join - Part 2

پیوستن به جدول جریان و جهانی Joining Stream & Global Table

دقیقا یک بار معنایی Exactly Once Semantic

• دقیقا یک بار معنایی Exactly Once Semantic

• فعال کردن دقیقا یک بار Enabling Exactly Once

دقیقا یک بار معنایی Exactly Once Semantic

کافکا کانکت Kafka Connect

• پیام به داخل، پیام خارج Message In, Message Out

• کافکا کانکت را معرفی می کنیم Introducing Kafka Connect

• Kafka Connect در Docker Kafka Connect on Docker

• موارد استفاده نمونه Sample Use Cases

کافکا کانکت Kafka Connect

مورد استفاده: اتصال پایه Use Case : Basic Connector

• منبع فایل File Source

• سینک پایگاه داده Database Sink

• سینک SFTP SFTP Sink

مورد استفاده: اتصال پایه Use Case : Basic Connector

مورد استفاده: مدرنیزاسیون میراث Use Case : Legacy Modernization

• تغییر ضبط داده Change Data Capture

• رابط CDC PostgreSQL CDC PostgreSQL Connector

• کانکتور سینک PostgreSQL PostgreSQL Sink Connector

• مصرف کننده بازاریابی Marketing Consumer

• این یک راه حل یک مرحله ای نیست It’s not A One-Stop-Solution

مورد استفاده: مدرنیزاسیون میراث Use Case : Legacy Modernization

مورد استفاده: مهندسی داده Use Case : Data Engineering

• منبع پایگاه داده Database Source

• منبع HTTP HTTP Source

• منبع سفارشی Custom Source

• سینک Elasticsearch Elasticsearch Sink

• تفاوت فرمت داده ها Data Format Differences

مورد استفاده: مهندسی داده Use Case : Data Engineering

Kafka Stream & Kafka Connect Kafka Stream & Kafka Connect

• نمای کلی کد Code Overview

• کد دست در Code Hands on

• نکته: مبدل را لغو کنید Tip : Override Converter

• سینک Elasticsearch Elasticsearch Sink

Kafka Stream & Kafka Connect Kafka Stream & Kafka Connect

رابط کاربری کافکا Kafka User Interface

• رابط کاربری کافکا Kafka User Interface

• نگاهی یواشکی به Conductor Sneak Peek on Conduktor

رابط کاربری کافکا Kafka User Interface

پشته کافکا بیشتر More Kafka Stack

• آنچه ما یاد خواهیم گرفت What We Will Learn

• راه اندازی بیشتر کافکا پشته Setup More Kafka Stack

پشته کافکا بیشتر More Kafka Stack

پیام و طرحواره Message & Schema

• اشکال JSON JSON Drawback

• نکته: داده های باینری Tip : Binary Data

• نکته: پیام بزرگ Tip : Large Message

• نیاز به طرحواره The Need for Schema

• رجیستری طرحواره Schema Registry

پیام و طرحواره Message & Schema

آورو Avro

• Avro چیست What Is Avro

• نظریه Avro Avro Theory

آورو Avro

Avro Hands On Avro Hands On

• سلام آورو Hello Avro

• جنریک Avro Generic Avro

• Avro خاص Specific Avro

• Avro از موجود Avro From Existing

• ضبط تو در تو Nested Record

• از JSON تا Avro From JSON to Avro

• ابزار Avro Avro Tool

Avro Hands On Avro Hands On

Schema Evolution & Schema Registry Schema Evolution & Schema Registry

• Schema Evolution چیست؟ What is Schema Evolution

• تکامل طرحواره - Hands On Schema Evolution - Hands On

• Schema Registry چیست؟ What is Schema Registry

• رجیستری طرحواره - رابط کاربری Schema Registry - User Interface

• رجیستری طرحواره - Hands On Schema Registry - Hands On

Schema Evolution & Schema Registry Schema Evolution & Schema Registry

Avro & Spring Hands On Avro & Spring Hands On

• شروع شدن Getting Started

• Avro Producer 1 Avro Producer 1

• Avro Consumer 1 Avro Consumer 1

• Avro Producer & Consumer 2 Avro Producer & Consumer 2

• جریان کافکا Kafka Stream

• سازگار با عقب Backward Compatible Hands On

• Forward Compatible Hands On Forward Compatible Hands On

• سازگاری کامل و نکات Full Compatible & Tips

Avro & Spring Hands On Avro & Spring Hands On

Schema Registry API Schema Registry API

• نگاه سریع در Schema Reqistry API Quick Look on Schema Reqistry API

Schema Registry API Schema Registry API

Kafka Connect & Schema Registry Kafka Connect & Schema Registry

• بررسی اجمالی Overview

• منبع اتصال و مصرف کننده Source Connector & Consumer

• تهيه كننده Producer

• رابط سینک Sink Connector

Kafka Connect & Schema Registry Kafka Connect & Schema Registry

پروکسی Kafka REST Kafka REST Proxy

• Kafka REST Proxy چیست؟ What Is Kafka REST Proxy

• خوشه و کارگزار Cluster & Broker

• موضوع Topic

• تولید باینری Produce Binary

• باینری مصرف کنید Consume Binary

• تولید و مصرف JSON Produce & Consume JSON

• Avro را تولید و مصرف کنید Produce & Consume Avro

پروکسی Kafka REST Kafka REST Proxy

KsqlDB KsqlDB

• مقدمه ای بر ksqlDB Introduction to ksqlDB

• تعامل با ksqlDB Interact With ksqlDB

• مرجع نحو ksqlDB ksqlDB Syntax Reference

• موارد استفاده Use Cases

KsqlDB KsqlDB

ksqlDB پایه Basic ksqlDB

• سلام ksqlDB Hello ksqlDB

• جریان اصلی ksqlDB Basic ksqlDB Stream

• انواع داده ها Data Types

• کلید جریان و جدول Stream & Table Key

ksqlDB پایه Basic ksqlDB

ksqlDB - کالا ksqlDB - Commodity

• گام اول First Step

• جایگزین کلید ردیف Row Key Alternative

• الزامات اضافی Additional Requirements

• به هر مکان پاداش دهید Reward Each Location

• فایل اسکریپت را اجرا کنید Run Script File

• فراخوانی API یا سایر فرآیندها Calling API or Other Process

• پردازش بیشتر تقلب Further Fraud Processing

ksqlDB - کالا ksqlDB - Commodity

ksqlDB REST API ksqlDB REST API

• KsqlDB REST API KsqlDB REST API

ksqlDB REST API ksqlDB REST API

ksqlDB - بازخورد ksqlDB - Feedback

• آیا ما به اندازه کافی خوب هستیم؟ Are We Good Enough?

• این بازخورد متعلق به چه کسی است؟ Who Owns This Feedback?

• بازخورد خوب یا بازخورد بد؟ Good Feedback or Bad Feedback?

• گروه با استفاده از جدول Group Using Table

• ارسال و ادامه Send and Continue

• به طور کلی خوب (یا بد) Overall Good (or Bad)

ksqlDB - بازخورد ksqlDB - Feedback

درج داده با استفاده از KsqlDB Insert Data Using KsqlDB

• درج داده با استفاده از KsqlDB Insert Data Using KsqlDB

درج داده با استفاده از KsqlDB Insert Data Using KsqlDB

ksqlDB - مشتری ksqlDB - Customer

• وب و موبایل Web & Mobile

• سبد خرید و لیست علاقه مندی ها Cart & Wishlist

ksqlDB - مشتری ksqlDB - Customer

Pull Query Pull Query

• Pull Query Pull Query

Pull Query Pull Query

ksqlDB - جریان فروش فلش ksqlDB - Flash Sale Stream

• آخرین فید داده Most Recent Data Feed

• مهر زمان Timestamp

• میانگین امتیاز Average Rating

• رتبه بندی تفصیلی Detailed Rating

ksqlDB - جریان فروش فلش ksqlDB - Flash Sale Stream

ksqlDB - موجودی ksqlDB - Inventory

• جمع کردن رکوردها/تفریق مقدار Summing Records / Subtracting Value

• استخراج کننده مهر زمانی Timestamp Extractor

• پنجره زمان غلت Tumbling Time Window

• پنجره زمان پرش Hopping Time Window

ksqlDB - موجودی ksqlDB - Inventory

ksqlDB - پیوستن به جریان سفارش و پرداخت ksqlDB - Joining Order & Payment Stream

• Inner Join Stream/Stream Inner Join Stream / Stream

• چپ پیوستن به جریان/جریان Left Join Stream / Stream

• خروجی پیوستن به جریان/جریان Outer Join Stream / Stream

ksqlDB - پیوستن به جریان سفارش و پرداخت ksqlDB - Joining Order & Payment Stream

ksqlDB - پیوستن به دو جدول رأی ksqlDB - Joining Two Vote Tables

• میز اتصال داخلی/جدول Inner Join Table / Table

• جدول عضویت چپ/جدول Left Join Table / Table

• میز اتصال خارجی/جدول Outer Join Table / Table

ksqlDB - پیوستن به دو جدول رأی ksqlDB - Joining Two Vote Tables

ksqlDB - پیوستن به جریان و جدول ksqlDB - Joining Stream & Table

• Inner Join Stream/Table Inner Join Stream / Table

• چپ پیوستن به جریان/جدول Left Join Stream / Table

• پارتیشن مشترک جریان/جدول Stream / Table Co-Partition

ksqlDB - پیوستن به جریان و جدول ksqlDB - Joining Stream & Table

ksqlDB - دقیقا یک بار معنایی ksqlDB - Exactly Once Semantic

• فعال کردن دقیقا یک بار Enabling Exactly Once

ksqlDB - دقیقا یک بار معنایی ksqlDB - Exactly Once Semantic

نوشتن عملکردهای سفارشی ksqlDB Writing ksqlDB Custom Functionalities

• تابع تعریف شده توسط کاربر (UDF) User Defined Function (UDF)

• تابع جدولی تعریف شده توسط کاربر (UDTF) User Defined Tabular Function (UDTF)

• عملکرد تجمیع تعریف شده توسط کاربر (UDAF) User Defined Aggregation Function (UDAF)

نوشتن عملکردهای سفارشی ksqlDB Writing ksqlDB Custom Functionalities

ksqlDB & Schema Registry ksqlDB & Schema Registry

• ksqlDB & Schema Registry ksqlDB & Schema Registry

• Avro در ksqlDB Avro on ksqlDB

• نوشتن Avro Schema Writing Avro Schema

• تبدیل Avro-Json Avro-Json Conversion

ksqlDB & Schema Registry ksqlDB & Schema Registry

KsqlDB & Kafka Connect KsqlDB & Kafka Connect

• KsqlDB & Kafka Connect KsqlDB & Kafka Connect

KsqlDB & Kafka Connect KsqlDB & Kafka Connect

سرویس گیرنده جاوا KsqlDB KsqlDB Java Client

• سرویس گیرنده جاوا KsqlDB KsqlDB Java Client

سرویس گیرنده جاوا KsqlDB KsqlDB Java Client

پایان دوره Course Wrap Up

• پایان دوره Course Wrap Up

پایان دوره Course Wrap Up

منابع و مرجع Resources & Reference

• کد منبع و اسکریپت ها را دانلود کنید Download Source Code & Scripts

• کدهای تخفیف و پاداش Discount Codes & Bonus

منابع و مرجع Resources & Reference