آموزش کافکا کانکت - ساخت خطوط لوله داده با کافکا - آخرین آپدیت

سرفصل ها و درس ها

Introduction

• Kafka Connect چیست؟ What is Kafka Connect?

• چه زمانی و چرا باید از Kafka Connect استفاده کنیم؟ When and Why to use Kafka Connect?

• اجزای اصلی Kafka Connect: کارگرها، کانکتورها و وظایف Kafka Connect Core Components: Workers, Connectors, and Tasks

• اجزای کلیدی Kafka Connect: Transforms، Converters Kafka Connect Key Components: Transforms, Converters

• آزمون - Kafka Connect و اجزای اصلی آن Quiz - Kafka Connect and its Core Components

نرم‌افزار Software

• دانلود Apache Kafka Download Apache Kafka

• نصب Docker Install Docker

• اجرای MySQL در کانتینر Docker Run MySQL in Docker Container

• MySQL: ایجاد پایگاه داده، جدول پایگاه داده و درج یک رکورد جدید MySQL: Create database, database table and insert a new record.

• اجرای PostgreSQL در کانتینر Docker Run PostgreSQL in Docker Container

• PostgreSQL: ایجاد پایگاه داده، جدول پایگاه داده و درج یک رکورد جدید PostgreSQL: Create database, database table, and insert a new record

خوشه Apache Kafka Apache Kafka Cluster

• فایل Docker compose برای خوشه Apache Kafka Docker compose file for Apache Kafka cluster

• شروع خوشه Apache Kafka در Docker در Mac Starting Apache Kafka Cluster in Docker on Mac

• شروع خوشه Apache Kafka در Docker در ویندوز Starting Apache Kafka Cluster in Docker on Windows

کانکتورهای Kafka Connect Kafka Connect Connectors

• مقدمه‌ای بر کانکتورهای Kafka Connect Introduction to Kafka Connect Connectors

• دانلود کانکتور Confluent JDBC Download Confluent JDBC Connector

• دانلود کانکتور MySQL Download MySQL Connector

• دانلود کانکتور PostgreSQL Download PostgreSQL connector

حالت Standalone Kafka Connect - استفاده از اسکریپت‌های CLI Kafka Connect Standalone mode - Using CLI scripts

• مقدمه‌ای بر اجرای Kafka Connect در حالت standalone Introduction to running Kafka Connect in a standalone mode

• پیکربندی کارگر Kafka Connect: حالت Standalone Kafka Connect worker configuration: Standalone mode

• آماده‌سازی پیکربندی کانکتور منبع MySQL Prepare MySQL Source Connector Configuration

• اجرای Kafka Connect در حالت Standalone Run Kafka Connect in a Standalone mode

• سعی در عملکرد کانکتور منبع Kafka Connect در حالت standalone Trying how Kafka Connect source connector works in a standalone mode

• اگر یک رکورد از یک پایگاه داده منبع حذف کنم، آیا کار می‌کند؟ Will it work if I delete a record from a source database?

• مدیریت بارهای داده بزرگ با Kafka Connect Managing Large Data Loads with Kafka Connect

• بررسی کانکتور Sink Sink Connector review

• پیکربندی کانکتور Sink - PostgreSQL Sink Connector configuration - PostgreSQL

• کانکتور Source و کانکتور Sink - امتحان نحوه عملکرد آن Source Connector & Sink Connector - Trying how it works

حالت Standalone Kafka Connect - در کانتینر Docker Kafka Connect Standalone mode - In Docker container

• فایل Docker Compose برای Kafka Connect Kafka Connect Docker Compose file

• Kafka Connect در کانتینر Docker: پیکربندی Worker Kafka Connect in Docker Container: Worker Configuration

• Kafka Connect در کانتینر Docker: پیکربندی کانکتور JDBC Kafka Connect in Docker Container: JDBC Connector Configuration

• Kafka Connect با Docker Compose: متغیرهای محیطی Kafka Connect with Docker Compose: Environment variables

• شروع Kafka Connect در حالت standalone در کانتینر Docker Starting Kafka Connect in standalone mode in Docker container

خوشه Kafka Connect در حالت Distributed با استفاده از CLI Kafka Connect Cluster in Distributed Mode using CLI

• مقدمه‌ای بر حالت Distributed Kafka Connect Introduction to Kafka Connect Distributed mode

• مباحث داخلی Kafka Connect در حالت Distributed Kafka Connect Internal Topics in Distributed Mode

• آزمون - حالت Distributed Kafka Connect Quiz - Kafka Connect Distributed Mode

• Worker 1 - ایجاد فایل پیکربندی جدید Worker 1 - Creating new configuration file

• Worker 1 - پیکربندی Bootstrap Servers Worker 1 - Bootstrap Servers configuration

• Worker 1 - پیکربندی Group ID Worker 1 - Group ID configuration

• Worker 1 - Key و Value Converters Worker 1 - Key and Value Converters

• Worker 1 - تنظیمات مباحث داخلی Kafka Worker 1 - Kafka internal topics settings

• Worker 1 - پیکربندی API REST Kafka Connect Worker 1 - Kafka Connect REST API configuration

• Worker 1 - پیکربندی مسیر Plugins Worker 1 - Plugins path configuration

• ایجاد فایل پیکربندی برای Worker 2 Creating Configuration file for Worker 2

• اجرای کارگران Kafka Connect در حالت distributed با استفاده از CLI Running Kafka Connect workers in distributed mode using CLI

• بررسی کانکتور Source برای حالت Distributed Review Source Connector for Distributed mode

• استقرار کانکتور Source با استفاده از API REST Deploying Source Connector using REST API

• بررسی کانکتور Sink برای حالت Distributed Review Sink Connector for Distributed Mode

• استقرار کانکتور Sink با استفاده از API REST Deploying Sink Connector using REST API

• حالت Distributed Kafka Connect - امتحان نحوه عملکرد آن Kafka Connect Distributed mode - Trying how it works

مدیریت خوشه Kafka Connect در حال اجرا در حالت Distributed با API REST Managing Kafka Connect Cluster running in Distributed mode with REST API

• لیست کانکتورهای مستقر شده با Endpoint /connectors Kafka Connect List Deployed Connectors with the Kafka Connect /connectors Endpoint

• دریافت جزئیات پیکربندی Connector Get Connector Configuration Details

• بررسی وضعیت کانکتور Kafka Connect Checking Kafka Connect Connector status

• توقف یا از سرگیری کانکتور Kafka Connect Pause or Resume Kafka Connect Connector

• به‌روزرسانی پیکربندی کانکتور Kafka Connect Updating Kafka Connect Connector configuration

• حذف کانکتور Kafka Connect با استفاده از API REST Deleting Kafka Connect Connector using REST API

خوشه Kafka Connect در حالت Distributed با Docker Kafka Connect Cluster in Distributed Mode with Docker

• مقدمه‌ای بر اجرای Kafka Connect در حالت distributed با Docker Introduction to running Kafka Connect in distributed mode with Docker

• مقدمه‌ای بر فایل Docker و Image Docker Introduction to Docker File and Docker Image

• ایجاد فایل Docker برای Kafka Connect Creating Docker file for Kafka Connect

• ساخت Image Docker برای Kafka Connect Building Kafka Connect Docker image

• [اختیاری] Push Image Docker به Docker Hub [Optional] Push Docker Image to Docker Hub

• فایل Environment برای حالت distributed Kafka Connect An Environment file for Kafka Connect distributed mode

• اجرای کارگر 1 Kafka Connect در کانتینر Docker Run Kafka Connect worker 1 in Docker container

• اجرای کارگر 2 Kafka Connect در کانتینر Docker Run Kafka Connect worker 2 in Docker container

• استقرار کانکتور Kafka در گروهی از کارگران در حال اجرا در حالت distributed Deploy Kafka Connector to a group of workers running in distributed mode

نقش بازی کردن Role Play

• مصاحبه با یک استخدام‌کننده فنی - نقش بازی کردن An interview with a technical recruiter - Role Play