آموزش Apache Kafka Series - Kafka Connect Hands-on Learning

سرفصل ها و درس ها

معرفی دوره Course Introduction

• پیش نیازهای مهم Important Pre-Requisites

• اهداف دوره Course Objectives

• ساختار دوره Course Structure

• درباره مربی شما About Your Instructor

معرفی دوره Course Introduction

• پیش نیازهای مهم Important Pre-Requisites

• اهداف دوره Course Objectives

• ساختار دوره Course Structure

• درباره مربی شما About Your Instructor

دانلود کد Code Download

• دانلود کد Code Download

دانلود کد Code Download

• دانلود کد Code Download

مفاهیم اتصال کافکا Kafka Connect Concepts

• کافکا کانکت چیست؟ What is Kafka Connect?

• طراحی معماری کافکا کانکت Kafka Connect Architecture Design

• اتصالات، پیکربندی، وظایف، کارگران Connectors, Configuration, Tasks, Workers

• حالت مستقل در مقابل حالت توزیع شده Standalone vs Distributed Mode

• معماری توزیع شده در جزئیات Distributed Architecture in Details

مفاهیم اتصال کافکا Kafka Connect Concepts

• کافکا کانکت چیست؟ What is Kafka Connect?

• طراحی معماری کافکا کانکت Kafka Connect Architecture Design

• اتصالات، پیکربندی، وظایف، کارگران Connectors, Configuration, Tasks, Workers

• حالت مستقل در مقابل حالت توزیع شده Standalone vs Distributed Mode

• معماری توزیع شده در جزئیات Distributed Architecture in Details

راه اندازی و راه اندازی Kafka Connect Cluster Setup and Launch Kafka Connect Cluster

• اطلاعات مهم در مورد نصب Important information about installation

• داکر در مک (نسخه های اخیر) Docker on Mac (recent versions)

• جعبه ابزار Docker در مک (نسخه های قدیمی تر) Docker Toolbox on Mac (older versions)

• داکر در لینوکس (به عنوان مثال اوبونتو) Docker on Linux (Ubuntu as an example)

• داکر در ویندوز 10 64 بیتی Docker on Windows 10 64bit

• جعبه ابزار Docker در ویندوز (نسخه های قدیمی تر) Docker Toolbox on Windows (older versions)

• نکته مهم برای کاربران Docker Toolbox Important note for Docker Toolbox users

• راه اندازی Kafka Connect Cluster با استفاده از Docker Compose Starting Kafka Connect Cluster using Docker Compose

راه اندازی و راه اندازی Kafka Connect Cluster Setup and Launch Kafka Connect Cluster

• اطلاعات مهم در مورد نصب Important information about installation

• داکر در مک (نسخه های اخیر) Docker on Mac (recent versions)

• جعبه ابزار Docker در مک (نسخه های قدیمی تر) Docker Toolbox on Mac (older versions)

• داکر در لینوکس (به عنوان مثال اوبونتو) Docker on Linux (Ubuntu as an example)

• داکر در ویندوز 10 64 بیتی Docker on Windows 10 64bit

• جعبه ابزار Docker در ویندوز (نسخه های قدیمی تر) Docker Toolbox on Windows (older versions)

• نکته مهم برای کاربران Docker Toolbox Important note for Docker Toolbox users

• راه اندازی Kafka Connect Cluster با استفاده از Docker Compose Starting Kafka Connect Cluster using Docker Compose

عیب یابی Kafka Connect Troubleshooting Kafka Connect

• کار نمیکند! چه باید کرد؟ It's not working! What to do?

• از کجا لاگ ها را مشاهده کنیم؟ Where to view logs?

• پرسیدن سوال در پرسش و پاسخ Asking a question in the Q&A

عیب یابی Kafka Connect Troubleshooting Kafka Connect

• کار نمیکند! چه باید کرد؟ It's not working! What to do?

• از کجا لاگ ها را مشاهده کنیم؟ Where to view logs?

• پرسیدن سوال در پرسش و پاسخ Asking a question in the Q&A

منبع اتصال کافکا - Hands On Kafka Connect Source - Hands On

• طراحی معماری منبع کافکا کانکت Kafka Connect Source Architecture Design

• اتصال منبع FileStream - حالت مستقل - قسمت 1 FileStream Source Connector - Standalone Mode - Part 1

• اتصال منبع FileStream - حالت مستقل - قسمت 2 FileStream Source Connector - Standalone Mode - Part 2

• اتصال منبع FileStream - حالت توزیع شده FileStream Source Connector - Distributed Mode

• لیست کانکتورهای موجود List of Available Connectors

• رابط منبع توییتر - حالت توزیع شده - قسمت 1 Twitter Source Connector - Distributed Mode - Part 1

• رابط منبع توییتر - حالت توزیع شده - قسمت 2 Twitter Source Connector - Distributed Mode - Part 2

• خلاصه بخش Section Summary

منبع اتصال کافکا - Hands On Kafka Connect Source - Hands On

• طراحی معماری منبع کافکا کانکت Kafka Connect Source Architecture Design

• اتصال منبع FileStream - حالت مستقل - قسمت 1 FileStream Source Connector - Standalone Mode - Part 1

• اتصال منبع FileStream - حالت مستقل - قسمت 2 FileStream Source Connector - Standalone Mode - Part 2

• اتصال منبع FileStream - حالت توزیع شده FileStream Source Connector - Distributed Mode

• لیست کانکتورهای موجود List of Available Connectors

• رابط منبع توییتر - حالت توزیع شده - قسمت 1 Twitter Source Connector - Distributed Mode - Part 1

• رابط منبع توییتر - حالت توزیع شده - قسمت 2 Twitter Source Connector - Distributed Mode - Part 2

• خلاصه بخش Section Summary

سینک کانکت کافکا - Hands On Kafka Connect Sink - Hands On

• طراحی معماری سینک کافکا کانکت Kafka Connect Sink Architecture Design

• اتصال سینک ElasticSearch - حالت توزیع شده - قسمت 1 ElasticSearch Sink Connector - Distributed Mode - Part 1

• اتصال سینک ElasticSearch - حالت توزیع شده - قسمت 2 ElasticSearch Sink Connector - Distributed Mode - Part 2

• Kafka Connect REST API Kafka Connect REST API

• رابط سینک JDBC - حالت توزیع شده JDBC Sink Connector - Distributed Mode

سینک کانکت کافکا - Hands On Kafka Connect Sink - Hands On

• طراحی معماری سینک کافکا کانکت Kafka Connect Sink Architecture Design

• اتصال سینک ElasticSearch - حالت توزیع شده - قسمت 1 ElasticSearch Sink Connector - Distributed Mode - Part 1

• اتصال سینک ElasticSearch - حالت توزیع شده - قسمت 2 ElasticSearch Sink Connector - Distributed Mode - Part 2

• Kafka Connect REST API Kafka Connect REST API

• رابط سینک JDBC - حالت توزیع شده JDBC Sink Connector - Distributed Mode

نوشتن رابط کافکای خود Writing your own Kafka Connector

• هدف بخش: GitHubSourceConnector Goal of the section: GitHubSourceConnector

• پیدا کردن کد و نصب نرم افزار مورد نیاز Finding the code and installing required software

• شرح API مسائل GitHub Description of the GitHub Issues API

• استفاده از کهن الگوی Maven برای شروع Using the Maven Archetype to get started

• تعاریف پیکربندی Config Definitions

• کلاس اتصال Connector Class

• نوشتن طرحواره Writing a schema

• مدل داده برای اشیاء ما Data Model for our Objects

• در حال نوشتن کلاینت HTTP API GitHub ما Writing our GitHub API HTTP Client

• پارتیشن منبع و آفست منبع Source Partition & Source Offsets

• وظیفه منبع Source Task

• ساخت و اجرای کانکتور در حالت مستقل Building and running a Connector in Standalone Mode

• دستور برای سخنرانی بعدی Command for next lecture

• در حال استقرار رابط ما در خوشه Landoop Deploying our Connector on the Landoop cluster

• منابع بیشتر برای توسعه دهندگان More Resources for Developers

نوشتن رابط کافکای خود Writing your own Kafka Connector

• هدف بخش: GitHubSourceConnector Goal of the section: GitHubSourceConnector

• پیدا کردن کد و نصب نرم افزار مورد نیاز Finding the code and installing required software

• شرح API مسائل GitHub Description of the GitHub Issues API

• استفاده از کهن الگوی Maven برای شروع Using the Maven Archetype to get started

• تعاریف پیکربندی Config Definitions

• کلاس اتصال Connector Class

• نوشتن طرحواره Writing a schema

• مدل داده برای اشیاء ما Data Model for our Objects

• در حال نوشتن کلاینت HTTP API GitHub ما Writing our GitHub API HTTP Client

• پارتیشن منبع و آفست منبع Source Partition & Source Offsets

• وظیفه منبع Source Task

• ساخت و اجرای کانکتور در حالت مستقل Building and running a Connector in Standalone Mode

• دستور برای سخنرانی بعدی Command for next lecture

• در حال استقرار رابط ما در خوشه Landoop Deploying our Connector on the Landoop cluster

• منابع بیشتر برای توسعه دهندگان More Resources for Developers

مفاهیم پیشرفته Advanced Concepts

• راه اندازی Kafka Connect در تولید (1/2) Setting up Kafka Connect in Production (1/2)

• راه اندازی Kafka Connect در تولید (2/2) Setting up Kafka Connect in Production (2/2)

• بعدش چی؟ What's next?

• تبریک و تشکر از شما! Congratulations and Thank you!

• متشکرم! THANK YOU!

• سخنرانی پاداش Bonus Lecture

مفاهیم پیشرفته Advanced Concepts

• راه اندازی Kafka Connect در تولید (1/2) Setting up Kafka Connect in Production (1/2)

• راه اندازی Kafka Connect در تولید (2/2) Setting up Kafka Connect in Production (2/2)

• بعدش چی؟ What's next?

• تبریک و تشکر از شما! Congratulations and Thank you!

• متشکرم! THANK YOU!

• سخنرانی پاداش Bonus Lecture