Apache Kafka Series - Kafka Connect Hands-on Learning [ویدئو]

Apache Kafka Series - Kafka Connect Hands-on Learning [Video]

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: یک دوره جامع و جدید برای یادگیری چارچوب Apache Kafka Connect با آموزش عملی. Kafka Connect ابزاری برای استریم داده های مقیاس پذیر و قابل اعتماد بین آپاچی کافکا و سایر سیستم های داده است. Apache Kafka Connect یک چارچوب رایج برای تولید کنندگان و مصرف کنندگان Apache Kafka است. Apache Kafka Connect یک API، زمان اجرا و سرویس REST را ارائه می دهد تا توسعه دهندگان را قادر می سازد تا رابط هایی را تعریف کنند که مجموعه داده های بزرگ را به داخل و خارج از Apache Kafka در زمان واقعی منتقل می کند. به لطف توسعه آپاچی کافکا، مفاهیم قوی مانند تحمل خطا و کشش را به ارث برده است. Kafka Connect می‌تواند کل پایگاه‌داده‌ها را جذب کند، معیارها را جمع‌آوری کند، و گزارش‌ها را از تمام سرورهای برنامه شما در موضوعات آپاچی کافکا جمع‌آوری کند، و داده‌ها را برای پردازش جریانی با تأخیر کم در دسترس قرار دهد. Kafka Connect ادغام سایر سیستم های داده با Apache Kafka را استاندارد می کند و توسعه، استقرار و مدیریت کانکتور را ساده می کند. در این دوره آموزشی با تمرینات عملی، پیاده سازی، پیکربندی و مدیریت کانکتور کافکا را می آموزیم. همچنین می‌خواهیم حالت‌های توزیع‌شده و مستقل را ببینیم تا به یک سرویس بزرگ با مدیریت مرکزی که از کل سازمان پشتیبانی می‌کند یا به توسعه، آزمایش و استقرار تولید کوچک کاهش دهیم. رابط REST برای ارسال و مدیریت کانکتورها به خوشه Kafka Connect شما از طریق REST APIهای آسان استفاده می شود. فایل های منبع به مخزن GitHub در https://github.com/packtpublishing/apache-kafka-series---kafka-connect-hands-on-learning اضافه می شوند - کانکتورهای منبع و سینک Apache Kafka را پیکربندی و اجرا کنید - مفاهیم پشت Kafka Connect و معماری Kafka Connect را بیاموزید - با استفاده از Docker Compose یک خوشه Kafka Connect راه اندازی کنید - اتصالات کافکا را در حالت های مستقل و توزیع شده مستقر کنید - توسعه دهندگان رابط Kafka خود را بنویسید که می خواهند چارچوب Apache Kafka Connect را یاد بگیرند و با آن آشنا شوند. حرفه ای هایی که در اکوسیستم آپاچی کافکا و مفاهیم اصلی اولیه مهارت دارند. معمارانی که می خواهند بفهمند چگونه کافکا کانکت در معماری راه حل آنها قرار می گیرد. - در این دوره آموزشی، شما خواهید آموخت که Kafka Connect چیست، معماری Kafka Connect، چگونه یک رابط Apache Kafka را به صورت مستقل و در حالت های توزیع شده مستقر کنید. * - نحوه راه اندازی و راه اندازی یک خوشه Kafka Connect با استفاده از Docker Compose. * - در پایان این دوره می توانید کانکتورهای منبع کافکا کانکت و کانکتورهای سینک کافکا کانکت را مستقر کنید. *

سرفصل ها و درس ها

معرفی دوره Course Introduction

  • پیش نیازهای مهم Important Pre-Requisites

  • اهداف دوره Course Objectives

  • ساختار دوره Course Structure

  • درباره مربی شما About Your Instructor

مفاهیم اتصال کافکا Kafka Connect Concepts

  • کافکا کانکت چیست؟ What is Kafka Connect?

  • طراحی معماری کافکا کانکت Kafka Connect Architecture Design

  • اتصالات، پیکربندی، وظایف، کارگران Connectors, Configuration, Tasks, Workers

  • حالت مستقل در مقابل حالت توزیع شده Standalone vs Distributed Mode

  • معماری توزیع شده در جزئیات Distributed Architecture in Details

راه اندازی و راه اندازی Kafka Connect Cluster Setup and Launch Kafka Connect Cluster

  • داکر در مک (نسخه های اخیر) Docker on Mac (recent versions)

  • جعبه ابزار Docker در مک (نسخه های قدیمی تر) Docker Toolbox on Mac (older versions)

  • داکر در لینوکس (به عنوان مثال اوبونتو) Docker on Linux (Ubuntu as an example)

  • داکر در ویندوز 10 64 بیتی Docker on Windows 10 64bit

  • جعبه ابزار Docker در ویندوز (نسخه های قدیمی تر) Docker Toolbox on Windows (older versions)

  • راه اندازی Kafka Connect Cluster با استفاده از Docker Compose Starting Kafka Connect Cluster using Docker Compose

عیب یابی Kafka Connect Troubleshooting Kafka Connect

  • کار نمیکند! چه باید کرد؟ It's not working! What to do?

  • از کجا لاگ ها را مشاهده کنیم؟ Where to view logs?

منبع اتصال کافکا - Hands On Kafka Connect Source - Hands On

  • طراحی معماری منبع کافکا کانکت Kafka Connect Source Architecture Design

  • اتصال منبع FileStream - حالت مستقل - قسمت 1 FileStream Source Connector - Standalone Mode - Part 1

  • اتصال منبع FileStream - حالت مستقل - قسمت 2 FileStream Source Connector - Standalone Mode - Part 2

  • اتصال منبع FileStream - حالت توزیع شده FileStream Source Connector - Distributed Mode

  • لیست کانکتورهای موجود List of Available Connectors

  • رابط منبع توییتر - حالت توزیع شده - قسمت 1 Twitter Source Connector - Distributed Mode - Part 1

  • رابط منبع توییتر - حالت توزیع شده - قسمت 2 Twitter Source Connector - Distributed Mode - Part 2

  • خلاصه بخش Section Summary

سینک کانکت کافکا - Hands On Kafka Connect Sink - Hands On

  • طراحی معماری سینک کافکا کانکت Kafka Connect Sink Architecture Design

  • اتصال سینک ElasticSearch - حالت توزیع شده - قسمت 1 ElasticSearch Sink Connector - Distributed Mode - Part 1

  • اتصال سینک ElasticSearch - حالت توزیع شده - قسمت 2 ElasticSearch Sink Connector - Distributed Mode - Part 2

  • Kafka Connect REST API Kafka Connect REST API

  • رابط سینک JDBC - حالت توزیع شده JDBC Sink Connector - Distributed Mode

نوشتن رابط کافکای خودتان Writing your own Kafka Connector

  • هدف بخش: GitHubSourceConnector Goal of the section: GitHubSourceConnector

  • پیدا کردن کد و نصب نرم افزار مورد نیاز Finding the code and installing required software

  • شرح API مسائل GitHub Description of the GitHub Issues API

  • استفاده از کهن الگوی Maven برای شروع Using the Maven Archetype to get started

  • تعاریف پیکربندی Config Definitions

  • کلاس اتصال Connector Class

  • نوشتن طرحواره Writing a schema

  • مدل داده برای اشیاء ما Data Model for our Objects

  • در حال نوشتن کلاینت HTTP API GitHub ما Writing our GitHub API HTTP Client

  • پارتیشن منبع و آفست منبع Source Partition & Source Offsets

  • وظیفه منبع Source Task

  • ساخت و اجرای کانکتور در حالت مستقل Building and running a Connector in Standalone Mode

  • در حال استقرار رابط ما در خوشه Landoop Deploying our Connector on the Landoop cluster

  • منابع بیشتر برای توسعه دهندگان More Resources for Developers

مفاهیم پیشرفته Advanced Concepts

  • راه اندازی Kafka Connect در تولید (1/2) Setting up Kafka Connect in Production (1/2)

  • راه اندازی Kafka Connect در تولید (2/2) Setting up Kafka Connect in Production (2/2)

  • بعدش چی؟ What's next?

نمایش نظرات

Packtpub یک ناشر دیجیتالی کتاب‌ها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرم‌افزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتاب‌ها، ویدیوها و دوره‌های آموزشی می‌پردازد که به توسعه‌دهندگان و متخصصان فناوری اطلاعات کمک می‌کند تا مهارت‌های خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامه‌نویسی، توسعه وب، داده‌کاوی، امنیت سایبری و هوش مصنوعی را پوشش می‌دهد. محتوای این منابع به صورت کاربردی و به‌روز ارائه می‌شود تا کاربران بتوانند دانش و توانایی‌های لازم برای موفقیت در پروژه‌های عملی و حرفه‌ای خود را کسب کنند.

Apache Kafka Series - Kafka Connect Hands-on Learning [ویدئو]
جزییات دوره
4 h 14 m
47
Packtpub Packtpub
(آخرین آپدیت)
از 5
ندارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Stéphane Maarek Stéphane Maarek

Stéphane Maarek یک معمار راه حل، مشاور و توسعه دهنده نرم افزار است که علاقه خاصی به همه چیزهای مربوط به داده های بزرگ و تجزیه و تحلیل دارد. او همچنین یک مربی پرفروش Udemy برای دوره های خود در Apache Kafka، Apache NiFi و AWS Lambda است. او عاشق آپاچی کافکا است و مرتباً در پروژه آپاچی کافکا مشارکت می کند. استفان همچنین یک پست وبلاگ مهمان نوشته است که در وب سایت Confluent، شرکت سازنده آپاچی کافکا، نمایش داده شده است. او همچنین یک معمار راه حل های تایید شده AWS است و سال ها تجربه با فناوری هایی مانند Apache Kafka، Apache NiFi، Apache Spark، Hadoop، PostgreSQL، Tableau، Spotfire، Docker، Ansible و غیره دارد.

Stéphane Maarek Stéphane Maarek

Stéphane Maarek یک معمار راه حل، مشاور و توسعه دهنده نرم افزار است که علاقه خاصی به همه چیزهای مربوط به داده های بزرگ و تجزیه و تحلیل دارد. او همچنین یک مربی پرفروش Udemy برای دوره های خود در Apache Kafka، Apache NiFi و AWS Lambda است. او عاشق آپاچی کافکا است و مرتباً در پروژه آپاچی کافکا مشارکت می کند. استفان همچنین یک پست وبلاگ مهمان نوشته است که در وب سایت Confluent، شرکت سازنده آپاچی کافکا، نمایش داده شده است. او همچنین یک معمار راه حل های تایید شده AWS است و سال ها تجربه با فناوری هایی مانند Apache Kafka، Apache NiFi، Apache Spark، Hadoop، PostgreSQL، Tableau، Spotfire، Docker، Ansible و غیره دارد.