لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش Apache Kafka Series - Kafka Connect Hands-on Learning [ویدئو]
Apache Kafka Series - Kafka Connect Hands-on Learning [Video]
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
یک دوره جامع و جدید برای یادگیری چارچوب Apache Kafka Connect با آموزش عملی. Kafka Connect ابزاری برای استریم داده های مقیاس پذیر و قابل اعتماد بین آپاچی کافکا و سایر سیستم های داده است. Apache Kafka Connect یک چارچوب رایج برای تولید کنندگان و مصرف کنندگان Apache Kafka است. Apache Kafka Connect یک API، زمان اجرا و سرویس REST را ارائه می دهد تا توسعه دهندگان را قادر می سازد تا رابط هایی را تعریف کنند که مجموعه داده های بزرگ را به داخل و خارج از Apache Kafka در زمان واقعی منتقل می کند. به لطف توسعه آپاچی کافکا، مفاهیم قوی مانند تحمل خطا و کشش را به ارث برده است. Kafka Connect میتواند کل پایگاهدادهها را جذب کند، معیارها را جمعآوری کند، و گزارشها را از تمام سرورهای برنامه شما در موضوعات آپاچی کافکا جمعآوری کند، و دادهها را برای پردازش جریانی با تأخیر کم در دسترس قرار دهد. Kafka Connect ادغام سایر سیستم های داده با Apache Kafka را استاندارد می کند و توسعه، استقرار و مدیریت کانکتور را ساده می کند. در این دوره آموزشی با تمرینات عملی، پیاده سازی، پیکربندی و مدیریت کانکتور کافکا را می آموزیم. همچنین میخواهیم حالتهای توزیعشده و مستقل را ببینیم تا به یک سرویس بزرگ با مدیریت مرکزی که از کل سازمان پشتیبانی میکند یا به توسعه، آزمایش و استقرار تولید کوچک کاهش دهیم. رابط REST برای ارسال و مدیریت کانکتورها به خوشه Kafka Connect شما از طریق REST APIهای آسان استفاده می شود.
فایل های منبع به مخزن GitHub در https://github.com/packtpublishing/apache-kafka-series---kafka-connect-hands-on-learning اضافه می شوند - کانکتورهای منبع و سینک Apache Kafka را پیکربندی و اجرا کنید
- مفاهیم پشت Kafka Connect و معماری Kafka Connect را بیاموزید
- با استفاده از Docker Compose یک خوشه Kafka Connect راه اندازی کنید
- اتصالات کافکا را در حالت های مستقل و توزیع شده مستقر کنید
- توسعه دهندگان رابط Kafka خود را بنویسید که می خواهند چارچوب Apache Kafka Connect را یاد بگیرند و با آن آشنا شوند. حرفه ای هایی که در اکوسیستم آپاچی کافکا و مفاهیم اصلی اولیه مهارت دارند. معمارانی که می خواهند بفهمند چگونه کافکا کانکت در معماری راه حل آنها قرار می گیرد. - در این دوره آموزشی، شما خواهید آموخت که Kafka Connect چیست، معماری Kafka Connect، چگونه یک رابط Apache Kafka را به صورت مستقل و در حالت های توزیع شده مستقر کنید. * - نحوه راه اندازی و راه اندازی یک خوشه Kafka Connect با استفاده از Docker Compose. * - در پایان این دوره می توانید کانکتورهای منبع کافکا کانکت و کانکتورهای سینک کافکا کانکت را مستقر کنید. *
سرفصل ها و درس ها
معرفی دوره
Course Introduction
پیش نیازهای مهم
Important Pre-Requisites
اهداف دوره
Course Objectives
ساختار دوره
Course Structure
درباره مربی شما
About Your Instructor
مفاهیم اتصال کافکا
Kafka Connect Concepts
کافکا کانکت چیست؟
What is Kafka Connect?
طراحی معماری کافکا کانکت
Kafka Connect Architecture Design
کار نمیکند! چه باید کرد؟
It's not working! What to do?
از کجا لاگ ها را مشاهده کنیم؟
Where to view logs?
منبع اتصال کافکا - Hands On
Kafka Connect Source - Hands On
طراحی معماری منبع کافکا کانکت
Kafka Connect Source Architecture Design
اتصال منبع FileStream - حالت مستقل - قسمت 1
FileStream Source Connector - Standalone Mode - Part 1
اتصال منبع FileStream - حالت مستقل - قسمت 2
FileStream Source Connector - Standalone Mode - Part 2
اتصال منبع FileStream - حالت توزیع شده
FileStream Source Connector - Distributed Mode
لیست کانکتورهای موجود
List of Available Connectors
رابط منبع توییتر - حالت توزیع شده - قسمت 1
Twitter Source Connector - Distributed Mode - Part 1
رابط منبع توییتر - حالت توزیع شده - قسمت 2
Twitter Source Connector - Distributed Mode - Part 2
خلاصه بخش
Section Summary
سینک کانکت کافکا - Hands On
Kafka Connect Sink - Hands On
طراحی معماری سینک کافکا کانکت
Kafka Connect Sink Architecture Design
اتصال سینک ElasticSearch - حالت توزیع شده - قسمت 1
ElasticSearch Sink Connector - Distributed Mode - Part 1
اتصال سینک ElasticSearch - حالت توزیع شده - قسمت 2
ElasticSearch Sink Connector - Distributed Mode - Part 2
Kafka Connect REST API
Kafka Connect REST API
رابط سینک JDBC - حالت توزیع شده
JDBC Sink Connector - Distributed Mode
نوشتن رابط کافکای خودتان
Writing your own Kafka Connector
هدف بخش: GitHubSourceConnector
Goal of the section: GitHubSourceConnector
پیدا کردن کد و نصب نرم افزار مورد نیاز
Finding the code and installing required software
شرح API مسائل GitHub
Description of the GitHub Issues API
استفاده از کهن الگوی Maven برای شروع
Using the Maven Archetype to get started
تعاریف پیکربندی
Config Definitions
کلاس اتصال
Connector Class
نوشتن طرحواره
Writing a schema
مدل داده برای اشیاء ما
Data Model for our Objects
در حال نوشتن کلاینت HTTP API GitHub ما
Writing our GitHub API HTTP Client
پارتیشن منبع و آفست منبع
Source Partition & Source Offsets
وظیفه منبع
Source Task
ساخت و اجرای کانکتور در حالت مستقل
Building and running a Connector in Standalone Mode
در حال استقرار رابط ما در خوشه Landoop
Deploying our Connector on the Landoop cluster
منابع بیشتر برای توسعه دهندگان
More Resources for Developers
مفاهیم پیشرفته
Advanced Concepts
راه اندازی Kafka Connect در تولید (1/2)
Setting up Kafka Connect in Production (1/2)
راه اندازی Kafka Connect در تولید (2/2)
Setting up Kafka Connect in Production (2/2)
بعدش چی؟
What's next?
نمایش نظرات
Packtpub یک ناشر دیجیتالی کتابها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرمافزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتابها، ویدیوها و دورههای آموزشی میپردازد که به توسعهدهندگان و متخصصان فناوری اطلاعات کمک میکند تا مهارتهای خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامهنویسی، توسعه وب، دادهکاوی، امنیت سایبری و هوش مصنوعی را پوشش میدهد. محتوای این منابع به صورت کاربردی و بهروز ارائه میشود تا کاربران بتوانند دانش و تواناییهای لازم برای موفقیت در پروژههای عملی و حرفهای خود را کسب کنند.
Stéphane Maarek یک معمار راه حل، مشاور و توسعه دهنده نرم افزار است که علاقه خاصی به همه چیزهای مربوط به داده های بزرگ و تجزیه و تحلیل دارد. او همچنین یک مربی پرفروش Udemy برای دوره های خود در Apache Kafka، Apache NiFi و AWS Lambda است. او عاشق آپاچی کافکا است و مرتباً در پروژه آپاچی کافکا مشارکت می کند.
استفان همچنین یک پست وبلاگ مهمان نوشته است که در وب سایت Confluent، شرکت سازنده آپاچی کافکا، نمایش داده شده است. او همچنین یک معمار راه حل های تایید شده AWS است و سال ها تجربه با فناوری هایی مانند Apache Kafka، Apache NiFi، Apache Spark، Hadoop، PostgreSQL، Tableau، Spotfire، Docker، Ansible و غیره دارد.
نمایش نظرات