آموزش استریم و یکپارچه‌سازی طرح‌های داده (Data Schemas) با استفاده از CDC - آخرین آپدیت

دانلود Stream & Unify Data Schemas with CDC

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: تصور کنید تغییرات طرح داده (Schema) را با اطمینان کامل اعمال کنید؛ با این دانش که خط لوله (Pipeline) شما آن‌ها را به درستی مدیریت می‌کند، مصرف‌کنندگان داده‌ها دچار مشکل نمی‌شوند و یکپارچگی داده‌های شما حفظ می‌شود. این همان تفاوت بین «امید داشتن» به کارکرد خط لوله CDC و «اطمینان داشتن» به آن است. در این دوره، شما یاد می‌گیرید که چگونه یک خط لوله CDC کاربردی و مستقل از فروشنده بسازید و از طرح‌های در حال تغییر منابع، یک جدول واحد و یکپارچه ایجاد کنید. با شروع از استریم تغییرات Debezium از Postgres/MySQL به Kafka، از Schema Registry برای اعمال سازگاری استفاده خواهید کرد و سپس SQL استریمینگ را در Flink (یا ksqlDB) برای نگاشت، تبدیل و ادغام فیلدهای متفاوت در یک مدل استاندارد (Canonical Model) به کار می‌گیرید. در نهایت، نتایج را در یک جدول Apache Iceberg ذخیره کرده و به‌صورت آنی با Trino کوئری می‌گیرید. در طول مسیر، استراتژی‌های عملی برای مدیریت تغییرات ناخواسته طرح (Schema Drift)، انتخاب حالت‌های سازگاری (Backward/Full) و جلوگیری از اختلال در مصرف‌کنندگان پایین‌دستی را خواهید آموخت. تمامی مراحل به‌صورت محلی با Docker اجرا می‌شوند تا بتوانید آن‌ها را در هر محیطی بازسازی کرده و الگوهای مشابه را در زیرساخت ابری خود پیاده‌سازی کنید. این دوره برای مهندسانی طراحی شده است که با Kafka، Debezium و streaming SQL کار می‌کنند و به مهارت‌های تکامل طرح (Schema Evolution) و مدل‌سازی استاندارد نیاز دارند. پیش‌نیازها: آشنایی با SQL مقدماتی، Docker و مفاهیم پایه Kafka یا استریمینگ داده‌ها. در پایان این دوره، شما قادر خواهید بود یک خط لوله CDC جامع و کوچک پیاده‌سازی کنید که داده‌ها را از یک پایگاه داده منبع استریم کرده و طرح‌های در حال تغییر را در یک جدول واحد و قابل کوئری یکپارچه کند.

سرفصل ها و درس ها

مبانی CDC: ساخت اولین خط لوله استریمینگ CDC Foundations: Building Your First Streaming Pipeline

  • مقدمه و خوش‌آمدگویی Introduction and Welcome

  • از CDC تا تحلیل داده: بررسی جامع معماری CDC to Analytics: Complete Architecture Overview

  • بررسی عمیق جریان داده: از منبع تا Lakehouse Data Flow Deep Dive: Source to Lakehouse

  • پیاده‌سازی عملی: یکپارچه‌سازی طرح‌ها با Streaming SQL Live Build: Unify Schemas with Streaming SQL

بهره‌برداری از خط لوله: قوانین رجیستری و بازیابی Operate the Pipeline: Registry Rules & Recovery

  • از Debezium تا Kafka: اتصال CDC با Schema Registry From Debezium to Kafka: Wiring CDC with Schema Registry

  • ایجاد خطای عمدی در طرح داده و رفع آن Break a Schema on Purpose: And Fix It

  • قابلیت مشاهده (Observability) و حفاظ‌ها Observability & Guardrails

مدل‌های استاندارد، سینک‌های Iceberg و کوئری‌های سریع Canonical Models, Iceberg Sinks & Fast Queries

  • مبانی طرح استاندارد (Canonical Schema) Canonical Schema Basics

  • الگوهای Streaming SQL: تبدیل‌ها، Coalesce، آپدیت‌ها و Joinها Streaming SQL Patterns: Casts, Coalesce, Upserts, Joins

  • ذخیره‌سازی و کوئری با Iceberg و Trino Persist & Query with Iceberg + Trino

  • جمع‌بندی و گام‌های بعدی Recap + Next Steps

نمایش نظرات

آموزش استریم و یکپارچه‌سازی طرح‌های داده (Data Schemas) با استفاده از CDC
جزییات دوره
5h 3m
11
(آخرین آپدیت)
67
- از 5
دارد
دارد
دارد
Chris Croft
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Chris Croft Chris Croft

مربی مدیریت، سخنران، نویسنده