لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش استریم و یکپارچهسازی طرحهای داده (Data Schemas) با استفاده از CDC
- آخرین آپدیت
دانلود Stream & Unify Data Schemas with CDC
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
تصور کنید تغییرات طرح داده (Schema) را با اطمینان کامل اعمال کنید؛ با این دانش که خط لوله (Pipeline) شما آنها را به درستی مدیریت میکند، مصرفکنندگان دادهها دچار مشکل نمیشوند و یکپارچگی دادههای شما حفظ میشود. این همان تفاوت بین «امید داشتن» به کارکرد خط لوله CDC و «اطمینان داشتن» به آن است. در این دوره، شما یاد میگیرید که چگونه یک خط لوله CDC کاربردی و مستقل از فروشنده بسازید و از طرحهای در حال تغییر منابع، یک جدول واحد و یکپارچه ایجاد کنید. با شروع از استریم تغییرات Debezium از Postgres/MySQL به Kafka، از Schema Registry برای اعمال سازگاری استفاده خواهید کرد و سپس SQL استریمینگ را در Flink (یا ksqlDB) برای نگاشت، تبدیل و ادغام فیلدهای متفاوت در یک مدل استاندارد (Canonical Model) به کار میگیرید. در نهایت، نتایج را در یک جدول Apache Iceberg ذخیره کرده و بهصورت آنی با Trino کوئری میگیرید. در طول مسیر، استراتژیهای عملی برای مدیریت تغییرات ناخواسته طرح (Schema Drift)، انتخاب حالتهای سازگاری (Backward/Full) و جلوگیری از اختلال در مصرفکنندگان پاییندستی را خواهید آموخت. تمامی مراحل بهصورت محلی با Docker اجرا میشوند تا بتوانید آنها را در هر محیطی بازسازی کرده و الگوهای مشابه را در زیرساخت ابری خود پیادهسازی کنید.
این دوره برای مهندسانی طراحی شده است که با Kafka، Debezium و streaming SQL کار میکنند و به مهارتهای تکامل طرح (Schema Evolution) و مدلسازی استاندارد نیاز دارند.
پیشنیازها: آشنایی با SQL مقدماتی، Docker و مفاهیم پایه Kafka یا استریمینگ دادهها.
در پایان این دوره، شما قادر خواهید بود یک خط لوله CDC جامع و کوچک پیادهسازی کنید که دادهها را از یک پایگاه داده منبع استریم کرده و طرحهای در حال تغییر را در یک جدول واحد و قابل کوئری یکپارچه کند.
سرفصل ها و درس ها
مبانی CDC: ساخت اولین خط لوله استریمینگ
CDC Foundations: Building Your First Streaming Pipeline
مقدمه و خوشآمدگویی
Introduction and Welcome
از CDC تا تحلیل داده: بررسی جامع معماری
CDC to Analytics: Complete Architecture Overview
بررسی عمیق جریان داده: از منبع تا Lakehouse
Data Flow Deep Dive: Source to Lakehouse
پیادهسازی عملی: یکپارچهسازی طرحها با Streaming SQL
Live Build: Unify Schemas with Streaming SQL
بهرهبرداری از خط لوله: قوانین رجیستری و بازیابی
Operate the Pipeline: Registry Rules & Recovery
از Debezium تا Kafka: اتصال CDC با Schema Registry
From Debezium to Kafka: Wiring CDC with Schema Registry
ایجاد خطای عمدی در طرح داده و رفع آن
Break a Schema on Purpose: And Fix It
قابلیت مشاهده (Observability) و حفاظها
Observability & Guardrails
مدلهای استاندارد، سینکهای Iceberg و کوئریهای سریع
Canonical Models, Iceberg Sinks & Fast Queries
مبانی طرح استاندارد (Canonical Schema)
Canonical Schema Basics
نمایش نظرات