لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش تسلط بر خط لولههای اعلامی Lakeflow Spark در Databricks
- آخرین آپدیت
دانلود Mastering Lakeflow Spark Declarative Pipelines in Databricks
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
مهندسی داده پیشرفته با Databricks
معماری Delta
بررسی کلی خط لولههای اعلامی Lakeflow
درک اشیاء داده - جداول استریمینگ، نماهای متریالیزه و نماها
کنترل کیفیت دادهها با خط لولههای اعلامی Lakeflow
درک جریانها - جریانهای Append و Auto CDC
درک سینکها (Sinks)
مدیریت خط لولههای اعلامی - پردازش و امنیت
ارکستراسیون خط لولههای اعلامی
مانیتورینگ خط لولههای اعلامی
استقرار خط لولههای اعلامی
پیش نیازها: محیط Azure Databricks و Unity Catalog
Azure Event Hubs
آشنایی اولیه با پیمایش رابط کاربری Databricks
مبانی PySpark و Spark SQL
این دوره یک راهنمای جامع و کاربردی برای خط لولههای اعلامی Lakeflow Spark (که پیشتر با نام Delta Live Tables یا DLT شناخته میشد) در Databricks ارائه میدهد و تمام چرخه حیات، از توسعه تا استقرار و مانیتورینگ را پوشش میدهد.
آموزشگیرندگان با بلوکهای سازنده اصلی خط لولههای اعلامی مانند جداول استریمینگ، نماهای متریالیزه، جریانها و سینکها آشنا میشوند. محدودیتهای جداول استریمینگ و نماهای متریالیزه به همراه بهترین روشهای طراحی این مؤلفهها توضیح داده شده است.
مبحث کنترل کیفیت دادهها، کنترلهای انتظار کیفیت را نمایش میدهد که اجازه میدهد شرایط کیفیت داده و اقدامات اجرایی به صورت منعطف تعریف شوند.
بخش جریانها و سینکها، انواع مختلف جریانها از جمله Auto CDC و جریانهای Snapshot را توضیح میدهد و نشان میدهد که خط لولههای اعلامی چگونه میتوانند دادهها را در سیستمهای خارجی مانند جداول Delta Lake، سرویسهای استریمینگ و مقصدهای سفارشی بنویسند.
مباحث مدیریت خط لولههای اعلامی، ابزارهای پردازش، ارکستراسیون، استقرار و امنیت را پوشش میدهد. تنظیمات امنیتی شامل سطوح دسترسی کاربر، شناسههای خط لوله و مجوزهای مورد نیاز برای عملیات امن در محیطهای مختلف به تفصیل بررسی شده است.
بخش مانیتورینگ، رویدادها و معیارهایی را که نیاز به نظارت دارند و همچنین ابزارهای مختلف مانیتورینگ تعاملی و برنامهنویسی موجود در Databricks را توضیح میدهد.
این دوره شامل آزمونهای متعددی برای اعتبارسنجی دانش دانشجویان است. یک پروژه نهایی (Capstone) به دانشجویان فرصت میدهد تا دانش خود را با ساخت یک خط لوله اعلامی Lakeflow Spark جامع با استفاده از یک مجموعه داده متنباز آزمایش کنند.
دانشجویان یک رویکرد پیشرفته در توسعه خط لولههای اعلامی را میآموزند و برای مباحث مرتبط با استریمینگ بلادرنگ که بخشی از مسیر آزمون حرفهای مهندسی داده Databricks است، آماده میشوند.
سرفصل ها و درس ها
معماری دلتا و مفاهیم کلیدی
Delta Architecture and Key Concepts
مقدمهای بر معماری دلتا
Introduction To The Delta Architecture
معماری دلتا
Delta Architecture
راهاندازی دوره
Course Setup
راهاندازی دوره
Course setup
مقدمهای بر خط لولههای اعلامی Lakeflow
Introduction To Lakeflow Declarative Pipelines
بررسی کلی خط لولههای اعلامی Lakeflow
Overview of Lakeflow Declarative Pipelines
ساخت اولین خط لوله اعلامی
Creating Your First Declarative Pipeline
مقدمهای بر خط لولههای اعلامی Lakeflow
Introduction to Lakeflow Declarative Pipelines
جداول استریمینگ و نماها
Streaming tables and views
مقدمهای بر جداول استریمینگ
Introduction To Streaming Tables
دموی جداول استریمینگ
Streaming Tables-Demo
آشنایی با جداول استریمینگ
Introduction To Streaming tables
استریمینگ از Azure Event Hubs
Streaming from Azure Event Hubs
استریمینگ از Azure Event Hubs و Kafka
Streaming from Azure Event Hubs and Kafka
درس چالشها و محدودیتهای جداول استریمینگ
Streaming Tables Challenges and Limitations-Lecture
دموی چالشها و محدودیتهای جداول استریمینگ
Streaming Table Challenges and Limitations-Demo
جداول استریمینگ: چالشها و محدودیتها
Streaming Tables: Challenges and Limitations
کنترلهای کیفیت داده
Data Quality Controls
درس کنترلهای کیفیت داده
Data Quality Controls-Lecture
دموی کنترلهای کیفیت داده
Data Quality Controls-Demo
کنترلهای کیفیت داده
Data quality controls
نماهای متریالیزه
Materialized views
نماهای متریالیزه
Materialized Views
بررسی نماهای متریالیزه
Materialized views
بهترین روشها برای نماهای متریالیزه
Best Practices For Materialized Views
دمو: بهینهسازی نماهای متریالیزه
Demo: Optimization of Materialized Views
راهنمای جامع نماهای متریالیزه
Best Practices for Materialized Views
جریانها و سینکها
Flows and Sinks
مقدمهای بر جریانها
Introduction to Flows
آشنایی با جریانها
Introduction to Flows
مقدمهای بر جریانهای Auto CDC
Introduction to Auto CDC Flows
جریانهای Auto CDC
Auto CDC Flows
جریانهای Auto CDC از اسنپشاتها
Auto CDC Flows from Snapshots
بررسی جریانهای Auto CDC از اسنپشاتها
Auto CDC Flows from Snapshots
بررسی کلی و دموی سینکهای خط لوله اعلامی
Declarative Pipeline Sinks- Overview and Demo
سینکها (Sinks)
Sinks
مدیریت خط لولههای اعلامی
Management of Declarative Pipelines
بررسی کلی و دموی مدیریت پردازش (Compute)
Managing compute-Overview and Demo
مدیریت پردازش
Managing compute
بررسی کلی و دموی مدیریت امنیت خط لولههای اعلامی
Managing Security Of Declarative Pipelines-- Overview and Demo
آزمون مدیریت امنیت خط لولههای اعلامی
Managing Security Of Declarative Pipelines-Quiz
درس ارکستراسیون خط لولههای اعلامی
Orchestration of Declarative PIpelines-Lecture
دموی ارکستراسیون خط لولههای اعلامی
Orchestration of Declarative Pipelines-Demo
ارکستراسیون خط لولههای اعلامی
Orchestration of Declarative Pipelines
استقرار خط لولههای اعلامی
Deployment Of Declarative Pipelines
استقرار
Deployment
استقرار خط لولههای اعلامی
Deployment of Declarative Pipelines
مانیتورینگ
Monitoring
بررسی کلی مانیتورینگ خط لولههای اعلامی
Monitoring Declarative Pipelines-Overview
دموی مانیتورینگ خط لولههای اعلامی
Monitoring Declarative Pipelines-Demo
مانیتورینگ خط لولههای اعلامی
Monitoring Declarative Pipelines
نمایش نظرات