آموزش تسلط بر خط لوله‌های اعلامی Lakeflow Spark در Databricks - آخرین آپدیت

دانلود Mastering Lakeflow Spark Declarative Pipelines in Databricks

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: مهندسی داده پیشرفته با Databricks معماری Delta بررسی کلی خط لوله‌های اعلامی Lakeflow درک اشیاء داده - جداول استریمینگ، نماهای متریالیزه و نماها کنترل کیفیت داده‌ها با خط لوله‌های اعلامی Lakeflow درک جریان‌ها - جریان‌های Append و Auto CDC درک سینک‌ها (Sinks) مدیریت خط لوله‌های اعلامی - پردازش و امنیت ارکستراسیون خط لوله‌های اعلامی مانیتورینگ خط لوله‌های اعلامی استقرار خط لوله‌های اعلامی پیش نیازها: محیط Azure Databricks و Unity Catalog Azure Event Hubs آشنایی اولیه با پیمایش رابط کاربری Databricks مبانی PySpark و Spark SQL

این دوره یک راهنمای جامع و کاربردی برای خط لوله‌های اعلامی Lakeflow Spark (که پیش‌تر با نام Delta Live Tables یا DLT شناخته می‌شد) در Databricks ارائه می‌دهد و تمام چرخه حیات، از توسعه تا استقرار و مانیتورینگ را پوشش می‌دهد.

آموزش‌گیرندگان با بلوک‌های سازنده اصلی خط لوله‌های اعلامی مانند جداول استریمینگ، نماهای متریالیزه، جریان‌ها و سینک‌ها آشنا می‌شوند. محدودیت‌های جداول استریمینگ و نماهای متریالیزه به همراه بهترین روش‌های طراحی این مؤلفه‌ها توضیح داده شده است.

مبحث کنترل کیفیت داده‌ها، کنترل‌های انتظار کیفیت را نمایش می‌دهد که اجازه می‌دهد شرایط کیفیت داده و اقدامات اجرایی به صورت منعطف تعریف شوند.

بخش جریان‌ها و سینک‌ها، انواع مختلف جریان‌ها از جمله Auto CDC و جریان‌های Snapshot را توضیح می‌دهد و نشان می‌دهد که خط لوله‌های اعلامی چگونه می‌توانند داده‌ها را در سیستم‌های خارجی مانند جداول Delta Lake، سرویس‌های استریمینگ و مقصدهای سفارشی بنویسند.

مباحث مدیریت خط لوله‌های اعلامی، ابزارهای پردازش، ارکستراسیون، استقرار و امنیت را پوشش می‌دهد. تنظیمات امنیتی شامل سطوح دسترسی کاربر، شناسه‌های خط لوله و مجوزهای مورد نیاز برای عملیات امن در محیط‌های مختلف به تفصیل بررسی شده است.

بخش مانیتورینگ، رویدادها و معیارهایی را که نیاز به نظارت دارند و همچنین ابزارهای مختلف مانیتورینگ تعاملی و برنامه‌نویسی موجود در Databricks را توضیح می‌دهد.

این دوره شامل آزمون‌های متعددی برای اعتبارسنجی دانش دانشجویان است. یک پروژه نهایی (Capstone) به دانشجویان فرصت می‌دهد تا دانش خود را با ساخت یک خط لوله اعلامی Lakeflow Spark جامع با استفاده از یک مجموعه داده متن‌باز آزمایش کنند.

دانشجویان یک رویکرد پیشرفته در توسعه خط لوله‌های اعلامی را می‌آموزند و برای مباحث مرتبط با استریمینگ بلادرنگ که بخشی از مسیر آزمون حرفه‌ای مهندسی داده Databricks است، آماده می‌شوند.


سرفصل ها و درس ها

معماری دلتا و مفاهیم کلیدی Delta Architecture and Key Concepts

  • مقدمه‌ای بر معماری دلتا Introduction To The Delta Architecture

  • معماری دلتا Delta Architecture

راه‌اندازی دوره Course Setup

  • راه‌اندازی دوره Course setup

مقدمه‌ای بر خط لوله‌های اعلامی Lakeflow Introduction To Lakeflow Declarative Pipelines

  • بررسی کلی خط لوله‌های اعلامی Lakeflow Overview of Lakeflow Declarative Pipelines

  • ساخت اولین خط لوله اعلامی Creating Your First Declarative Pipeline

  • مقدمه‌ای بر خط لوله‌های اعلامی Lakeflow Introduction to Lakeflow Declarative Pipelines

جداول استریمینگ و نماها Streaming tables and views

  • مقدمه‌ای بر جداول استریمینگ Introduction To Streaming Tables

  • دموی جداول استریمینگ Streaming Tables-Demo

  • آشنایی با جداول استریمینگ Introduction To Streaming tables

  • استریمینگ از Azure Event Hubs Streaming from Azure Event Hubs

  • استریمینگ از Azure Event Hubs و Kafka Streaming from Azure Event Hubs and Kafka

  • درس چالش‌ها و محدودیت‌های جداول استریمینگ Streaming Tables Challenges and Limitations-Lecture

  • دموی چالش‌ها و محدودیت‌های جداول استریمینگ Streaming Table Challenges and Limitations-Demo

  • جداول استریمینگ: چالش‌ها و محدودیت‌ها Streaming Tables: Challenges and Limitations

کنترل‌های کیفیت داده Data Quality Controls

  • درس کنترل‌های کیفیت داده Data Quality Controls-Lecture

  • دموی کنترل‌های کیفیت داده Data Quality Controls-Demo

  • کنترل‌های کیفیت داده Data quality controls

نماهای متریالیزه Materialized views

  • نماهای متریالیزه Materialized Views

  • بررسی نماهای متریالیزه Materialized views

  • بهترین روش‌ها برای نماهای متریالیزه Best Practices For Materialized Views

  • دمو: بهینه‌سازی نماهای متریالیزه Demo: Optimization of Materialized Views

  • راهنمای جامع نماهای متریالیزه Best Practices for Materialized Views

جریان‌ها و سینک‌ها Flows and Sinks

  • مقدمه‌ای بر جریان‌ها Introduction to Flows

  • آشنایی با جریان‌ها Introduction to Flows

  • مقدمه‌ای بر جریان‌های Auto CDC Introduction to Auto CDC Flows

  • جریان‌های Auto CDC Auto CDC Flows

  • جریان‌های Auto CDC از اسنپ‌شات‌ها Auto CDC Flows from Snapshots

  • بررسی جریان‌های Auto CDC از اسنپ‌شات‌ها Auto CDC Flows from Snapshots

  • بررسی کلی و دموی سینک‌های خط لوله اعلامی Declarative Pipeline Sinks- Overview and Demo

  • سینک‌ها (Sinks) Sinks

مدیریت خط لوله‌های اعلامی Management of Declarative Pipelines

  • بررسی کلی و دموی مدیریت پردازش (Compute) Managing compute-Overview and Demo

  • مدیریت پردازش Managing compute

  • بررسی کلی و دموی مدیریت امنیت خط لوله‌های اعلامی Managing Security Of Declarative Pipelines-- Overview and Demo

  • آزمون مدیریت امنیت خط لوله‌های اعلامی Managing Security Of Declarative Pipelines-Quiz

  • درس ارکستراسیون خط لوله‌های اعلامی Orchestration of Declarative PIpelines-Lecture

  • دموی ارکستراسیون خط لوله‌های اعلامی Orchestration of Declarative Pipelines-Demo

  • ارکستراسیون خط لوله‌های اعلامی Orchestration of Declarative Pipelines

استقرار خط لوله‌های اعلامی Deployment Of Declarative Pipelines

  • استقرار Deployment

  • استقرار خط لوله‌های اعلامی Deployment of Declarative Pipelines

مانیتورینگ Monitoring

  • بررسی کلی مانیتورینگ خط لوله‌های اعلامی Monitoring Declarative Pipelines-Overview

  • دموی مانیتورینگ خط لوله‌های اعلامی Monitoring Declarative Pipelines-Demo

  • مانیتورینگ خط لوله‌های اعلامی Monitoring Declarative Pipelines

پروژه نهایی Capstone project

  • دستورالعمل‌های پروژه نهایی Capstone project instructions

  • تست‌های تمرینی تکالیف پروژه نهایی Practice tests on Capstone Project assignments

نمایش نظرات

آموزش تسلط بر خط لوله‌های اعلامی Lakeflow Spark در Databricks
جزییات دوره
5 hours
26
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
137
4.8 از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar