آموزش Databricks - Master Azure Databricks برای مهندسان داده

Databricks - Master Azure Databricks for Data Engineers

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: آموزش Azure Databricks برای مهندسان داده حرفه ای با استفاده از PySpark و Spark SQL Databricks در Azure Cloud Working with DBFS and Mounting Storage Unity Catalog - Configuring and Working Unity Catalog User Provisioning and Security Working with Delta Lake and Delta Tables Manual and Automatic Schema Evolution Evolution in Incremental Incremental Databricks Autoloader Delta Live Tables و DLT Pipelines Databricks Repos and Databricks Workflow Databricks Rest API and CLI Capstone Project پیش نیازها: زبان برنامه نویسی Python Apache Spark و APIهای Dataframe با استفاده از Python Spark Structured Streaming APIs with Python

درباره دوره

من در حال ایجاد Databricks - Master Azure Databricks برای مهندسان داده با استفاده از پلت فرم ابری Azure هستم. این دوره به شما کمک می کند موارد زیر را بیاموزید.


  1. Databricks در Azure Cloud

  2. کار با DBFS و Mounting Storage

  3. کاتالوگ Unity - پیکربندی و کار

  4. تامین و امنیت کاربر کاتالوگ Unity

  5. کار با Delta Lake و Delta Tables

  6. تکامل طرحواره دستی و خودکار

  7. بلع تدریجی در لیک هاوس

  8. Databricks Autoloader

  9. جداول زنده دلتا و خطوط لوله DLT

  10. Repos Databricks و Databricks Workflow

  11. Databricks Rest API و CLI

پروژه Capstone

این دوره همچنین شامل پروژه End-To-End Capstone می باشد. این پروژه به شما کمک می کند تا طراحی واقعی پروژه، کدگذاری، پیاده سازی، آزمایش و رویکرد CI/CD را درک کنید.

چه کسی باید این دوره را بگذراند؟

من این دوره را برای مهندسین داده طراحی کردم که مایل به توسعه پروژه‌های Lakehouse با رویکرد معماری مدالیون با استفاده از پلتفرم ابری Databrick هستند. من همچنین در حال ایجاد این دوره برای معماران داده و راه حل هستم که مسئول طراحی و ساخت زیرساخت پلت فرم Lakehouse سازمان هستند. گروه دیگری از افراد، مدیران و معمارانی هستند که مستقیماً با اجرای لیک هاوس کار نمی کنند. با این حال، آنها با کسانی که Lakehouse را در سطح زمین اجرا می کنند کار می کنند.

نسخه Spark استفاده شده در دوره.

این دوره از Databricks در Azure Cloud و Apache Spark 3.5 استفاده می کند. من تمام کدهای منبع و نمونه های استفاده شده در این دوره را بر روی Azure Databricks Cloud با استفاده از Databricks Runtime 13.3 آزمایش کرده ام.


سرفصل ها و درس ها

قبل از اینکه تو شروع کنی Before you start

  • پیش نیازهای دوره Course Prerequisites

  • درباره دوره About the Course

  • نحوه دسترسی به مواد و منابع دوره How to access Course Material and Resources

  • یادداشت برای دانش آموزان - قبل از شروع Note for Students - Before Start

معرفی Introduction

  • مقدمه ای بر مهندسی داده Introduction to Data Engineering

  • Apache Spark به پلتفرم مهندسی داده Apache Spark to Data Engineering Platform

  • مقدمه ای بر پلتفرم Databricks Introduction to Databricks Platform

شروع شدن Getting Started

  • در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

  • ایجاد حساب ابری Azure Creating Azure Cloud Account

  • مروری بر پورتال لاجورد Azure Portal Overview

  • ایجاد سرویس فضای کاری Databricks Creating Databricks Workspace Service

  • مقدمه ای بر Databricks Workspace Introduction to Databricks Workspace

  • Azure Databricks Platform Architecture Azure Databricks Platform Architecture

کار در Databricks Workspace Working in Databricks Workspace

  • در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

  • نحوه ایجاد Spark Cluster How to create Spark Cluster

  • کار با Databricks Notebook Working with Databricks Notebook

  • دستورات جادویی نوت بوک Notebook Magic Commands

  • بسته نرم افزاری Databricks Utilities Databricks Utilities Package

کار با Databricks File System - DBFS Working with Databricks File System - DBFS

  • در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

  • مقدمه ای بر DBFS Introduction to DBFS

  • کار با DBFS Root Working with DBFS Root

  • نصب ADLS به DBFS Mounting ADLS to DBFS

کار با کاتالوگ یونیتی Working with Unity Catalog

  • در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

  • مقدمه ای بر کاتالوگ یونیتی Introduction to Unity Catalog

  • راه اندازی کاتالوگ Unity Setup Unity Catalog

  • تامین کاربر کاتالوگ Unity Unity Catalog User Provisioning

  • کار با اشیاء امن Working with Securable Objects

کار با دلتا لیک و جداول دلتا Working with Delta Lake and Delta Tables

  • در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

  • آشنایی با دریاچه دلتا Introduction to Delta Lake

  • ایجاد جدول دلتا Creating Delta Table

  • به اشتراک گذاری داده ها برای جدول دلتا خارجی Sharing data for External Delta Table

  • خواندن جدول دلتا Reading Delta Table

  • عملیات جدول دلتا Delta Table Operations

  • سفر در زمان میز دلتا Delta Table Time Travel

  • تبدیل پارکت به دلتا Convert Parquet to Delta

  • اعتبار سنجی طرحواره جدول دلتا Delta Table Schema Validation

  • تکامل طرحواره جدول دلتا Delta Table Schema Evolution

  • به داخل میز دلتا نگاه کنید Look Inside Delta Table

  • برنامه های کاربردی و بهینه سازی جدول دلتا Delta Table Utilities and Optimization

کار با Databricks Incremental Ingestion Tools Working with Databricks Incremental Ingestion Tools

  • در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

  • معماری و نیاز به مصرف تدریجی Architecture and Need for Incremental Ingestion

  • استفاده از Copy Into با Manual Schema Evolution Using Copy Into with Manual Schema Evolution

  • با استفاده از Copy Into با Automatic Schema Evolution Using Copy Into with Automatic Schema Evolution

  • انتقال جریانی با تکامل طرحواره دستی Streaming Ingestion with Manual Schema Evolution

  • انتقال جریانی با تکامل طرحواره خودکار Streaming Ingestion with Automatic Schema Evolution

  • مقدمه ای بر Databricks Autoloader Introduction to Databricks Autoloader

  • بارگذاری خودکار با تکامل طرحواره خودکار Autoloader with Automatic Schema Evolution

کار با Databricks Delta Live Tables (DLT) Working with Databricks Delta Live Tables (DLT)

  • در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

  • مقدمه ای بر Databricks DLT Introduction to Databricks DLT

  • سناریوی موردی استفاده از DLT را درک کنید Understand DLT Use Case Scenario

  • مجموعه داده سناریو DLT را تنظیم کنید Setup DLT Scenario Dataset

  • ایجاد بار کاری DLT در SQL Creating DLT Workload in SQL

  • ایجاد خط لوله DLT برای حجم کاری شما Creating DLT Pipeline for your Workload

  • ایجاد بار کاری DLT در پایتون Creating DLT Workload in Python

پروژه Databricks و ویژگی های اتوماسیون Databricks Project and Automation Features

  • در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

  • کار با Databricks Repos Working with Databricks Repos

  • کار با Databricks Workflows Working with Databricks Workflows

  • کار با Databricks Rest API Working with Databricks Rest API

  • کار با Databricks CLI Working with Databricks CLI

پروژه Capstone Capstone Project

  • محدوده و پیشینه پروژه Project Scope and Background

  • برداشتن نیاز عملیاتی Taking out the operational requirement

  • طراحی ذخیره سازی Storage Design

  • پیاده سازی امنیت داده ها Implement Data Security

  • اجرای سیاست های منابع Implement Resource Policies

  • جداسازی داده‌ها Decouple Data Ingestion

  • طراحی لایه برنز Design Bronze Layer

  • طرح لایه نقره و طلا Design Silver and Gold Layer

  • محیط خود را تنظیم کنید Setup your environment

  • یک فضای کاری ایجاد کنید Create a workspace

  • ایجاد و ذخیره سازی لایه Create and Storage Layer

  • راه اندازی کاتالوگ Unity Setup Unity Catalog

  • ایجاد کاتالوگ فراداده و مکان های خارجی Create Metadata Catalog and External Locations

  • کنترل منبع خود را تنظیم کنید Setup your source control

  • کد نویسی را شروع کنید Start Coding

  • کد خود را تست کنید Test your code

  • بارگذاری داده های تاریخی Load historical data

  • داخل لایه برنز بخورید Ingest into bronze layer

  • لایه نقره را پردازش کنید Process the silver layer

  • مدیریت به روز رسانی های متعدد Handling multiple updates

  • پیاده سازی لایه طلا Implementing Gold Layer

  • ایجاد یک اسکریپت اجرا Creating a run script

  • آماده شدن برای تست یکپارچه سازی Preparing for Integration testing

  • ایجاد تولید کننده داده های آزمایشی Creating Test Data Producer

  • ایجاد تست یکپارچه سازی برای حالت دسته ای Creating Integration Test for Batch mode

  • ایجاد تست یکپارچه سازی برای حالت جریان Creating Integration Test for Stream mode

  • اجرای خط لوله CI CD Implementing CI CD Pipeline

  • توسعه خط لوله Develop Build Pipeline

  • توسعه خط لوله انتشار Develop Release Pipeline

  • ایجاد اسکریپت Databricks CLI Creating Databricks CLI Script

کلمه پایانی Final Word

  • تبریک می گویم Congratulations

  • به یادگیری ادامه دهید و به رشد خود ادامه دهید Keep Learning and Keep Growing

نمایش نظرات

آموزش Databricks - Master Azure Databricks برای مهندسان داده
جزییات دوره
17.5 hours
91
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
315
4.9 از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Prashant Kumar Pandey Prashant Kumar Pandey

معمار ، نویسنده ، مشاور ، مربی @ Learning JournalPrashant Kumar Pandey علاقه زیادی به کمک به مردم برای یادگیری و رشد در زندگی حرفه ای خود دارد و از بین بردن شکاف بین مهارت های موجود و مورد نیاز آنها است. وی در تلاش برای تحقق این مأموریت ، نویسندگی کتاب ، انتشار مقالات فنی و ایجاد فیلم های آموزشی برای کمک به متخصصان و دانشجویان فناوری اطلاعات در صنعت است. وی با بیش از 18 سال تجربه در IT به عنوان توسعه دهنده ، معمار ، مشاور ، مربی و مربی ، با سازمان های بین المللی خدمات نرم افزار در پروژه های مختلف داده محوری و Bigdata کار کرده است. Prashant اعتقاد راسخ به یادگیری مستمر مادام العمر و رشد مهارت دارد. وی برای محبوبیت بخشیدن به یادگیری مادام العمر مادام العمر ، شروع به انتشار فیلم های آموزشی رایگان در کانال YouTube خود کرد و ایده ایجاد ژورنال یادگیری خود را تحت عنوان Learning Journal مفهوم سازی کرد. وی بنیانگذار ، نویسنده اصلی و سردبیر اصلی پورتال Learning Journal است که دوره های مختلف مهارت آموزی ، آموزش و مقالات فنی را از ابتدای سال 2018 ارائه می دهد.

Learning Journal Learning Journal

ژورنال یادگیری ، تیم کوچکی از افراد است که علاقه زیادی به کمک به دیگران برای یادگیری و رشد در کار خود دارند ، از بین بردن فاصله بین مهارت های موجود و مورد نیاز آنها. در تلاش برای انجام این ماموریت ، ما در حال نوشتن کتاب ، انتشار مقالات فنی و ایجاد فیلم های آموزشی برای کمک به متخصصان و دانشجویان فناوری اطلاعات در صنعت هستیم. با هم بیش از 40 سال تجربه در IT به عنوان توسعه دهنده ، معمار ، مشاور ، مربی و مربی داریم. ما با سازمان های بین المللی خدمات نرم افزار در پروژه های مختلف داده محوری و Bigdata کار کرده ایم. یادگیری ژورنال یک تیم معتقدین راسخ به یادگیری مستمر مادام العمر و رشد مهارت است. برای محبوب کردن اهمیت یادگیری مادام العمر ، ما شروع به انتشار فیلم های آموزشی رایگان در کانال YouTube خود کردیم. ما مفهوم یادگیری مداوم را مفهوم سازی کردیم و ژورنالی از یادگیری خود را تحت عنوان روزنامه یادگیری ایجاد کردیم. ما از ابتدای سال 2018 دوره های مختلف مهارت آموزی ، آموزش و مقالات فنی را تألیف کرده ایم.