آموزش راهنمای آزمون کاردانی مهندسی داده تایید شده Databricks - آخرین آپدیت

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• مهم - به‌روزرسانی نکات و بررسی Udemy Important - Udemy Tips & Review Update

• مواد درسی Course Materials

شروع کار با Databricks Getting started with Databricks

• تاریخچه Bigdata Bigdata History

• مقدمه ای بر Databrics Introduction to Databrics

• آزمایشگاه: Databricks Workspace با نسخه Community Lab: Databricks Workspace with Community Edition

• آزمایشگاه: Databricks Workspace با Azure Cloud Lab: Databricks Workspace with Azure Cloud

• مروری بر رابط کاربری Databricks Databricks User Interface Overview

• بررسی اجمالی معماری Databricks Azure Azure Databricks Architecture Overview

• منابع ایجاد شده توسط Azure Databricks Workspace Resources Created by Azure Databricks Workspace

خوشه های Databricks Databricks Clusters

• مقدمه ای بر Databricks Cluster Introduction to Databricks Cluster

• پیکربندی خوشه Databricks Databricks Cluster Configuration

• آزمایشگاه: ایجاد خوشه Databricks Lab: Creating Databricks Cluster

• قیمت گذاری Azure Databricks Azure Databricks Pricing

• ویژگی‌های Cluster را از UI کاوش کنید Explore Cluster Features from UI

• کنترل هزینه Azure Azure Cost Control

• Databricks Cluster Pool Databricks Cluster Pool

• سیاست های خوشه بخش - 1 Cluster Policies Part - 1

• سیاست های خوشه ای قسمت - 2 Cluster Policies Part - 2

نوت بوک های Databricks Databricks Notebooks

• Databricks Notebooks مقدمه Databricks Notebooks Introduction

• دستورات جادویی Magic Commands

پلتفرم دیتابریکس لیک هاوس Databricks Lakehouse Platform

• دریاچه دلتا Delta Lake

• آزمایشگاه: جداول دریاچه دلتا قسمت - 1 Lab : Delta Lake Tables Part - 1

• آزمایشگاه: جداول دریاچه دلتا قسمت - 2 Lab : Delta Lake Tables Part - 2

• آزمایشگاه : دریاچه دلتا پیشرفته قسمت - 1 Lab : Delta Lake Advanced Part - 1

• آزمایشگاه - قسمت پیشرفته دریاچه دلتا - 2 Lab - Delta Lake Advanced Part - 2

• اشیاء داده در Databricks Lakehouse Data objects in Databricks Lakehouse

• آزمایشگاه - پایگاه های داده و جداول مربوط به آجرهای داده قسمت - 1 Lab - Databases and Tables on Databricks Part - 1

• آزمایشگاه - پایگاه های داده و جداول مربوط به آجرهای داده قسمت - 2 Lab - Databases and Tables on Databricks Part - 2

• آزمایشگاه - پایگاه های داده و جداول مربوط به آجرهای داده قسمت - 3 Lab - Databases and Tables on Databricks Part - 3

• آزمایشگاه - پایگاه‌های داده و جداول مربوط به آجرهای داده قسمت - 4 Lab - Databases and Tables on Databricks Part - 4

• بازدیدها Views

• آزمایشگاه: کار با Views قسمت - 1 Lab: Working with Views Part - 1

• آزمایشگاه - کار با نماها - قسمت 2 Lab - Working with Views Part - 2

ELT با Spark SQL و Python ELT with Spark SQL and Python

• وارد کردن داده ها به Databricks Importing Data to Databricks

• پرس و جو فایل ها قسمت - 1 Querying Files Part - 1

• پرس و جو فایل ها قسمت - 2 Querying Files Part - 2

• پرس و جو فایل ها قسمت - 3 Querying Files Part - 3

• پرس و جو فایل ها قسمت - 4 Querying Files Part - 4

• نوشتن روی جداول قسمت - 1 Writing to Tables Part - 1

• نوشتن روی جداول قسمت - 2 Writing to Tables Part - 2

• نوشتن روی جداول قسمت - 3 Writing to Tables Part - 3

• سازماندهی فایل های نوت بوک Organizing Notebook files

• Advanced SQL Transformations Part - 1 Advanced SQL Transformations Part - 1

• Advanced SQL Transformations Part - 2 Advanced SQL Transformations Part - 2

• Advanced SQL Transformations Part - 3 Advanced SQL Transformations Part - 3

• Advanced SQL Transformations Part - 4 Advanced SQL Transformations Part - 4

• Advanced SQL Transformations Part - 5 Advanced SQL Transformations Part - 5

• توابع مرتبه بالاتر قسمت - 1 Higher Order Functions Part - 1

• مثالها - توابع داخلی و مرتبه بالاتر Examples - Built-In & Higher-Order Functions

• UDF های SQL و بخش کنترل جریان SQL UDFs and Control Flow Part

دسترسی به داده ها از Azure Data Lake Storage (ADLS) Accessing Data from Azure Data Lake Storage (ADLS)

• ایجاد حساب ذخیره سازی azure gen 2 Creating azure gen 2 storage Account

• دسترسی به داده ها از طریق کلید دسترسی Accessing Data via Access Key

• دسترسی به داده ها از طریق SAS Token Accessing Data via SAS Token

• نصب ADLS به DBFS قسمت - 1 Mounting ADLS to DBFS Part - 1

• نصب ADLS به DBFS قسمت - 2 Mounting ADLS to DBFS Part - 2

• حوزه های مخفی قسمت - 1 Secret Scopes Part - 1

• حوزه های مخفی قسمت - 2 Secret Scopes Part - 2

• معماری چند هاپ (معماری مدالیون) Multi-hop Architecture (Medallion Architecture)

جریان ساختار یافته و بارگذار خودکار Structured Streaming and Auto Loader

• ایجاد و نصب کانتینر Creating and Mounting the Container

• شبیه ساز مجموعه داده های جریانی Streaming Dataset Simulator

• خواندن جریان داده Reading Data Stream

• نوشتن در جریان داده بخش - 1 Writing to Data Stream Part - 1

• نوشتن در جریان داده قسمت - 2 Writing to Data Stream Part - 2

• گزینه های اضافی بخش پردازش داده های افزایشی - 1 Additional Options Incremental Data Processing Part - 1

• گزینه های اضافی پردازش داده های افزایشی بخش - 2 Additional Options Incremental Data Processing Part - 2

• لودر خودکار Auto Loader

جداول زنده دلتا Delta Live Tables

• نمای کلی: جداول زنده دلتا Overview: Delta Live Tables

• ایجاد و نصب کانتینر برای جداول زنده دلتا Creating and Mounting container for Delta Live Tables

• ایجاد و اجرای خط لوله DLT قسمت - 1 Creating and Running DLT Pipeline Part - 1

• ایجاد و اجرای خط لوله DLT قسمت - 2 Creating and Running DLT Pipeline Part - 2

• ایجاد و اجرای خط لوله DLT قسمت - 3 Creating and Running DLT Pipeline Part - 3

• ایجاد و اجرای خط لوله DLT قسمت - 4 Creating and Running DLT Pipeline Part - 4

مشاغل در Databricks Jobs in Databricks

• Jobs in Databricks - Demo 1 Part - 1 Jobs in Databricks - Demo 1 Part - 1

• Jobs in Databricks - Demo 1 Part - 2 Jobs in Databricks - Demo 1 Part - 2

• Jobs in Databricks - Demo 2 Part - 1 Jobs in Databricks - Demo 2 Part - 1

• Jobs in Databricks - Demo 2 Part - 2 Jobs in Databricks - Demo 2 Part - 2

داشبوردها Dashboards

• ایجاد انبار SQL Create SQL warehouse

• ایجاد قسمت داشبورد - 1 Creating Dashboard Part - 1

• ایجاد قسمت داشبورد - 2 Creating Dashboard Part - 2

حاکمیت داده Data Governance

• امتیازات شیء داده Data Object Privileges

• آزمایشگاه - امتیازات داده را به گروه کاربر اختصاص دهید Lab - Assign data privileges to user-group

متشکرم Thank You

• تبریک و راه رو به جلو Congratulations & way forward