آموزش Azure Databricks - آخرین آپدیت

سرفصل ها و درس ها

بخش ۰۱ - مقدمه Section 01 - Introduction

• درباره این دوره About this Course

• درباره من About Me

• چرا Azure Databricks را یاد بگیریم؟ Why Learn Azure Databricks

بخش ۰۲ - شروع کار Section 02 - Getting Started

• یک حساب Azure برای Databricks An Azure Account for Databricks

• حساب آزمایشی رایگان Azure Azure Free Trail Account

• حساب آزمایشی رایگان در مقابل پرداخت به ازای استفاده Free Trail vs Pay-as-you-go

• دریافت اشتراک پرداخت به ازای استفاده Get a Pay-as-you-Go Subscription

• نمای کلی پورتال Azure Azure Portal Overview

• افزایش سهمیه‌های vCPU خانواده VM Increase VM-family vCPU quotas

• ایجاد هشدارهای صورتحساب Creation of Billing Alerts

• کاهش صورتحساب‌های شما Lower your bills

بخش ۰۳ - مرکز معماری Section 03 - Architecture Centre

• ذخیره‌سازی داده باز – Parquet Open Data Storage – Parquet

• ایجاد Azure Blob و Azure Data Lake Storage Gen2 Create Azure Blob and Azure Data Lake Storage Gen2

بخش ۰۴ - مرکز مدیریت Section 04 - Administration Centre

• ایجاد فضای کاری Azure Databricks Create Azure Databricks Workspace

• ایجاد و مدیریت کاربران در فضای کاری Create and manage Users in Workspace

• ایجاد Service Principalها برای Azure Databricks Create Service Prinicpals for Azure Databricks

• ایجاد خوشه‌های محاسباتی Create Compute Clusters

• ایجاد توکن‌ها از Azure Databricks Create Tokens from Azure Databricks

• اجرای دستورات جادویی در نوت‌بوک‌ها Running Magic Commands in Notebooks

• ادغام GitHub Repos با Azure Databricks GitHub Repos Integration with Azure Databricks

بخش ۰۵ - ابزارهای Databricks Section 05 - Databricks Utilities

• استفاده از ابزارهای Databricks Using Databricks Utilities

• ابزارهای Databricks - سیستم فایل (DBFS) Databricks Utilities - File System (DBFS)

• ایجاد یک دایرکتوری Create a Directory

• بارگذاری فایل File Upload

• حذف فایل یا دایرکتوری Delete File or Directory

• ابزارهای Databricks – نوت‌بوک‌ها Databricks Utilities – Notebooks

• ابزارهای Databricks – ویجت‌ها Databricks Utilities – Widgets

بخش ۰۶ - اتصال به Azure Data Lake Storage Section 06 - Connect with Azure Data Lake Storage

• ایجاد Azure Data Lake Storage Gen2 Creating Azure Data Lake Storage Gen2

• اتصال به Azure Data Storage با استفاده از درایور WASBS Connect with Azure Data Storage using WASBS Driver

• ایجاد Spark Data Frameها Create Spark Data Frames

• اتصال به Azure Data Storage با استفاده از درایور ABFSS Connect with Azure Data Storage using ABFSS Driver

• ایجاد Spark Viewها Create Spark Views

بخش ۰۷ - جداول Delta Lake Section 07 - Delta Lake Tables

• چرا از جداول Delta Lake استفاده کنیم؟ Why Use Delta Lake Tables?

• ایجاد جداول Delta Lake Create Delta Lake Tables

• خواندن داده‌ها از جداول Delta Lake Read Data from Delta Lake Tables

• به‌روزرسانی جداول Delta Lake Updates to Delta Lake Tables

• سفر در زمان با جداول Delta Lake Time Travel with Delta Lake Tables

• حذف داده‌ها از جداول Delta Lake Delete Data from Delta Lake Tables

• حذف جداول Delta Lake Drop Delta Lake Tables

بخش ۰۸ - انبار داده SQL در Azure Databricks Section 08 - SQL Data warehousing on Azure Databricks

• انبار داده SQL در Azure Databricks SQL Data warehousing on Azure Databricks

• مدل‌سازی داده در Azure Databricks Data Modeling on Azure Databricks

• ایجاد یک انبار داده SQL بدون سرور Create a Serverless SQL Datawarehouse

• متااستورها برای Lakehouseها Metastores for Lake houses

• وارد کردن داده‌ها به Azure Databricks Data Ingestion into Azure Databricks

• ایجاد ولوم‌ها Create Volumes

• وارد کردن داده‌ها به Azure Databricks با استفاده از رابط کاربری "افزودن داده" Data Ingestion into Azure Databricks using Add data UI

• نمای کلی COPY INTO COPY INTO Overview

• وارد کردن داده‌ها به Azure Databricks با استفاده از COPY INTO P1 Ingest Data into Azure Databricks using COPY INTO P1

• وارد کردن داده‌ها به Azure Databricks با استفاده از COPY INTO P2 Ingest Data into Azure Databricks using COPY INTO P2

• وارد کردن داده‌ها به Azure Databricks با استفاده از COPY INTO P3 Ingest Data into Azure Databricks using COPY INTO P3

• وارد کردن داده‌ها به Azure Databricks با استفاده از Autoloader Ingest Data into Azure Databricks using Autoloader

بخش ۰۹ - Unity Catalog برای Azure Databricks Section 09 - Unity Catalog for Azure Databricks

• Unity Catalog توسط Azure Databricks Unity Catalog by Azure Databricks

• تنظیمات Unity Catalog – ایجاد فضاهای کاری Setup for Unity Catalog – Create Workspaces

• تنظیمات Unity Catalog – ایجاد فضای ذخیره‌سازی Setup for Unity Catalog – Create Storage

• تنظیمات Unity Catalog – ایجاد MetaStore Setup for Unity Catalog – Create MetaStore

• تنظیمات Unity Catalog – به اشتراک‌گذاری جداول Setup for Unity Catalog – Sharing Tables

بخش ۱۰ - Structured Streaming در Azure Databricks Section 10 - Structured Streaming on Azure Databricks

• Structured Streaming در Azure Databricks Structured Streaming on Azure Databricks

• مدیریت داده‌های Structured Streaming در Azure Databricks با استفاده از Spark API قسمت اول Handling Structured Streaming Data on Azure Databricks using Spark API Part I

• مدیریت داده‌های Structured Streaming در Azure Databricks با استفاده از Spark API قسمت دوم Handling Structured Streaming Data on Azure Databricks using Spark API Part II

• API readStream readStream API

• API writeStream writeStream API

• پردازش از جداول Streaming Delta Lake Processing from Streaming Delta Lake Tables

• ثبت تغییرات داده از جدول Streaming Delta Change Data Capture from Streaming Delta Table

• توقف کوئری‌های Streaming Stopping Streaming Queries

بخش ۱۱ - مهندسی داده در Azure Databricks Section 11 - Data Engineering on Azure Databricks

• تعریف پایپ‌لاین‌های داده برای Delta Live Tables با استفاده از PySpark P1 Declare Data Pipelines for Delta Live Tables Using PySpark P1

• تعریف پایپ‌لاین‌های داده برای Delta Live Tables با استفاده از PySpark P2 Declare Data Pipelines for Delta Live Tables Using PySpark P2

• تعریف پایپ‌لاین‌های داده برای Delta Live Tables با استفاده از PySpark P3 Declare Data Pipelines for Delta Live Tables Using PySpark P3

• تعریف پایپ‌لاین‌های داده برای Delta Live Tables با استفاده از PySpark P4 Declare Data Pipelines for Delta Live Tables Using PySpark P4

• تعریف پایپ‌لاین‌های داده برای Delta Live Tables با استفاده از PySpark P5 Declare Data Pipelines for Delta Live Tables Using PySpark P5

• تعریف پایپ‌لاین‌های داده با استفاده از Delta Live Tables با SQL Declare Data Pipelines using Delta Live Tables Using SQL

بخش ۱۲ - CI/CD برای Azure Databricks Section 12 - CICD for Azure Databricks

• CI/CD برای Azure Databricks CICD for Azure Databricks

• استفاده از Azure DevOps برای CI/CD Using Azure DevOps for CICD

• زیرساخت به عنوان کد (IaC) Infrastructure as Code(Iac)

• نصب Azure CLI Install Azure CLI

• نصب Terraform Install Terraform

• احراز هویت Terraform با استفاده از Azure CLI Terraform Authencation using Azure CLI

• استفاده از Terraform برای Azure Databricks P1 Using Terraform for Azure Databricks P1

• استفاده از Terraform برای Azure Databricks P2 Using Terraform for Azure Databricks P2

• نصب Databricks CLI Install Databricks CLI

• پیکربندی Databricks CLI Configure Databricks CLI

• ایجاد خوشه محاسباتی با استفاده از Databricks CLI Create Compute Cluster using Databricks CLI

• وارد کردن نوت‌بوک‌ها با استفاده از Databricks CLI Import Notebooks using Databricks CLI

• ایجاد Jobها با استفاده از Databricks CLI Create Jobs using Databricks CLI

• حذف منابع با استفاده از Databricks CLI Deletion of Resources using Databricks CLI

• ایجاد فضای کاری Azure Databricks Create Azure Databricks Workspace

• ایجاد خوشه محاسباتی Create Compute Cluster

• مخازن Azure DevOps Azure DevOps Repos

• پایپ‌لاین‌های Azure DevOps برای Databricks P1 Azure DevOps Pipelines for Databricks P1

• پایپ‌لاین‌های Azure DevOps برای Databricks P2 Azure DevOps Pipelines for Databricks P2

بخش ۱۳ - یادگیری ماشین در Azure Databricks Section 13 - Machine Learning on Azure Databricks

• یادگیری ماشین در Azure Databricks Machine Learning on Azure Databricks

• وارد کردن و آماده‌سازی داده Data Ingestion and Preparation

• تحلیل اکتشافی داده Exploratory Data Analysis

• مهندسی ویژگی قسمت اول Feature Engineering Part I

• مهندسی ویژگی قسمت دوم Feature Engineering Part II

• توسعه مدل Model Development

• ارزیابی مدل Model Evaluation

• استفاده از MLFlow برای استقرار مدل Using MLFlow for Model Deployment

• ایجاد Serving Endpoint برای مدل Create Serving Endpoint for Model

• نسخه‌بندی مدل Model Versioning

• کوئری نتایج با استفاده از Model Endpoint Query results using Model Endpoint

• حذف اجزای مدل Delete Model Components

بخش ۱۴ - ارائه پروژه بلادرنگ Section 14 - Delivering Real Time Project

• نمای کلی پروژه - مقدمه Project Overview - Introduction

• نمای کلی پروژه - مدیریت پروژه مهندسی داده Project Overview - Project Handling Data Engineering

• راه‌اندازی پروژه - ایجاد منابع Azure Project Setup - Create Azure Resources

• راه‌اندازی پروژه – وارد کردن داده Project Setup – Data Ingestion

• راه‌اندازی پروژه – تبدیل داده Project Setup – Data Transformation

• راه‌اندازی پروژه – ایجاد فضای کاری و خوشه‌ها Project Setup – Create Workspaces and Clusters

• راه‌اندازی پروژه – اجرای نوت‌بوک‌ها Project Setup – Execute Notebooks

• راه‌اندازی پروژه – مدیریت بصری‌سازی با PowerBI Project Setup – Handling Visualization with PowerBI

• راه‌اندازی پروژه – مدیریت یادگیری ماشین Project Setup – Handling Machine Learning

• راه‌اندازی پروژه – توسعه یک مدل Project Setup – Develop a Model

• راه‌اندازی پروژه – استقرار یک مدل Project Setup – Deploy a Model

• حذف پروژه Project Deletion