آموزش Azure Databricks و Spark SQL (Python)

سرفصل ها و درس ها

بررسی اجمالی دوره/مقدمه ای بر Spark و Databricks Course Overview / Introduction to Spark and Databricks

• اطلاعات بزرگ Big Data

• Hadoop، Spark و Databricks Hadoop, Spark and Databricks

• معماری اسپارک آپاچی Apache Spark Architecture

• مقایسه اسپارک در مقابل دیتابریکس Spark vs Databricks Comparison

• منبع: مقایسه Apache Spark با Databricks Resource: Comparing Apache Spark vs Databricks

بررسی اجمالی دوره/مقدمه ای بر Spark و Databricks Course Overview / Introduction to Spark and Databricks

• معرفی دوره Course Introduction

• معرفی دوره Course Introduction

• اطلاعات بزرگ Big Data

• Hadoop، Spark و Databricks Hadoop, Spark and Databricks

• معماری اسپارک آپاچی Apache Spark Architecture

• مقایسه اسپارک در مقابل دیتابریکس Spark vs Databricks Comparison

• منبع: مقایسه Apache Spark با Databricks Resource: Comparing Apache Spark vs Databricks

راه اندازی Azure و Databricks Azure and Databricks Set Up

• نمای کلی رابط کاربری Azure Azure UI Overview

• منبع: Azure Resources Resource: Azure Resources

• نحوه استفاده از Databricks Notebook How to use Databricks Notebooks

• تغییرات رابط کاربری User Interface Changes

راه اندازی Azure و Databricks Azure and Databricks Set Up

• راه اندازی حساب Azure Azure Account Set Up

• راه اندازی حساب Azure Azure Account Set Up

• نمای کلی رابط کاربری Azure Azure UI Overview

• منبع: Azure Resources Resource: Azure Resources

• ایجاد سرویس Databricks شما Creating your Databricks Service

• ایجاد سرویس Databricks شما Creating your Databricks Service

• مروری بر رابط کاربری Databricks Databricks UI Overview

• مروری بر رابط کاربری Databricks Databricks UI Overview

• خوشه ها Clusters

• خوشه ها Clusters

• منبع: قیمت گذاری، مجموعه های کلاستر و نسخه های زمان اجرا Resource: Pricing, Cluster Pools and Runtime Versions

• منبع: قیمت گذاری، مجموعه های کلاستر و نسخه های زمان اجرا Resource: Pricing, Cluster Pools and Runtime Versions

• نحوه استفاده از Databricks Notebook How to use Databricks Notebooks

• تغییرات رابط کاربری User Interface Changes

• زبان ها را با هم ترکیب کنید و متن Markdown را در نوت بوک خود اضافه کنید Mix Languages and add Markdown text in your Notebook

• زبان ها را با هم ترکیب کنید و متن Markdown را در نوت بوک خود اضافه کنید Mix Languages and add Markdown text in your Notebook

• ماژول Databricks Utilities و FileStore Utilities Databricks Utilities Module and FileStore Utilities

• ماژول Databricks Utilities و FileStore Utilities Databricks Utilities Module and FileStore Utilities

• منبع: نحوه استفاده از نوت بوک Resource: How to use Notebooks

• منبع: نحوه استفاده از نوت بوک Resource: How to use Notebooks

• مهم - دانلود دفترچه منابع دوره IMPORTANT - Download Course Resource Notebooks

• مهم - دانلود دفترچه منابع دوره IMPORTANT - Download Course Resource Notebooks

• مدیریت هزینه و لغو اشتراک Cost Management and Cancelling your Subscription

• مدیریت هزینه و لغو اشتراک Cost Management and Cancelling your Subscription

• منبع: لغو اشتراک Azure Resource: Cancelling your Azure Subscription

• منبع: لغو اشتراک Azure Resource: Cancelling your Azure Subscription

خواندن و نوشتن داده ها Reading and Writing Data

• دانلود مجموعه داده Dataset Download

• خواندن داده ها Reading Data

• فایل های پارکت Parquet Files

• حذف فایل ها و پوشه ها Deleting Files and Folders

خواندن و نوشتن داده ها Reading and Writing Data

• دانلود مجموعه داده Dataset Download

• Databricks FileStore Databricks FileStore

• Databricks FileStore Databricks FileStore

• منبع: انواع فایل Resource: File Types

• منبع: انواع فایل Resource: File Types

• خواندن داده ها Reading Data

• نوشتن داده ها Writing Data

• نوشتن داده ها Writing Data

• فایل های پارکت Parquet Files

• حذف فایل ها و پوشه ها Deleting Files and Folders

تجزیه و تحلیل داده ها و تبدیل با SparkSQL Data Analysis and Transformation with SparkSQL

• انتخاب و تغییر نام ستون ها Selecting and Renaming Columns

• تغییر انواع داده ها Changing Data Types

• توابع ریاضی و محاسبات ساده Math Functions and Simple Arithmetic

• توابع رشته String Functions

• توابع تاریخ Datetime Functions

• فیلتر کردن DataFrames Filtering DataFrames

• استفاده از عبارات SQL با expr() Using SQL Expressions with expr()

• حذف ستون ها Removing Columns

• گروه بندی DataFrame شما Grouping your DataFrame

• پیوستن به DataFrames Joining DataFrames

• اتحاد. اتصال Union

• DataFrame خود را از محور خارج کنید Unpivot your DataFrame

تجزیه و تحلیل داده ها و تبدیل با SparkSQL Data Analysis and Transformation with SparkSQL

• انتخاب و تغییر نام ستون ها Selecting and Renaming Columns

• اضافه کردن ستون های جدید Adding New Columns

• اضافه کردن ستون های جدید Adding New Columns

• تغییر انواع داده ها Changing Data Types

• توابع ریاضی و محاسبات ساده Math Functions and Simple Arithmetic

• توابع مرتب سازی Sort Functions

• توابع مرتب سازی Sort Functions

• توابع رشته String Functions

• توابع تاریخ Datetime Functions

• فیلتر کردن DataFrames Filtering DataFrames

• اظهارات مشروط Conditional Statements

• اظهارات مشروط Conditional Statements

• استفاده از عبارات SQL با expr() Using SQL Expressions with expr()

• حذف ستون ها Removing Columns

• گروه بندی DataFrame شما Grouping your DataFrame

• DataFrame خود را محور قرار دهید Pivot your DataFrame

• DataFrame خود را محور قرار دهید Pivot your DataFrame

• پیوستن به DataFrames Joining DataFrames

• اتحاد. اتصال Union

• DataFrame خود را از محور خارج کنید Unpivot your DataFrame

• پانداها Pandas

• پانداها Pandas

استفاده از معماری مدالیون در Databricks Utilising the Medallion Architecture in Databricks

استفاده از معماری مدالیون در Databricks Utilising the Medallion Architecture in Databricks

• معماری مدالیون Medallion Architecture

• معماری مدالیون Medallion Architecture

• منبع: معماری مدالیون Resource: Medallion Architecture

• منبع: معماری مدالیون Resource: Medallion Architecture

بخش چالش: سفارشات مشتری Challenge Section: Customer Orders

• دانلود مجموعه داده و آپلود DBFS Dataset Download and DBFS Upload

• بررسی راه حل های تکلیف 2 Assignment 2 Solutions Walkthrough

بخش چالش: سفارشات مشتری Challenge Section: Customer Orders

• دانلود مجموعه داده و آپلود DBFS Dataset Download and DBFS Upload

• تکلیف 1: برنز تا نقره Assignment 1: Bronze to Silver

• تکلیف 1: برنز تا نقره Assignment 1: Bronze to Silver

• تکلیف 1 راه حل Assignment 1 Solutions Walkthrough

• تکلیف 1 راه حل Assignment 1 Solutions Walkthrough

• تکلیف 2: نقره به طلا Assignment 2: Silver to Gold

• تکلیف 2: نقره به طلا Assignment 2: Silver to Gold

• بررسی راه حل های تکلیف 2 Assignment 2 Solutions Walkthrough

تجسم ها و داشبوردها Visualizations and Dashboards

• تجسم ها و داشبوردها Visualizations and Dashboards

تجسم ها و داشبوردها Visualizations and Dashboards

• تجسم ها و داشبوردها Visualizations and Dashboards

دسترسی به داده ها از Azure Data Lake Storage (ADLS) با Databricks Accessing Data from Azure Data Lake Storage (ADLS) with Databricks

• ایجاد یک حساب کاربری ADLS Gen2 Creating an ADLS Gen2 Account

• دسترسی از طریق کلیدهای دسترسی Accessing via Access Keys

• دسترسی از طریق SAS Token Accessing via SAS Token

• محدوده های مخفی Secret Scopes

• مثال از پایان به انتها End to End Walkthrough Example

دسترسی به داده ها از Azure Data Lake Storage (ADLS) با Databricks Accessing Data from Azure Data Lake Storage (ADLS) with Databricks

• ایجاد یک حساب کاربری ADLS Gen2 Creating an ADLS Gen2 Account

• (اختیاری) Storage Explorer (Optional) Storage Explorer

• (اختیاری) Storage Explorer (Optional) Storage Explorer

• دسترسی از طریق کلیدهای دسترسی Accessing via Access Keys

• دسترسی از طریق SAS Token Accessing via SAS Token

• نصب ADLS به DBFS نمای کلی Mounting ADLS to DBFS Overview

• نصب ADLS به DBFS نمای کلی Mounting ADLS to DBFS Overview

• نصب ADLS به نسخه ی نمایشی DBFS Mounting ADLS to DBFS Demo

• نصب ADLS به نسخه ی نمایشی DBFS Mounting ADLS to DBFS Demo

• محدوده های مخفی Secret Scopes

• مثال از پایان به انتها End to End Walkthrough Example

Hive Metastore، پایگاه های داده، جداول و نماها Hive Metastore, Databases, Tables and Views

• اجرای SQL روی DataFrames Running SQL on DataFrames

• Hive Metastore و ایجاد پایگاه داده Hive Metastore and Creating Databases

• تعیین مکان برای داده های جدول مدیریت شده زیربنایی شما Specifying a Location for your Underlying Managed Table Data

• جداول مدیریت نشده (خارجی). Unmanaged (External) Tables

• نماهای دائمی Permanent Views

Hive Metastore، پایگاه های داده، جداول و نماها Hive Metastore, Databases, Tables and Views

• اجرای SQL روی DataFrames Running SQL on DataFrames

• Hive Metastore و ایجاد پایگاه داده Hive Metastore and Creating Databases

• جداول مدیریت شده Managed Tables

• جداول مدیریت شده Managed Tables

• تعیین مکان برای داده های جدول مدیریت شده زیربنایی شما Specifying a Location for your Underlying Managed Table Data

• جداول مدیریت نشده (خارجی). Unmanaged (External) Tables

• نماهای دائمی Permanent Views

بخش چالش: کارمندان Challenge Section: Employees

• دانلود مجموعه داده و آپلود ADLS Dataset Download and ADLS Upload

• بررسی راه حل های تکلیف Assignment Solutions Walkthrough

بخش چالش: کارمندان Challenge Section: Employees

• دانلود مجموعه داده و آپلود ADLS Dataset Download and ADLS Upload

• تکلیف: کارمندان Assignment: Employees

• تکلیف: کارمندان Assignment: Employees

• بررسی راه حل های تکلیف Assignment Solutions Walkthrough

Databricks Data Lakehouse/دریاچه دلتا Databricks Data Lakehouse / Delta Lake

• Databricks Data Lakehouse/بررسی اجمالی دریاچه دلتا Databricks Data Lakehouse / Delta Lake Overview

Databricks Data Lakehouse/دریاچه دلتا Databricks Data Lakehouse / Delta Lake

• Databricks Data Lakehouse/بررسی اجمالی دریاچه دلتا Databricks Data Lakehouse / Delta Lake Overview

• فایل های داده دریاچه دلتا Delta Lake Data Files

• فایل های داده دریاچه دلتا Delta Lake Data Files

• حذف و به روز رسانی سوابق Deleting and Updating Records

• حذف و به روز رسانی سوابق Deleting and Updating Records

• ادغام با Merge Into

• ادغام با Merge Into

• دستورات کاربردی جدول Table Utility Commands

• دستورات کاربردی جدول Table Utility Commands

کد و پیوند نوت بوک ها را مدولار کنید Modularize Code and Link Notebooks

• اجرای یک نوت بوک از یک نوت بوک دیگر Running a Notebook from another Notebook

• ابزارک های متنی Text Widgets

کد و پیوند نوت بوک ها را مدولار کنید Modularize Code and Link Notebooks

• اجرای یک نوت بوک از یک نوت بوک دیگر Running a Notebook from another Notebook

• ابزارک های متنی Text Widgets

بخش چالش: به روز رسانی سلامت Challenge Section: Health Updates

• دانلود مجموعه داده و مرور کلی Dataset Download and Overview

• بررسی اجمالی تکلیف 2 (سخت است!) Assignment 2 Overview (Difficult!)

• بررسی راه حل های تکلیف 2 Assignment 2 Solutions Walkthrough

بخش چالش: به روز رسانی سلامت Challenge Section: Health Updates

• دانلود مجموعه داده و مرور کلی Dataset Download and Overview

• بررسی اجمالی تکلیف 1 Assignment 1 Overview

• بررسی اجمالی تکلیف 1 Assignment 1 Overview

• تکلیف 1 راه حل Walthrough Assignment 1 Solutions Walthrough

• تکلیف 1 راه حل Walthrough Assignment 1 Solutions Walthrough

• بررسی اجمالی تکلیف 2 (سخت است!) Assignment 2 Overview (Difficult!)

• بررسی راه حل های تکلیف 2 Assignment 2 Solutions Walkthrough

جرقه ساختار یافته جریان و بارگذار خودکار Spark Structured Streaming and Auto Loader

• آماده سازی ADLS برای این بخش ADLS Preparation for this Section

• مجموعه داده های جریانی "شبیه ساز" نوت بوک Streaming Dataset "Simulator" Notebook

• یادآوری برای لغو دستی جریان داده های خود Reminder to Manually Cancel your Data Streams

• گزینه های اضافی Additional Options

• لودر خودکار Auto Loader

جرقه ساختار یافته جریان و بارگذار خودکار Spark Structured Streaming and Auto Loader

• مروری بر جریان ساختار یافته جرقه Spark Structured Streaming Overview

• مروری بر جریان ساختار یافته جرقه Spark Structured Streaming Overview

• آماده سازی ADLS برای این بخش ADLS Preparation for this Section

• آماده سازی ADLS برای این بخش ADLS Preparation for this Section

• مجموعه داده های جریانی "شبیه ساز" نوت بوک Streaming Dataset "Simulator" Notebook

• خواندن جریان داده Reading a Data Stream

• خواندن جریان داده Reading a Data Stream

• یادآوری برای لغو دستی جریان داده های خود Reminder to Manually Cancel your Data Streams

• نوشتن در جریان داده Writing to a Data Stream

• نوشتن در جریان داده Writing to a Data Stream

• گزینه های اضافی Additional Options

• لودر خودکار Auto Loader

جداول زنده دلتا Delta Live Tables

• آماده سازی ADLS برای این بخش ADLS Preparation for this Section

• نسخه آزمایشی 3: پخش جریانی جداول زنده Demo 3: Streaming Live Tables

جداول زنده دلتا Delta Live Tables

• نمای کلی دلتا Live Delta Live Overview

• نمای کلی دلتا Live Delta Live Overview

• ایجاد منبع پرمیوم Databricks Databricks Premium Resource Creation

• ایجاد منبع پرمیوم Databricks Databricks Premium Resource Creation

• آماده سازی ADLS برای این بخش ADLS Preparation for this Section

• آماده سازی ADLS برای این بخش ADLS Preparation for this Section

• نسخه آزمایشی 1: جداول زنده Demo 1: Live Tables

• نسخه آزمایشی 1: جداول زنده Demo 1: Live Tables

• داده های جدول و فراداده خط لوله Table Data and Pipeline Metadata

• داده های جدول و فراداده خط لوله Table Data and Pipeline Metadata

• نسخه ی نمایشی 2: بررسی کیفیت داده ها Demo 2: Data Quality Checks

• نسخه ی نمایشی 2: بررسی کیفیت داده ها Demo 2: Data Quality Checks

• مجموعه داده های جریانی "شبیه ساز" Streaming Dataset "Simulator"

• مجموعه داده های جریانی "شبیه ساز" Streaming Dataset "Simulator"

• نسخه آزمایشی 3: پخش جریانی جداول زنده Demo 3: Streaming Live Tables

• نسخه ی نمایشی 4: ویژگی ها و نمایش های اضافی Demo 4: Additional Properties and Views

• نسخه ی نمایشی 4: ویژگی ها و نمایش های اضافی Demo 4: Additional Properties and Views