آموزش مهندسی داده در Microsoft Azure: راهنمای قطعی

سرفصل ها و درس ها

مقدمه - درک مفاهیم اصلی داده Introduction - Understanding Core Data Concepts

مقدمه - درک مفاهیم اصلی داده Introduction - Understanding Core Data Concepts

• معرفی Introduction

• داده چیست - یک تعریف ساده What is Data - A simple definition

• داده های ساخت یافته چیست What is Structured Data

• داده های غیر رابطه ای چیست؟ What is Non Relational Data

• مصرف داده چیست؟ What is Data Ingestion

• پردازش داده چیست؟ What is Data Processing

• پردازش دسته ای در مقابل پردازش جریانی Batch Processing vs Stream Processing

• تجزیه و تحلیل داده چیست؟ What is Data Analytics

Azure SQL - مقدمه Azure SQL - Introduction

Azure SQL - مقدمه Azure SQL - Introduction

• یک پایگاه داده تک نمونه ایجاد کنید Create a Single Instance Database

• گروه منابع چیست؟ What is a Resource Group

• Azure Data Studio - مقدمه Azure Data Studio - Introduction

• یک ماشین مجازی ایجاد کنید Create a Virtual Machine

• از طریق ماشین مجازی Azure به پایگاه داده Azure متصل شوید Connect to Azure Database from an Azure Virtual Machine

• احراز هویت و مجوز Authentication and Authorization

• یک ورود و کاربر SQL ایجاد کنید Create a SQL Login and User

• SQL Server Management Studion - مقدمه SQL Server Management Studion - Introduction

• درک جداول و نماها Understanding Tables and Views

• نحوه ایجاد نمودار پایگاه داده در SSMS How to Create a Database Diagram in SSMS

• مدیریت هزینه Azure - نحوه ایجاد بودجه در Azure Azure Cost Management - How to Create a Budget in Azure

Azure Blob Storage - مقدمه Azure Blob Storage - Introduction

Azure Blob Storage - مقدمه Azure Blob Storage - Introduction

• معرفی Azure Storage Introduction to Azure Storage

• یک حساب ذخیره سازی Azure ایجاد کنید Create an Azure Storage Account

• داده ها را با استفاده از پورتال Azure آپلود کنید Upload Data using the Azure Portal

• با استفاده از Azure Storage Explorer داده ها را آپلود کنید Upload Data using Azure Storage Explorer

• یک حساب ذخیره‌سازی را با امضای دسترسی مشترک وصل کنید Connect a Storage Account with a Shared Access Signature

• Azure CLI - یک امضای دسترسی مشترک ایجاد کنید Azure CLI - Generate a Shared Access Signature

• درک افزونگی داده ها Understanding Data Redundancy

• حساب ذخیره سازی Azure - گزینه های افزونگی Azure Storage Account - Redundancy Options

Azure Data Factory - Core Concepts Azure Data Factory - Core Concepts

Azure Data Factory - Core Concepts Azure Data Factory - Core Concepts

• بخش معرفی Section Intro

• ایجاد فروشگاه داده و هدف Create Data Store and Target

• ایجاد Data Factory و خدمات مرتبط Create Data Factory and Linked Services

• ایجاد مجموعه داده ها Create Datasets

• خط لوله و فعالیت ها را ایجاد کنید Create Pipeline and Activities

• ایجاد جریان داده های نقشه برداری و افزودن منابع Create Mapping Data Flow and Adding Sources

• نقشه‌برداری جریان داده - پیوستن به منابع Mapping Data Flow - Joining Sources

• نقشه‌برداری جریان داده - داده‌های انبوه Mapping Data Flow - Aggregate Data

• نگاشت اجرای جریان داده Mapping Data Flow Execution

• نگاشت جریان داده و اجرای اسپارک آپاچی Mapping Data Flow and Apache Spark Execution

بخش تمرین: یک خط لوله ETL با کارخانه داده Azure بسازید Practice Section: Build an ETL Pipeline with Azure Data Factory

بخش تمرین: یک خط لوله ETL با کارخانه داده Azure بسازید Practice Section: Build an ETL Pipeline with Azure Data Factory

• معرفی Introduction

• هشدار هزینه - قیمت گذاری خط لوله داده Cost Warning - Data Pipeline Pricing

• مهم دانلود منابع قبل از شروع IMPORTANT Download Resources Before Starting

• Azure SQL - کاربران شامل Azure SQL - Contained Users

• Azure Key Vault - ذخیره اسرار سرور SQL Azure Key Vault - Store SQL Server Secrets

• Azure Key Vault - سرویس مرتبط Azure Key Vault - Linked Service

• یک حساب ذخیره سازی Azure ایجاد کنید Create Azure Storage Account

• Azure Managed Identity - یک سرویس مرتبط با Azure Blob Storage ایجاد کنید Azure Managed Identity - Create a Linked Service To Azure Blob Storage

• کنترل دسترسی مبتنی بر نقش Azure - اجازه دسترسی به هویت مدیریت شده Azure Role Based Access Control - Grant Access To Managed Identity

• یک مجموعه داده برای فعالیت جستجو ایجاد کنید Create a Dataset for the Lookup Activity

• Azure Data Factory - Lookup Activity Azure Data Factory - Lookup Activity

• Azure Data Factory - برای هر فعالیت و عبارات خط لوله Azure Data Factory - ForEach Activity & Pipeline Expressions

• Azure Data Factory - ForEach Activity - Part II Azure Data Factory - ForEach Activity - Part II

• پارامتر یک مجموعه داده قسمت اول - نام کانتینر Parameterize a Dataset Part I - Container Name

• پارامتر یک مجموعه داده قسمت دوم - نام دایرکتوری Parameterize a Dataset Part II - Directory Name

• پارامتر یک مجموعه داده قسمت III - نام فایل Parameterize a Dataset Part III - File Name

• نقشه‌برداری جریان داده - منبع JSON Mapping Data Flow - JSON Source

• نقشه‌برداری جریان داده - منبع پارکت Mapping Data Flow - Parquet Source

• نگاشت جریان داده - پیوستن و تبدیل ستون مشتق شده Mapping Data Flow - JOIN & Derived Column Transformations

• نقشه‌برداری جریان داده - تبدیل کل Mapping Data Flow - Aggregate Transformation

• جریان داده Mappind - سینک فایل CSV پارامتر شده Mappind Data Flow - Parameterized CSV File Sink

• Azure Data Factory - SAS را در Azure Key Vault ذخیره کنید Azure Data Factory - Store SAS In Azure Key Vault

• Azure Data Factory - Copy Activity Merge Behavior Azure Data Factory - Copy Activity Merge Behaviour

• Azure Data Factory - اجرای خط لوله پایان به پایان Azure Data Factory - End To End Pipeline Execution

• Azure Data Factory - Storage Event Triggers Azure Data Factory - Storage Event Triggers

Azure Synapse Analytics - استخر SQL بدون سرور Azure Synapse Analytics - Serverless SQL pool

Azure Synapse Analytics - استخر SQL بدون سرور Azure Synapse Analytics - Serverless SQL pool

• مهم دانلود منابع قبل از شروع IMPORTANT Download Resources Before Starting

• پردازش داده - OLAP در مقابل OLTP Data Processing - OLAP vs OLTP

• Azure Synapse Analytics - یک فضای کاری Synapse ایجاد کنید Azure Synapse Analytics - Create a Synapse workspace

• Azure Synapse Analytics - معرفی استخر SQL بدون سرور Azure Synapse Analytics - Serverless SQL Pool Introduction

• استخر SQL بدون سرور - با کاربر Azure AD و Azure Data Studio ارتباط برقرار کنید Serverless SQL pool - Connect with Azure AD User & Azure Data Studio

• استخر SQL بدون سرور - اعتبار سطح سرور Serverless SQL pool - Server Level Credential

• Openrowset - فایل های پارکت را بخوانید Openrowset - Read Parquet Files

• Openrowset - خواندن فایل‌های CSV Openrowset - Read CSV Files

• Openrowset - خواندن JSON - Line Delimited JSON Openrowset - Read JSON - Line Delimited JSON

• Openrowset - خواندن JSON - Array of Objects Openrowset - Read JSON - Array of Objects

• استخر SQL بدون سرور - مقدمه ای بر جداول خارجی Serverless SQL pool - Introduction to External Tables

• استخر SQL بدون سرور - ایجاد جدول خارجی - قسمت اول Serverless SQL pool - Create External Table - Part I

• استخر SQL بدون سرور - ایجاد جدول خارجی - قسمت دوم Serverless SQL pool - Create External Table - Part II

• استخر SQL بدون سرور - ایجاد جدول خارجی III - نحوه مدیریت سوابق کثیف Serverless SQL pool - Create External Table III - How to Handle Dirty Records

• استخر SQL بدون سرور - CETAS - ایجاد جدول خارجی به عنوان انتخاب Serverless SQL pool - CETAS - Create External Table As Select

Azure Synapse Analytics - استخر اسپارک آپاچی بدون سرور Azure Synapse Analytics - Serverless Apache Spark pool

Azure Synapse Analytics - استخر اسپارک آپاچی بدون سرور Azure Synapse Analytics - Serverless Apache Spark pool

• آپاچی اسپارک - معماری Apache Spark - Architecture

• یک Apache Spark Pool بدون سرور ایجاد کنید Create a Serverless Apache Spark Pool

• یک نوت بوک Spark ایجاد و اجرا کنید Create and Run a Spark Notebooks

• مقیاس پذیری یک استخر اسپارک آپاچی بدون سرور Scaling a Serverless Apache Spark Pool

• Azure Synapse Analytics - سهمیه‌های فضای کاری Azure Synapse Analytics - Workspace Quotas

• کار با Azure Data Lake Storage Working with Azure Data Lake Storage

• کار با Azure Blob Storage Working with Azure Blob Storage

• کار با Azure SQL Working with Azure SQL

• تمرین - ابزار IDE مورد علاقه خود را پیکربندی کنید Practice - Configure your favorite IDE tool

Azure Synapse Analytics - اختصاصی SQL Pool Azure Synapse Analytics - Dedicated SQL Pool

Azure Synapse Analytics - اختصاصی SQL Pool Azure Synapse Analytics - Dedicated SQL Pool

• استخر اختصاصی SQL - مقدمه Dedicated SQL pool - Introduction

• Synapse - یک استخر SQL اختصاصی ایجاد کنید Synapse - Create a dedicated SQL pool

• بارگذاری داده - کپی بیانیه Load data - Copy Statement

• بارگیری داده - ایجاد جدول به عنوان انتخاب (CTAS) Load data - CREATE TABLE AS SELECT (CTAS)

• طرحواره ستاره - معماری یک انبار داده Star Schema - Architecture of a Data Warehouse

• جدول توزیع شده هش Hash-distributed table

• جدول توزیع شده درهم - ستون توزیع را انتخاب کنید Hash-distributed table - Choose the Distribution Column

• میز دور روبین توزیع شده Round-robin distributed table

• تمرین: ایجاد و بارگذاری داده ها در یک استخر SQL اختصاصی Practice: Create and Load Data into a Dedicated SQL Pool

• مدیریت حجم کار - نحوه مدیریت عملکرد پرس و جو Workload Management - How to managed query performance