آموزش مهندسی داده در Microsoft Azure: راهنمای قطعی

Data Engineering on Microsoft Azure: The Definitive Guide

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره: معرفی عملی خدمات داده Azure. Data Factory، Synapse Analytics، SQL Database و سایر پایگاه‌های Provision Azure SQL را بیاموزید. از ابزارهای پرس و جو مانند Azure Data Studio یا SQL Server Management Studio (SSMS) برای اتصال به پایگاه داده های Azure SQL استفاده کنید. ایجاد حساب های ذخیره سازی برای ذخیره داده های بدون ساختار و نیمه ساختار یافته. از Azure Data Studio برای آپلود داده ها در Azure استفاده کنید. هویت ها، کلیدها و اسرار را در فناوری های مختلف پلت فرم داده با استفاده از Azure Key Vault مدیریت کنید از Azure CLI برای ایجاد امضای دسترسی مشترک (SAS) استفاده کنید. نحوه دسترسی به منابع ذخیره سازی با استفاده از خط لوله SAS Build ETL با استفاده از Azure Data Factory. منطق تحول پیشرفته را با استفاده از جریان داده ایجاد کنید. یک خط لوله داده را بر اساس رویدادهای ذخیره سازی یا زمان خاص ایجاد کنید. ایجاد جداول خارجی برای خواندن یا نوشتن داده ها در فایل ها در Azure Storage ساخت انبار داده مدرن با استفاده از Azure Synapse Analytics تجزیه و تحلیل داده ها با استفاده از Apache Spark pool بدون سرور در Synapse Analytics . شما هر آنچه را که نیاز دارید یاد خواهید گرفت

آیا می خواهید حرفه خود را به عنوان یک مهندس داده Azure شروع کنید؟


به راهنمای قطعی مهندسی داده در Microsoft Azure خوش آمدید.
در این دوره آموزشی، نحوه استفاده از خانواده گسترده خدمات داده Azure را برای ایجاد یک پلتفرم داده و تجزیه و تحلیل مدرن یاد خواهید گرفت.

من شما را گام به گام از طریق آموزش‌های ویدیویی جذاب راهنمایی می‌کنم و هر آنچه را که برای موفقیت به عنوان یک مهندس داده Azure نیاز دارید به شما آموزش می‌دهم.

در زمان تکمیل این دوره، می‌توانید:

  1. معماری یک راه حل داده در Azure

  2. داده های رابطه ای و داده های بدون ساختار

    را ادغام کنید
  3. با استفاده از Azure Data Factory خطوط لوله پردازش داده بسازید

  4. یکپارچه سازی و تبدیل داده ها از سیستم های داده مختلف

  5. دسترسی ایمن به فروشگاه‌های داده با Azure Key Vault و کنترل دسترسی مبتنی بر نقش Azure (Azure RBAC)

  6. تحلیل داده های اکتشافی را با Azure Synapse Analytics انجام دهید

  7. هزینه های خود را مدیریت کنید

سخنرانی‌های این دوره به صورت عملی و با توضیحات زیاد است.
من همچنین از انیمیشن‌ها برای تفکیک موضوعات پیچیده استفاده می‌کنم.

اسکریپت‌های SQL و نوت‌بوک‌های Jupyter وجود دارد که می‌توانید از آنها برای پیگیری آسان استفاده کنید.


شما از نزدیک با مستندات Microsoft Azure کار خواهید کرد زیرا دانستن چگونگی یافتن به روزترین اطلاعات در مورد هر سرویس ضروری است.

می‌آموزید که چگونه طیف وسیعی از خدمات Azure را برای جذب، ذخیره و پردازش داده‌ها در هر نوع و اندازه از هر منبع داده‌ای ترکیب کنید.

در طول این دوره، نحوه استفاده و ترکیب چندین سرویس و ابزار Azure از جمله:

  • پایگاه های داده Azure SQL

  • ذخیره‌سازی Azure

  • کنترل دسترسی مبتنی بر نقش Azure - RBAC

  • Azure Data Studio

  • Azure Storage Explorer

  • مدیریت هزینه Azure

  • کارخانه داده های Azure

  • خزانه کلید Azure

  • هویت مدیریت شده Azure

  • Azure Synapse Analytics

    • Synapse Workspace

    • Azure Synapse Studio

    • SQL Pool بدون سرور

    • Apache Spark Pool بدون سرور

    • Synapse Analytics اختصاصی SQL Pool

در ابتدای هر سرویس داده، با سرویس آشنا می‌شوید، یاد می‌گیرید که برای چیست و سپس نحوه استفاده از آن را یاد می‌گیرید.

اکنون ثبت نام کنید و یاد بگیرید

مایکروسافت، ویندوز، مایکروسافت آزور، و همه خدمات داده‌های آژور علائم تجاری یا علائم تجاری گروه شرکت‌های مایکروسافت هستند.
این دوره دارای گواهی، معتبر، وابسته، یا تایید شده توسط شرکت مایکروسافت نیست.


سرفصل ها و درس ها

مقدمه - درک مفاهیم اصلی داده Introduction - Understanding Core Data Concepts

مقدمه - درک مفاهیم اصلی داده Introduction - Understanding Core Data Concepts

  • معرفی Introduction

  • داده چیست - یک تعریف ساده What is Data - A simple definition

  • داده های ساخت یافته چیست What is Structured Data

  • داده های غیر رابطه ای چیست؟ What is Non Relational Data

  • مصرف داده چیست؟ What is Data Ingestion

  • پردازش داده چیست؟ What is Data Processing

  • پردازش دسته ای در مقابل پردازش جریانی Batch Processing vs Stream Processing

  • تجزیه و تحلیل داده چیست؟ What is Data Analytics

Azure SQL - مقدمه Azure SQL - Introduction

Azure SQL - مقدمه Azure SQL - Introduction

  • یک پایگاه داده تک نمونه ایجاد کنید Create a Single Instance Database

  • گروه منابع چیست؟ What is a Resource Group

  • Azure Data Studio - مقدمه Azure Data Studio - Introduction

  • یک ماشین مجازی ایجاد کنید Create a Virtual Machine

  • از طریق ماشین مجازی Azure به پایگاه داده Azure متصل شوید Connect to Azure Database from an Azure Virtual Machine

  • احراز هویت و مجوز Authentication and Authorization

  • یک ورود و کاربر SQL ایجاد کنید Create a SQL Login and User

  • SQL Server Management Studion - مقدمه SQL Server Management Studion - Introduction

  • درک جداول و نماها Understanding Tables and Views

  • نحوه ایجاد نمودار پایگاه داده در SSMS How to Create a Database Diagram in SSMS

  • مدیریت هزینه Azure - نحوه ایجاد بودجه در Azure Azure Cost Management - How to Create a Budget in Azure

Azure Blob Storage - مقدمه Azure Blob Storage - Introduction

Azure Blob Storage - مقدمه Azure Blob Storage - Introduction

  • معرفی Azure Storage Introduction to Azure Storage

  • یک حساب ذخیره سازی Azure ایجاد کنید Create an Azure Storage Account

  • داده ها را با استفاده از پورتال Azure آپلود کنید Upload Data using the Azure Portal

  • با استفاده از Azure Storage Explorer داده ها را آپلود کنید Upload Data using Azure Storage Explorer

  • یک حساب ذخیره‌سازی را با امضای دسترسی مشترک وصل کنید Connect a Storage Account with a Shared Access Signature

  • Azure CLI - یک امضای دسترسی مشترک ایجاد کنید Azure CLI - Generate a Shared Access Signature

  • درک افزونگی داده ها Understanding Data Redundancy

  • حساب ذخیره سازی Azure - گزینه های افزونگی Azure Storage Account - Redundancy Options

Azure Data Factory - Core Concepts Azure Data Factory - Core Concepts

Azure Data Factory - Core Concepts Azure Data Factory - Core Concepts

  • بخش معرفی Section Intro

  • ایجاد فروشگاه داده و هدف Create Data Store and Target

  • ایجاد Data Factory و خدمات مرتبط Create Data Factory and Linked Services

  • ایجاد مجموعه داده ها Create Datasets

  • خط لوله و فعالیت ها را ایجاد کنید Create Pipeline and Activities

  • ایجاد جریان داده های نقشه برداری و افزودن منابع Create Mapping Data Flow and Adding Sources

  • نقشه‌برداری جریان داده - پیوستن به منابع Mapping Data Flow - Joining Sources

  • نقشه‌برداری جریان داده - داده‌های انبوه Mapping Data Flow - Aggregate Data

  • نگاشت اجرای جریان داده Mapping Data Flow Execution

  • نگاشت جریان داده و اجرای اسپارک آپاچی Mapping Data Flow and Apache Spark Execution

بخش تمرین: یک خط لوله ETL با کارخانه داده Azure بسازید Practice Section: Build an ETL Pipeline with Azure Data Factory

بخش تمرین: یک خط لوله ETL با کارخانه داده Azure بسازید Practice Section: Build an ETL Pipeline with Azure Data Factory

  • معرفی Introduction

  • هشدار هزینه - قیمت گذاری خط لوله داده Cost Warning - Data Pipeline Pricing

  • مهم دانلود منابع قبل از شروع IMPORTANT Download Resources Before Starting

  • Azure SQL - کاربران شامل Azure SQL - Contained Users

  • Azure Key Vault - ذخیره اسرار سرور SQL Azure Key Vault - Store SQL Server Secrets

  • Azure Key Vault - سرویس مرتبط Azure Key Vault - Linked Service

  • یک حساب ذخیره سازی Azure ایجاد کنید Create Azure Storage Account

  • Azure Managed Identity - یک سرویس مرتبط با Azure Blob Storage ایجاد کنید Azure Managed Identity - Create a Linked Service To Azure Blob Storage

  • کنترل دسترسی مبتنی بر نقش Azure - اجازه دسترسی به هویت مدیریت شده Azure Role Based Access Control - Grant Access To Managed Identity

  • یک مجموعه داده برای فعالیت جستجو ایجاد کنید Create a Dataset for the Lookup Activity

  • Azure Data Factory - Lookup Activity Azure Data Factory - Lookup Activity

  • Azure Data Factory - برای هر فعالیت و عبارات خط لوله Azure Data Factory - ForEach Activity & Pipeline Expressions

  • Azure Data Factory - ForEach Activity - Part II Azure Data Factory - ForEach Activity - Part II

  • پارامتر یک مجموعه داده قسمت اول - نام کانتینر Parameterize a Dataset Part I - Container Name

  • پارامتر یک مجموعه داده قسمت دوم - نام دایرکتوری Parameterize a Dataset Part II - Directory Name

  • پارامتر یک مجموعه داده قسمت III - نام فایل Parameterize a Dataset Part III - File Name

  • نقشه‌برداری جریان داده - منبع JSON Mapping Data Flow - JSON Source

  • نقشه‌برداری جریان داده - منبع پارکت Mapping Data Flow - Parquet Source

  • نگاشت جریان داده - پیوستن و تبدیل ستون مشتق شده Mapping Data Flow - JOIN & Derived Column Transformations

  • نقشه‌برداری جریان داده - تبدیل کل Mapping Data Flow - Aggregate Transformation

  • جریان داده Mappind - سینک فایل CSV پارامتر شده Mappind Data Flow - Parameterized CSV File Sink

  • Azure Data Factory - SAS را در Azure Key Vault ذخیره کنید Azure Data Factory - Store SAS In Azure Key Vault

  • Azure Data Factory - Copy Activity Merge Behavior Azure Data Factory - Copy Activity Merge Behaviour

  • Azure Data Factory - اجرای خط لوله پایان به پایان Azure Data Factory - End To End Pipeline Execution

  • Azure Data Factory - Storage Event Triggers Azure Data Factory - Storage Event Triggers

Azure Synapse Analytics - استخر SQL بدون سرور Azure Synapse Analytics - Serverless SQL pool

Azure Synapse Analytics - استخر SQL بدون سرور Azure Synapse Analytics - Serverless SQL pool

  • مهم دانلود منابع قبل از شروع IMPORTANT Download Resources Before Starting

  • پردازش داده - OLAP در مقابل OLTP Data Processing - OLAP vs OLTP

  • Azure Synapse Analytics - یک فضای کاری Synapse ایجاد کنید Azure Synapse Analytics - Create a Synapse workspace

  • Azure Synapse Analytics - معرفی استخر SQL بدون سرور Azure Synapse Analytics - Serverless SQL Pool Introduction

  • استخر SQL بدون سرور - با کاربر Azure AD و Azure Data Studio ارتباط برقرار کنید Serverless SQL pool - Connect with Azure AD User & Azure Data Studio

  • استخر SQL بدون سرور - اعتبار سطح سرور Serverless SQL pool - Server Level Credential

  • Openrowset - فایل های پارکت را بخوانید Openrowset - Read Parquet Files

  • Openrowset - خواندن فایل‌های CSV Openrowset - Read CSV Files

  • Openrowset - خواندن JSON - Line Delimited JSON Openrowset - Read JSON - Line Delimited JSON

  • Openrowset - خواندن JSON - Array of Objects Openrowset - Read JSON - Array of Objects

  • استخر SQL بدون سرور - مقدمه ای بر جداول خارجی Serverless SQL pool - Introduction to External Tables

  • استخر SQL بدون سرور - ایجاد جدول خارجی - قسمت اول Serverless SQL pool - Create External Table - Part I

  • استخر SQL بدون سرور - ایجاد جدول خارجی - قسمت دوم Serverless SQL pool - Create External Table - Part II

  • استخر SQL بدون سرور - ایجاد جدول خارجی III - نحوه مدیریت سوابق کثیف Serverless SQL pool - Create External Table III - How to Handle Dirty Records

  • استخر SQL بدون سرور - CETAS - ایجاد جدول خارجی به عنوان انتخاب Serverless SQL pool - CETAS - Create External Table As Select

Azure Synapse Analytics - استخر اسپارک آپاچی بدون سرور Azure Synapse Analytics - Serverless Apache Spark pool

Azure Synapse Analytics - استخر اسپارک آپاچی بدون سرور Azure Synapse Analytics - Serverless Apache Spark pool

  • آپاچی اسپارک - معماری Apache Spark - Architecture

  • یک Apache Spark Pool بدون سرور ایجاد کنید Create a Serverless Apache Spark Pool

  • یک نوت بوک Spark ایجاد و اجرا کنید Create and Run a Spark Notebooks

  • مقیاس پذیری یک استخر اسپارک آپاچی بدون سرور Scaling a Serverless Apache Spark Pool

  • Azure Synapse Analytics - سهمیه‌های فضای کاری Azure Synapse Analytics - Workspace Quotas

  • کار با Azure Data Lake Storage Working with Azure Data Lake Storage

  • کار با Azure Blob Storage Working with Azure Blob Storage

  • کار با Azure SQL Working with Azure SQL

  • تمرین - ابزار IDE مورد علاقه خود را پیکربندی کنید Practice - Configure your favorite IDE tool

Azure Synapse Analytics - اختصاصی SQL Pool Azure Synapse Analytics - Dedicated SQL Pool

Azure Synapse Analytics - اختصاصی SQL Pool Azure Synapse Analytics - Dedicated SQL Pool

  • استخر اختصاصی SQL - مقدمه Dedicated SQL pool - Introduction

  • Synapse - یک استخر SQL اختصاصی ایجاد کنید Synapse - Create a dedicated SQL pool

  • بارگذاری داده - کپی بیانیه Load data - Copy Statement

  • بارگیری داده - ایجاد جدول به عنوان انتخاب (CTAS) Load data - CREATE TABLE AS SELECT (CTAS)

  • طرحواره ستاره - معماری یک انبار داده Star Schema - Architecture of a Data Warehouse

  • جدول توزیع شده هش Hash-distributed table

  • جدول توزیع شده درهم - ستون توزیع را انتخاب کنید Hash-distributed table - Choose the Distribution Column

  • میز دور روبین توزیع شده Round-robin distributed table

  • تمرین: ایجاد و بارگذاری داده ها در یک استخر SQL اختصاصی Practice: Create and Load Data into a Dedicated SQL Pool

  • مدیریت حجم کار - نحوه مدیریت عملکرد پرس و جو Workload Management - How to managed query performance

نمایش نظرات

آموزش مهندسی داده در Microsoft Azure: راهنمای قطعی
جزییات دوره
12 hours
96
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
2,962
4.4 از 5
دارد
دارد
دارد
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Wadson Guimatsa Wadson Guimatsa

مهندس داده