آموزش DP-100: یادگیری ماشینی A-Z با استفاده از یادگیری ماشینی Azure

سرفصل ها و درس ها

معرفی دوره Course Introduction

• یادداشت در مورد DP-100 Exam و New Studio Note on DP-100 Exam and New Studio

• حساب رایگان Azure خود را ایجاد کنید Create Your Free Azure Account

• اسلایدهای دوره و همچنین فایل های داده برای همه بخش ها The course slides as well as Data Files for all sections

• پیام مهم درباره نظرات Udemy Important Message About Udemy Reviews

مبانی یادگیری ماشین Basics of Machine Learning

• آنچه در این بخش خواهید آموخت What You Will Learn in This Section

• چرا یادگیری ماشینی آینده است؟ Why Machine Learning is the Future?

• یادگیری ماشینی چیست؟ What is Machine Learning?

• درک جنبه های مختلف داده - نوع، متغیرها، دسته Understanding various aspects of data - Type, Variables, Category

• اصطلاحات رایج یادگیری ماشین - احتمال، میانگین، حالت، میانه، محدوده Common Machine Learning Terms - Probability, Mean, Mode, Median, Range

• انواع مدل های یادگیری ماشین - طبقه بندی، رگرسیون، خوشه بندی و غیره Types of Machine Learning Models - Classification, Regression, Clustering etc

• مبانی یادگیری ماشین Basics of Machine Learning

شروع کار با Azure ML Getting Started with Azure ML

• در این بخش چه خواهید آموخت؟ What You Will Learn in This Section?

• معماری Azure ML و سطح بالا چیست. What is Azure ML and high level architecture.

• گردش کار آزمایشی Azure ML Azure ML Experiment Workflow

• برگه تقلب Azure ML برای انتخاب مدل Azure ML Cheat Sheet for Model Selection

• شروع کار با AzureML Getting Started with AzureML

------- آزمون گواهینامه DP - 100 --------- ------- DP - 100 Certification Exam ---------

• برنامه درسی آزمون DP-100 DP-100 Exam Curriculum

یادگیری ماشین لاجورد با طراح استودیو Azure Machine Learning with Studio Designer

• این بخش چه چیزی را پوشش می دهد؟ What this Section Covers?

DP-100 - فضای کاری یادگیری ماشین Azure را راه اندازی کنید DP-100 - Set-up Azure Machine Learning Workspace

• با استفاده از SDK فضای کاری AzureML ایجاد کنید Create AzureML Workspace using SDK

• Workspace را تأیید کنید و فایل پیکربندی Workspace را بنویسید Verify the Workspace and Write the Workspace Config File

• با استفاده از AzureML SDK یک Datastore ایجاد و ثبت کنید Create and Register a Datastore using AzureML SDK

• با استفاده از SDK یک مجموعه داده ایجاد و ثبت کنید Create and Register a Dataset using SDK

• با استفاده از SDK به Workspace، Datastore و Datasets دسترسی پیدا کنید Access Workspace, Datastore and Datasets using SDK

• تبدیل Pandas Dataframe و AzureML Dataset Pandas Dataframe and AzureML Dataset conversions

• داده های محلی را از طریق datastore به حساب ذخیره سازی آپلود کنید Upload local data to storage account via datastore

DP-100 - آزمایش‌ها و مدل‌های قطار را اجرا کنید DP-100 - Run Experiments and Train Models

• بیان مسئله - یک آزمایش نمونه و مقادیر ثبت را اجرا کنید Problem Statement - Run a sample experiment and log values

• یک آزمایش نمونه را با استفاده از AzureML SDK - قسمت 1 اجرا کنید Run a sample experiment using AzureML SDK - Part 1

• یک آزمایش نمونه را با استفاده از AzureML SDK - قسمت 2 اجرا کنید Run a sample experiment using AzureML SDK - Part 2

• یک اسکریپت را در محیط Azureml اجرا کنید - قسمت 1 Run a script in Azureml environment - Part 1

• اجرای یک اسکریپت در محیط Azureml - قسمت 2 Run a script in Azureml environment - Part 2

• اجرای یک اسکریپت در محیط Azureml - قسمت 3 Run a script in Azureml environment - Part 3

• یک اسکریپت را در محیط Azureml اجرا کنید - قسمت 4 Run a script in Azureml environment - Part 4

• اجرای یک اسکریپت در محیط Azureml - قسمت 5 Run a script in Azureml environment - Part 5

• پوشش آزمون DP-100 تاکنون. DP-100 Exam Coverage So far.

• آموزش و اجرای یک مدل اسکریپت در AzureML قسمت 1 Train and Run a Model Script in AzureML Part 1

• آموزش و اجرای یک مدل اسکریپت در AzureML قسمت 2 Train and Run a Model Script in AzureML Part 2

• آموزش و اجرای یک مدل اسکریپت در AzureML قسمت 3 Train and Run a Model Script in AzureML Part 3

• آموزش و اجرای یک مدل اسکریپت در AzureML قسمت 4 Train and Run a Model Script in AzureML Part 4

• آموزش و اجرای یک مدل اسکریپت در AzureML قسمت 5 Train and Run a Model Script in AzureML Part 5

• تهیه خوشه محاسباتی با استفاده از SDK Provisioning Compute Cluster using SDK

• آموزش مدل به صورت خودکار با استفاده از AzureML SDK Automate Model Training using AzureML SDK

• آموزش مدل خودکار - مراحل خط لوله را تعریف کنید Automate Model Training - Define Pipeline Steps

• آموزش خودکار مدل - تعریف Run Configuration Automate Model Training - Define Run Configuration

• آموزش مدل خودکار - ساخت و اجرا را تعریف کنید Automate Model Training - Define Build and Run

• انحراف - آرگومان های خط فرمان Detour - Command Line Arguments

• آموزش خودکار مدل - Create Dataprep Step Automate Model Training - Create Dataprep Step

• آموزش مدل خودکار - مرحله آموزش ایجاد کنید Automate Model Training - Create Training Step

• خط لوله را اجرا کنید و نتایج را ببینید Run the pipeline and see the results

DP-100 مدل ها را مستقر و مصرف کنید DP-100 Deploy and consume the models

• به‌روزرسانی مهم قبل از شروع ویدیوی بعدی. Important Update before you begin next video.

• یک خط لوله استنتاج ایجاد کنید Create an Inference Pipeline

• یک نقطه پایانی بلادرنگ با استفاده از Designer مستقر کنید Deploy a real-time endpoint using Designer

• با استفاده از Designer یک خط لوله استنتاج دسته ای ایجاد کنید Create a batch inference pipeline using Designer

• یک خط لوله استنتاج دسته ای را از Designer اجرا کنید Run a Batch Inference Pipeline from Designer

پردازش داده با استفاده از AzureML Designer Data Processing using AzureML Designer

• به روز رسانی مهم - تغییرات رابط کاربری AzureML Designer Important update - AzureML Designer UI Changes

• دریافت داده به فضای کاری Get Data to the workspace

• داده ها را از منابع خارجی به فضای کاری وارد کنید Import Data to the workspace from external sources

• ویرایش فراداده - نام ستون ها Edit Metadata - Column Names

• درک Run Understanding the Run

• ویرایش فراداده - نوع داده Edit Metadata - Data Type

• داده ها را به Blob Storage صادر کنید Export Data to the Blob Storage

• اضافه کردن ستون به مجموعه داده Add Columns to the Dataset

• سطرها را به مجموعه داده اضافه کنید Add Rows to the Dataset

• عادی سازی داده ها قسمت 1 Normalization of Data Part 1

• عادی سازی داده ها قسمت 2 Normalization of Data Part 2

• پاک کردن داده های از دست رفته Clean Missing Data

• پارتیشن و داده های نمونه قسمت 1 Partition and Sample Data Part 1

• پارتیشن و نمونه داده قسمت 2 Partition and Sample Data Part 2

طبقه بندی Classification

• رگرسیون لجستیک چیست؟ What is Logistic Regression

• رگرسیون لجستیک دو کلاس - بیان مسئله Two Class Logistic Regression - Problem Statement

• آماده سازی داده ها برای طبقه بندی دو طبقه Data Preparation for Two Class Classification

• آموزش مدل رگرسیون لجستیک Train the Model for Logistic Regression

• مدل قسمت 1 را ارزیابی کنید Evaluate the Model Part 1

• مدل - ماتریس سردرگمی را ارزیابی کنید Evaluate the Model - Confusion Matrix

• مدل - AUC ROC را ارزیابی کنید Evaluate the Model - AUC ROC

• پارامترهای رگرسیون لجستیک دو کلاسه Parameters of Two Class Logistics Regression

• درخت تصمیم چیست؟ What is Decision Tree?

• آموزش گروهی در درخت تصمیم Ensemble Learning in Decision Tree

• بسته بندی و تقویت در درخت تصمیم Bagging and Boosting in Decision Tree

• Hands On - درخت تصمیم تقویت شده دو کلاس را آموزش دهید Hands On - Train the Two Class Boosted Decision Tree

• ارزیابی و مقایسه خروجی درخت تصمیم Evaluate and Compare Decision Tree output

رگرسیون با استفاده از AzureML Designer Regression using AzureML Designer

• رگرسیون خطی چیست؟ What is Linear Regression?

• حداقل مربعات معمولی و خطاهای رایج Ordinary Least Square and Common Errors

• Hands On - تجزیه و تحلیل داده های پیش بینی قیمت خودرو Hands On - Automobile Price Predictions Data Analysis

• Hands On - پردازش داده های پیش بینی قیمت خودرو Hands On - Automobile Price Predictions Data Processing

• Hands On - مدل قطار پیش بینی قیمت خودرو Hands On - Automobile Price Predictions Train Model

• دست در دست - پیش بینی قیمت خودرو ارزیابی می شود Hands On - Automobile Price Predictions Evaluate

• R-squared یا ضریب تعیین R-Squared or Coefficient of Determination

• ریاضی پشت شیب نزول Math Behind Gradient Descent

• گرادیان نزول توضیح داده شده است Gradient Descent Explained

• نزول شیب آنلاین یا تصادفی Online or Stochastic Gradient Descent

• آزمایش - رگرسیون خطی با استفاده از نزول گرادیان آنلاین Experiment - Linear Regression using Online Gradient Descent

• رگرسیون خطی را با استفاده از نزول گرادیان آنلاین ارزیابی کنید Evaluate Linear Regression using Online Gradient Descent

طراح/استودیوی کلاسیک در مقابل پانداها و Scikit-learn Designer/Classic Studio Vs Pandas and Scikit-learn

• یادداشتی در مورد آناکوندا و اسپایدر. A note on Anaconda and Spyder.

• این بخش در مورد چیست؟ What this section is about?

• پانداها - وارد کردن داده‌ها برای آزمایش‌ها Pandas - Import Data for Experiments

• Pandas - Import Data Part 2 Pandas - Import Data Part 2

• ستون ها را با استفاده از پاندا انتخاب کنید Select Columns using Pandas

• روش Columns By drop را انتخاب کنید Select Columns By drop method

• ستون ها و ردیف ها را اضافه کنید Add columns and rows

• پاک کردن داده های از دست رفته Clean Missing Data

• ویرایش متادیتای ستون ها با استفاده از پانداها Edit Metadata of columns using Pandas

• ایجاد آمار خلاصه با استفاده از توصیف Create Summary Statistics using describe

• مقادیر کلیپ - با استفاده از ثابت ها، موارد پرت را حذف کنید Clip Values - Remove Outliers using Constants

• مقادیر کلیپ - نقاط پرت را با درصد حذف کنید Clip Values - Remove Outliers with Percentiles

• با استفاده از پاندا یک فایل محدود شده را تبدیل و ذخیره کنید Convert and Save a delimited file using Pandas

• عادی سازی داده ها Data Normalization

• رمزگذاری برچسب داده های دسته بندی رشته ها Label Encoding of String Categorical data

• چرا کدگذاری داغ مورد نیاز است؟ Why Hot encoding is required?

• رمزگذاری داغ با استفاده از Pandas get_dummies Hot Encoding using Pandas get_dummies

• تقسیم داده ها برای آموزش و آزمایش Split The Data for training and testing

• ساخت رگرسیون لجستیک با استفاده از پایتون - قسمت 1 Build Logistic Regression using Python - Part 1

• ساخت رگرسیون لجستیک با استفاده از پایتون - قسمت 2 Build Logistic Regression using Python - Part 2

یادگیری ماشینی Azure با AzureML SDK Azure Machine Learning with AzureML SDK

• مقدمه ای بر AzureML SDK Introduction to AzureML SDK

استفاده از اسکریپت های پایتون در AzureML Designer Using Python Scripts in AzureML Designer

• اسکریپت ساده پایتون در دیزاینر Simple Python Script in Designer

• اسکریپت پایتون را با استفاده از Zip Bundle اجرا کنید Execute Python Script using Zip Bundle

• اسکریپت پایتون را با استفاده از Zip Bundle - Hands on اجرا کنید Execute Python Script using Zip Bundle - Hands on

DP-100 - بهینه سازی و مدیریت مدل ها DP-100 - Optimize and Manage Models

• پوشش بخش Section Coverage

از ML خودکار برای ایجاد مدل های بهینه استفاده کنید Use Automated ML to Create Optimal Models

• Azure AutoML چیست؟ What is Azure AutoML?

• از رابط خودکار ML در استودیوی یادگیری ماشینی Azure استفاده کنید Use the Automated ML interface in Azure Machine Learning studio

• نتیجه اجرای AutoML را مشاهده کنید View the AutoML Run Result

• توجه داشته باشید در مورد فراخوان ماکرو عادی Note on Normalized Macro Recall

• از ML خودکار از Azure Machine Learning SDK استفاده کنید Use Automated ML from the Azure Machine Learning SDK

• بهترین مدل را بازیابی کنید و نتایج را مشاهده کنید Retrieve the Best Model and View results

از Azure Hyperdrive برای تنظیم هایپرپارامترها استفاده کنید Use Azure Hyperdrive to Tune Hyperparameters

• آشنایی با Azure Hyperdrive Introduction to Azure Hyperdrive

• فضای جستجوی Hyperparameter را تعریف کنید Define the Hyperparameter Search Space

• یک روش نمونه گیری انتخاب کنید Select a Sampling method

• گزینه های خاتمه زودهنگام را تعریف کنید Define Early Termination Options

• اجرای Hyperdrive را پیکربندی کنید Configure the Hyperdrive run

• اسکریپت آموزشی برای اجرای Hyperdrive ایجاد کنید Create the Training Script for Hyperdrive run

• بهترین مدل را بازیابی کنید Retrieve the Best Model

از توضیح دهنده مدل برای تفسیر مدل ها استفاده کنید Use model explainers to interpret models

• چرا توضیح مدل مهم است؟ Why model explanation is important?

• درک ارزش شیپلی Understanding Shapley Value

• تکنیک های تفسیرپذیری در Azure Interpretability Techniques in Azure

• پیاده سازی تفسیرپذیری - تنظیم اولیه Implement Interpretability - Initial Set-up

• پیاده سازی تفسیرپذیری - توضیحات جهانی Implement Interpretability - Global Explanations

• پیاده سازی تفسیرپذیری - توضیحات محلی Implement Interpretability - Local Explanations

• پیاده سازی تفسیرپذیری - توضیحات محلی قسمت 2 Implement Interpretability - Local Explanations Part 2

• اسکریپت مدل Interpret را در فضای کاری Azure اجرا کنید Run Interpret Model Script in Azure Workspace

• توضیحات را در استودیوی AzureML تجسم کنید Visualize Explanations in AzureML Studio

• مقادیر اهمیت ویژگی را بازیابی/دانلود کنید. Retrieve/Download Feature Importance Values.

ثبت و استقرار مدل با استفاده از AzureML SDK Model Registration and Deployment using AzureML SDK

• مراحل استقرار مدل Model Deployment Steps

• آشنایی با سریال سازی مدل/اشیاء Understanding Model/Object Serialization

• Hands on - سریال سازی با استفاده از Joblib Hands on - Serialization using Joblib

• مدیریت ارزش‌های OneHotEncoding/Dummy در تولید Handling OneHotEncoding/Dummy Values in Production

• دست در دست - متغیرهای ساختگی در تولید Hands on - Dummy Variables in Production

• آموزش مدل برای استقرار وب سرویس Train the model for webservice deployment

• با استفاده از Run_ID مدل را ثبت کنید Register the Model using Run_ID

• مدل را با استفاده از فایل pkl محلی ثبت کنید Register the Model using local pkl file

• تمام مدل های ثبت شده را از فضای کاری بازیابی کنید Retrieve all the registered models from the workspace

• تهیه خوشه تولید AKS با استفاده از SDK Provisioning AKS Production Cluster using SDK

• Inference and Deployment Configuration را برای Webservice ایجاد کنید Create the Inference and Deployment Configuration for Webservice

• اسکریپت ورودی - تابع Init Entry Script - Init Function

• درک پردازش داده با استفاده از JSON، Dictionary و Dataframe Understanding Data processing using JSON, Dictionary and Dataframe

• اسکریپت ورودی - اجرای تابع Entry Script - run Function

• شیء استقرار وب سرویس را ایجاد کنید Create webservice deployment object

• یک نقطه پایانی بلادرنگ با استفاده از SDK مستقر کنید Deploy a real-time endpoint using SDK

• وب سرویس را از برنامه پایتون مصرف کنید Consume the web service from Python program

• از وب سرویس به عنوان نقطه پایانی استفاده کنید. Consume the web service as an End Point.

استفاده از Databricks با یادگیری ماشینی Azure Using Databricks with Azure Machine Learning

• Databricks به روز رسانی به DP-100 Databricks Update to DP-100

• (اختیاری) Big Data چیست؟ (Optional) What is Big Data?

• (اختیاری) هادوپ چیست؟ (Optional) What is Hadoop?

• Spark و Databricks چیست؟ What is Spark and Databricks?

• یک فضای کاری Azure Databricks ایجاد کنید Create an Azure Databricks workspace

• نکته در مورد حذف منبع Databricks در پرتال Azure Note on Deleting Databricks resource in Azure Portal

• نکته در مورد افزایش محدودیت های سهمیه vCPU Note on Increasing vCPU Quota Limits

• یک خوشه Azure Databricks ایجاد کنید Create an Azure Databricks cluster

• AzureML Workspace را با Databricks Workspace پیوند دهید Link AzureML Workspace with the Databricks Workspace

• ایجاد و اجرای نوت بوک در Azure Databricks Part-1 Create and run notebooks in Azure Databricks Part-1

• ایجاد و اجرای نوت بوک در Azure Databricks Part-2 Create and run notebooks in Azure Databricks Part-2

• با استفاده از dbutils Part-1، ذخیره Blob را به Databricks متصل کنید Mount Blob storage to Databricks using dbutils Part-1

• با استفاده از dbutils Part-2، ذخیره Blob را به Databricks متصل کنید Mount Blob storage to Databricks using dbutils Part-2

• با Databricks Notebook یک آزمایش sklearn را اجرا کنید Run an sklearn experiment with Databricks Notebook

• مروری بر اجرای یک اسکریپت آموزشی با استفاده از DatabricksStep در خط لوله Overview to Run a Training script using DatabricksStep in a pipeline

• ذخیره داده ها در ذخیره سازی Azure Blob از Databricks Saving data to Azure Blob storage from Databricks

• انتقال پارامترها بین نوت بوک های Azure Databricks Passing parameters between Azure Databricks notebooks

• یک خوشه Databricks را به عنوان یک هدف محاسباتی پیوست شده ضمیمه کنید Attach a Databricks Cluster as an Attached Compute Target

• تأیید خوشه Databricks به عنوان محاسبه پیوست شده Verify Databricks Cluster as Attached Compute

• Databricks Pipeline - راه اندازی اولیه Databricks Pipeline - Initial Set-up

• Databricks Pipeline - ساخت DatabricksStep Databricks Pipeline - Build DatabricksStep

• Databricks Pipeline - Databricks and Python notebook Databricks Pipeline - Databricks and Python notebook

• Databricks Pipeline - خط لوله را ارسال کنید و خروجی را تأیید کنید Databricks Pipeline - Submit the pipeline and verify the output

دوره سقوط پایتون Python Crash Course

• یک نکته مهم An Important Note.

• آناکوندا را نصب کنید Install Anaconda

• سلام دنیا و محیط خود را بشناسید Hello World and Know your environment

• انواع متغیر در پایتون Variable Types in Python

• دستورات شرطی در پایتون Conditional Statements in Python

• Python Loops توضیح داد. Python Loops explained.

• در حالی که در پایتون حلقه می زند While Loops in Python

• برای حلقه در پایتون For Loop in Python

• لیست های پایتون Python Lists

• لیست های پایتون - عملیات قسمت 1 Python Lists - Operations Part 1

• لیست های پایتون - عملیات قسمت 2 Python Lists - Operations Part 2

• لیست های چند بعدی در پایتون Multidimensional Lists in Python

• برش یک لیست چند بعدی Slicing a multidimensional list

• تاپل های پایتون Python Tuples

• دیکشنری پایتون Python Dictionary

• دست های دیکشنری پایتون در قسمت 1 Python Dictionary Hands on Part 1

• دست های دیکشنری پایتون در قسمت 2 Python Dictionary Hands on Part 2

• توابع پایتون Python Functions

• توابع پایتون - دست در دست Python Functions - Hands on

• متغیرهای جهانی در مقابل متغیرهای محلی در پایتون Global Vs Local Variables in Python

• انواع آرگومان های تابع Types of Function Arguments

• آرگومان های تابع - آرگومان های مورد نیاز Function Arguments - Required Arguments

• آرگومان های تابع - آرگومان های پیش فرض Function Arguments - Default Arguments

• آرگومان های تابع - آرگومان های کلیدواژه Function Arguments - Keyword Arguments

• برنامه نویسی شی گرا Object Oriented Programming

• یک کلاس تعریف کنید و یک شی بسازید Define a Class and Create an Object

• با استفاده از __init__ ویژگی های کلاس را راه اندازی کنید Initialize the Class Attributes using __init__

• بسته ها و ماژول ها در پایتون Packages and Modules in Python

اصول لاجوردی Azure Fundamentals

• رایانش ابری چیست؟ What is Cloud Computing?

• لاجوردی چیست؟ What is Azure?

• اصطلاحات و مفاهیم اولیه Azure Azure Basic Terms and Concepts

• Azure Storage and Data Resource Azure Storage and Data Resource

• Azure Storage فعال است Azure Storage hands on

• ماشین های محاسباتی/مجازی Azure Azure Compute/Virtual Machines

• Dockers و Azure Container Registry Dockers and Azure Container Registry

با تشکر از شما و سخنرانی پاداش Thank You and Bonus Lecture

• راه رو به جلو Way Forward

• سخنرانی پاداش Bonus Lecture