آموزش ساخت مدل های یادگیری ماشین در Spark 2

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

بسته های یادگیری ماشین: spark.mllib در مقابل spark.ml Machine Learning Packages: spark.mllib vs. spark.ml

• بررسی نسخه Version Check

• نمای کلی ماژول Module Overview

• پیش نیازها و بررسی اجمالی دوره Prerequisites and Course Overview

• RDDs: The Building Blocks of Spark RDDs: The Building Blocks of Spark

• DataFrames در Spark 2 DataFrames in Spark 2

• نسخه ی نمایشی: Spark 2 نصب و کار با نوت بوک های Jupyter Demo: Spark 2 Installation and Working with Jupyter Notebooks

• spark.mllib در مقابل spark.ml spark.mllib vs. spark.ml

• معرفی درختان تصمیم Introducing Decision Trees

• ناخالصی جینی و جوانب مثبت و منفی درختان تصمیم Gini Impurity and Pros and Cons of Decision Trees

• نسخه ی نمایشی: راه اندازی اولیه پروژه Demo: Basic Project Setup

• نسخه ی نمایشی: طبقه بندی شراب با استفاده از درختان تصمیم در spark.mllib Demo: Wine Classification Using Decision Trees in spark.mllib

• نسخه ی نمایشی: کار با فرمت داده LIBSVM Demo: Working with the LIBSVM Data Format

• نسخه ی نمایشی: درختان تصمیم با استفاده از فرمت داده LIBSVM Demo: Decision Trees Using the LIBSVM Data Format

طبقه بندی ساختمان و مدل های رگرسیون در Spark ML Building Classification and Regression Models in Spark ML

• نمای کلی ماژول Module Overview

• خطوط لوله ML، برآوردگرها و ترانسفورماتورها ML Pipelines, Estimators, and Transformers

• مراحل آموزش و پیش بینی خط لوله Training and Prediction Pipeline Stages

• مهندسی ویژگی Feature Engineering

• استخراج کننده های ویژگی Feature Extractors

• ترانسفورماتورهای ویژه Feature Transformers

• انتخابگرهای ویژگی و هش حساس به محل Feature Selectors and Locality Sensitive Hashing

• ماتریس سردرگمی: دقت، دقت، یادآوری، امتیاز F1 The Confusion Matrix: Accuracy, Precision, Recall, F1 Score

• نسخه ی نمایشی: طبقه بندی شراب با استفاده از درختان تصمیم در Spark ML Demo: Wine Classification Using Decision Trees in Spark ML

• نسخه ی نمایشی: تبدیل داده های دسته بندی به مقادیر عددی Demo: Converting Categorical Data to Numeric Values

• نسخه ی نمایشی: طبقه بندی درخت تصمیم Demo: The Decision Tree Classifier

• جنگل های تصادفی Random Forests

• نسخه ی نمایشی: طبقه بندی درآمد با استفاده از جنگل های تصادفی Demo: Income Classification Using Random Forests

• نسخه ی نمایشی: با استفاده از خطوط لوله ML Demo: Using ML Pipelines

• نسخه ی نمایشی: پیش بینی ها با استفاده از جنگل تصادفی Demo: Predictions Using the Random Forest

• معرفی مدل های رگرسیون منظم برای جلوگیری از برازش بیش از حد Introducing Regularized Regression Models to Prevent Overfitting

• رگرسیون کمند و ریج Lasso and Ridge Regression

• نسخه ی نمایشی: رگرسیون خطی با پارامتر خالص الاستیک Demo: Linear Regression with the Elastic Net Param

• نسخه ی نمایشی: پیش بینی ها با استفاده از مدل رگرسیون Demo: Predictions Using the Regression Model

• نسخه ی نمایشی: تنظیم فراپارامتر Demo: Hyperparameter Tuning

اجرای خوشه بندی و کاهش ابعاد در Spark ML Implementing Clustering and Dimensionality Reduction in Spark ML

• نمای کلی ماژول Module Overview

• تکنیک های یادگیری تحت نظارت و بدون نظارت Supervised and Unsupervised Learning Techniques

• اهداف خوشه بندی Clustering Objectives

• تجسم K-به معنای خوشه بندی است Visualizing K-means Clustering

• تعداد خوشه ها به عنوان یک فراپارامتر: روش آرنج و سیلوئت Number of Clusters as a Hyperparameter: The Elbow and Silhouette Method

• نسخه ی نمایشی: K-به معنی خوشه بندی در مجموعه داده تایتانیک است Demo: K-means Clustering on the Titanic Dataset

• نسخه ی نمایشی: کاوش خوشه ها Demo: Exploring Clusters

• تجزیه و تحلیل مؤلفه اصلی: شهود Principal Component Analysis: Intuition

• نسخه ی نمایشی: مدل رگرسیون بدون PCA Demo: Regression Model Without PCA

• نسخه ی نمایشی: انجام رگرسیون بر روی اجزای اصلی Demo: Performing Regression on Principal Components

سیستم های توصیه ساختمان در Spark ML Building Recommendation Systems in Spark ML

• نمای کلی ماژول Module Overview

• فیلتر مبتنی بر محتوا و مشارکتی Content-based and Collaborative Filtering

• تخمین ماتریس رتبه بندی Estimating the Ratings Matrix

• روش حداقل مربعات متناوب The Alternating Least Squares Method

• رتبه بندی صریح و ضمنی Explicit and Implicit Ratings

• استراتژی های شروع سرد و محاسبه شدت Cold Start Strategies and Compute Intensity

• نسخه ی نمایشی: ساختن یک سیستم توصیه با استفاده از رتبه بندی های صریح Demo: Building a Recommendation System Using Explicit Ratings

• نسخه ی نمایشی: دریافت توصیه های فیلم برای کاربران خاص Demo: Getting Movie Recommendations for Specific Users

• نسخه ی نمایشی: ساخت یک سیستم توصیه با استفاده از رتبه بندی ضمنی Demo: Building a Recommendation System Using Implicit Ratings

• نسخه ی نمایشی: دریافت توصیه های هنرمند برای کاربران خاص Demo: Getting Artist Recommendations for Specific Users

• خلاصه و مطالعه بیشتر Summary and Further Study