آموزش یادگیری ماشین با Apache Spark 3.0 با استفاده از Scala

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• بررسی اجمالی Overview

• Spark ML چیست؟ What is Spark ML?

• مقدمه ای بر یادگیری ماشینی Introduction to Machine Learning

اصول اولیه Apache Spark (اختیاری) Apache Spark Basics (Optional)

• مقدمه ای بر اسپارک Introduction to Spark

• (قدیمی) ایجاد حساب رایگان در Databricks (Old) Free Account creation in Databricks

• (جدید) ایجاد حساب رایگان در Databricks (New) Free Account creation in Databricks

• تهیه یک خوشه جرقه Provisioning a Spark Cluster

• اصول اولیه در مورد نوت بوک Basics about notebooks

• چرا باید آپاچی اسپارک را یاد بگیریم؟ Why we should learn Apache Spark?

• Spark RDD (ایجاد و نمایش عملی) Spark RDD (Create and Display Practical)

• Spark Dataframe (ایجاد و نمایش عملی) Spark Dataframe (Create and Display Practical)

• توابع ناشناس در اسکالا Anonymus Functions in Scala

• اضافی (اختیاری در Spark DataFrame) Extra (Optional on Spark DataFrame)

• اضافی (اختیاری در Spark DataFrame) در جزئیات Extra (Optional on Spark DataFrame) in Details

• مجموعه داده های Spark (ایجاد و نمایش عملی) Spark Datasets (Create and Display Practical)

یادگیری ماشین اسپارک آپاچی Apache Spark Machine Learning

• انواع یادگیری ماشینی Types of Machine Learning

• مراحل مربوط به برنامه یادگیری ماشین Steps Involved in Machine Learning Program

• Spark MLlib Spark MLlib

• وارد کردن نوت بوک و آپلود داده Importing Notebook and Data Upload

• آمار پایه همبستگی Basic statistics Correlation

• منابع اطلاعات Data Sources

• فایل CSV منبع داده Data Source CSV File

• منبع داده فایل JSON Data Source JSON File

• منبع داده فایل LIBSVM Data Source LIBSVM File

• فایل تصویر منبع داده Data Source Image File

• منبع داده فایل Arvo Data Source Arvo File

• فایل پارکت منبع داده Data Source Parquet File

• مروری بر خط لوله داده یادگیری ماشین Machine Learning Data Pipeline Overview

• پروژه یادگیری ماشینی به عنوان مثال (فقط برای ایده اولیه) Machine Learning Project as an Example (Just for Basic Idea)

• پروژه نمونه خط لوله یادگیری ماشین (آیا فردا در استرالیا باران خواهد آمد) 1 Machine Learning Pipeline Example Project (Will it Rain Tomorrow in Australia) 1

• پروژه نمونه خط لوله یادگیری ماشین (آیا فردا در استرالیا باران خواهد آمد) 2 Machine Learning Pipeline Example Project (Will it Rain Tomorrow in Australia) 2

• پروژه نمونه خط لوله یادگیری ماشین (آیا فردا در استرالیا باران خواهد آمد) 3 Machine Learning Pipeline Example Project (Will it Rain Tomorrow in Australia) 3

• اجزای خط لوله یادگیری ماشین Components of a Machine Learning Pipeline

• استخراج، تبدیل و انتخاب ویژگی ها Extracting, transforming and selecting features

• TF-IDF (استخراج کننده ویژگی) TF-IDF (Feature Extractor)

• Word2Vec (استخراج کننده ویژگی) Word2Vec (Feature Extractor)

• CountVetorizer (استخراج کننده ویژگی) CountVectorizer (Feature Extractor)

• FeatureHasher (استخراج کننده ویژگی) FeatureHasher (Feature Extractor)

• توکنایزر (ترانسفورماتورهای ویژگی) Tokenizer (Feature Transformers)

• StopWordsRemover (ترانسفورماتورهای ویژگی) StopWordsRemover (Feature Transformers)

• n-gram (ترانسفورماتورهای ویژگی) n-gram (Feature Transformers)

• Binarizer (ترانسفورماتور ویژگی) Binarizer (Feature Transformers)

• PCA (ترانسفورماتورهای ویژگی) PCA (Feature Transformers)

• انبساط چند جمله ای (ترانسفورماتورهای ویژگی) Polynomial Expansion (Feature Transformers)

• تبدیل کسینوس گسسته (DCT) (ترانسفورماتورهای ویژگی) Discrete Cosine Transform (DCT) (Feature Transformers)

• StringIndexer (ترانسفورماتورهای ویژگی) StringIndexer (Feature Transformers)

• IndexToString (ترانسفورماتورهای ویژگی) IndexToString (Feature Transformers)

• OneHotEncoder (ترانسفورماتورهای ویژگی) OneHotEncoder (Feature Transformers)

• SQLTransformer (ترانسفورماتورهای ویژگی) SQLTransformer (Feature Transformers)

• VectorAssembler (ترانسفورماتورهای ویژگی) VectorAssembler (Feature Transformers)

• RFormula (انتخاب کننده ویژگی) RFormula (Feature Selector)

• ChiSqSelector (انتخاب کننده ویژگی) ChiSqSelector (Feature Selector)

• مدل طبقه بندی Classification Model

• پروژه طبقه بندی درخت تصمیم Decision tree classifier Project

• مدل رگرسیون لجستیک (مدل طبقه بندی که در نام رگرسیون دارد) Logistic regression Model (Classification Model It has regression in the name)

• پروژه ساده بیز (پیش‌بینی کلاس گل زنبق) Naive Bayes Project (Iris flower class prediction)

• پروژه طبقه بندی جنگل تصادفی Random Forest Classifier Project

• پروژه طبقه بندی درخت با گرادیان تقویت شده Gradient-boosted tree classifier Project

• پروژه ماشین بردار پشتیبان خطی Linear Support Vector Machine Project

• پروژه طبقه‌بندی کننده یک در مقابل استراحت (با نام مستعار یک در مقابل همه). One-vs-Rest classifier (a.k.a. One-vs-All) Project

• مدل رگرسیون Regression Model

• پروژه مدل رگرسیون خطی Linear Regression Model Project

• پروژه مدل رگرسیون درخت تصمیم گیری Decision tree regression Model Project

• پروژه مدل رگرسیون جنگل تصادفی Random forest regression Model Project

• پروژه مدل رگرسیون درختی با گرادیان تقویت شده Gradient-boosted tree regression Model Project

• پروژه خوشه بندی KMeans (تقسیم بندی مشتریان مرکز خرید) Clustering KMeans Project (Mall Customer Segmentation)

• توضیح چند اصطلاح استفاده شده در مدل Explanation of few terms used in Model

دانلود منابع Download Resources

• دانلود منابع Download Resources

• سخنرانی مهم Important Lecture

• سخنرانی پاداش Bonus Lecture