آموزش یادگیری ماشین مقیاس‌پذیر روی داده‌های بزرگ (Big Data) با استفاده از Apache Spark - آخرین آپدیت

هفته اول: مقدمه Week 1: Introduction

• مقدمه‌ای بر Apache Spark برای یادگیری ماشین در داده‌های بزرگ Introduction to Apache Spark for Machine Learning on BigData

• داده‌های بزرگ (Big Data) چیست؟ What is Big Data?

• راهکارهای ذخیره‌سازی داده‌ها Data storage solutions

• استراتژی‌های پردازش موازی داده‌ها در Apache Spark Parallel data processing strategies of Apache Spark

• مبانی برنامه‌نویسی تابعی Functional programming basics

• مجموعه داده‌های توزیع‌شده مقاوم (RDD)، دیتافریم‌ها و ApacheSparkSQL Resilient Distributed Dataset and DataFrames - ApacheSparkSQL

هفته دوم: مقیاس‌بندی ریاضیات برای آمار در Apache Spark Week 2: Scaling Math for Statistics on Apache Spark

• میانگین‌ها Averages

• انحراف معیار Standard deviation

• چولگی (Skewness) Skewness

• کشیدگی (Kurtosis) Kurtosis

• کوواریانس، ماتریس‌های کوواریانس و همبستگی Covariance, Covariance matrices, correlation

• رسم نمودار با ApacheSpark و matplotlib پایتون Plotting with ApacheSpark and python's matplotlib

• کاهش ابعاد Dimensionality reduction

• تحلیل مؤلفه‌های اصلی (PCA) PCA

هفته سوم: آشنایی با Apache SparkML Week 3: Introduction to Apache SparkML

• نحوه عملکرد خط لوله‌های یادگیری ماشین (ML Pipelines) How ML Pipelines work

• آشنایی با SparkML Introduction to SparkML

• استخراج، تبدیل و بارگذاری (ETL) Extract - Transform - Load

• مقدمه‌ای بر خوشه‌بندی: الگوریتم k-Means Introduction to Clustering: k-Means

• استفاده از K-Means در Apache SparkML Using K-Means in Apache SparkML

هفته چهارم: یادگیری نظارت شده و نظارت نشده با SparkML Week 4: Supervised and Unsupervised learning with SparkML

• رگرسیون خطی Linear Regression

• رگرسیون خطی با Apache SparkML LinearRegression with Apache SparkML

• رگرسیون لجستیک Logistic Regression

• رگرسیون لجستیک با Apache SparkML LogisticRegression with Apache SparkML