آموزش Big Data با Apache Spark 3 و Python: From Zero to Expert

سرفصل ها و درس ها

معرفی این دوره Introduction to this course

• معرفی این دوره Introduction to this course

• چگونه از دوره بیشترین بهره را ببرید How to get the most out of the course

• مطالب دوره Course material

اصول جرقه Spark Fundamentals

• اصول جرقه Spark Fundamentals

• اجرای آپاچی اسپارک Apache Spark execution

• اکوسیستم و مستندات آپاچی اسپارک Apache Spark ecosystem and documentation

• PySpark: عملیات، مدیریت خوشه و معماری PySpark: operation, cluster administration and architecture

نصب آپاچی اسپارک به صورت محلی Installing Apache Spark locally

• اسپارک، جاوا و آناکوندا را دانلود کنید Download Spark, Java and Anaconda

• تنظیم متغیرهای محیطی Setting environment variables

• Running Spark در Prompt و Jupyter Notebook Running Spark in Prompt and Jupyter Notebook

• رفع مشکلات رایج Fixing common problems

Spark Fundamentals و RDDs Spark Fundamentals and RDDs

• برگه تقلب PySpark PySpark Cheat Sheet

• مبانی RDD RDD Fundamentals

• PySpark را با SparkSession و SparkContext راه اندازی کنید Initialize PySpark with SparkSession and the SparkContext

• تبدیل در RDD مانند نقشه، فیلتر، flatMap و متمایز Transformations in RDDs like map, filter, flatMap and distinct

• تبدیل‌ها در RDD‌ها مانند reduceByKey، groupByKey یا sortByKey Transformations in RDDs like reduceByKey, groupByKey or sortByKey

• اقدامات RDD مانند شمارش، اول، جمع آوری یا برداشتن RDD actions such as count, first, collect or take

• تمرین عملی: ویژگی های اساسی و RDD ها Practical exercise: Basic Features and RDDs

Spark DataFrames و Apache Spark SQL Spark DataFrames and Apache Spark SQL

• چیت شیت PySpark: SQL PySpark Cheatsheet: SQL

• مبانی و مزایای DataFrames Fundamentals and advantages of DataFrames

• ویژگی های DataFrame و منابع داده Characteristics of DataFrames and data sources

• ایجاد DataFrame در PySpark Creating DataFrames in PySpark

• عملیات با PySpark DataFrames Operations with PySpark DataFrames

• انواع مختلف اتصال در DataFrames Different types of joins in DataFrames

• پرس و جوهای SQL در PySpark SQL queries in PySpark

• ویژگی های پیشرفته برای بارگیری و صادرات داده ها در PySpark Advanced features for loading and exporting data in PySpark

• تمرین عملی: Spark DataFrames و Apache Spark SQL Practical Exercise: Spark DataFrames and Apache Spark SQL

ویژگی های پیشرفته در آپاچی اسپارک Advanced features in Apache Spark

• عملکردهای آوان زاد و بهینه سازی کارکرد Funciones avanzadas y optimización del rendimiento

• BroadCast پیوستن و ذخیره سازی BroadCast Join and caching

• توابع تعریف شده کاربر (UDF) و توابع پیشرفته SQL User Defined Functions (UDF) and advanced SQL functions

• رسیدگی و انتساب مقادیر از دست رفته Handling and imputation of missing values

• پارتیشن بندی و کاتالوگ API ها Partitioning and catalog of APIs

تجزیه و تحلیل پیشرفته با آپاچی اسپارک Advanced Analytics with Apache Spark

• مقدمه ای بر تجزیه و تحلیل پیشرفته با Spark Introduction to advanced analytics with Spark

• بارگذاری داده ها و اصلاح طرح داده ها Data loading and data schema modification

• داده ها را در PySpark بررسی کنید Inspect data in PySpark

• تبدیل ستون در PySpark Column transformation in PySpark

• انتساب داده های گمشده پیشرفته در PySpark Advanced missing data imputation in PySpark

• انتخاب داده با PySpark و PySpark SQL Data selection with PySpark and PySpark SQL

• تجسم داده ها و تولید نمودار در PySpark Data visualization and graph generation in PySpark

• داده های ماندگار با PySpark Persist data with PySpark

• تمرین عملی: تجزیه و تحلیل پیشرفته با آپاچی اسپارک Practical Exercise: Advanced Analytics with Apache Spark

Koalas: The Apache Spark Pandas API Koalas: The Apache Spark Pandas API

• اصول اولیه کوالاهای جرقه Spark Koalas Fundamentals

• مهندسی ویژگی با کوالاها Feature Engineering with Koalas

• ایجاد DataFrame با کوالا Creating DataFrames with Koalas

• دستکاری داده ها و DataFrame با کوالا Data manipulation and DataFrames with Koalas

• کار با داده های از دست رفته در کوالا Working with missing data in Koalas

• تجسم داده ها و تولید نمودار با کوالاها Data visualization and graph generation with Koalas

• واردات و صادرات داده با کوالا Importing and exporting data with Koalas

• تمرین دستی با کوالا Hands-on exercise with Koalas

یادگیری ماشین با آپاچی اسپارک Machine Learning with Apache Spark

• اصول یادگیری ماشین با اسپارک Fundamentals of Machine Learning with Spark

• اجزای یادگیری ماشین اسپارک Spark Machine Learning Components

• مراحل توسعه یک مدل یادگیری ماشینی Stages of developing a Machine Learning model

• داده های وارداتی و تجزیه و تحلیل داده های اکتشافی (EDA) Import data and exploratory data analysis (EDA)

• یادگیری ماشینی با تمرین عملی اسپارک Machine Learning with Spark hands-on exercise

• پیش پردازش داده ها با PySpark Data preprocessing with PySpark

• تمرین آزمایشگاهی 2 یادگیری ماشینی با اسپارک Lab Exercise 2 Machine Learning with Spark

• آموزش مدل یادگیری ماشین در PySpark Training the machine learning model in PySpark

• ارزیابی مدل یادگیری ماشین Evaluation of the Machine Learning model

• تمرین آزمایشگاهی 3 یادگیری ماشینی با اسپارک Lab Exercise 3 Machine Learning with Spark

جریان جرقه Spark Streaming

• مثال عملی شمارش کلمات با اسپارک استریمینگ Practical example of counting words with Spark Streaming

• پیکربندی های جریان جرقه: حالت های خروجی و انواع عملیات Spark Streaming Configurations: Output Modes and Operation Types

• عملیات پنجره زمانی در اسپارک استریمینگ Time Window Operations in Spark Streaming

• قابلیت جریان جرقه Spark Streaming Capabilities

• آزمایشگاه: کشف کلاهبرداری بانکی در زمان واقعی (قسمت اول) Lab: Real-time bank fraud detection (Part I)

• آزمایشگاه: کشف کلاهبرداری بانکی در زمان واقعی (قسمت دوم) Lab: Real-time bank fraud detection (Part II)

• تمرین جریان جرقه Spark Streaming Exercise

مقدمه ای بر Databricks Introduction to Databricks

• مقدمه ای بر Databricks Introduction to Databricks

• Databricks Terminology and Databricks Community Databricks Terminology and Databricks Community

• دریاچه دلتا Delta Lake

• یک حساب رایگان Databricks ایجاد کنید Create a free Databricks account

آپاچی اسپارک در دیتابریکس Apache Spark on Databricks

• مقدمه ای بر محیط Databricks Introduction to the Databricks environment

• شروع کار با Databricks Getting started with Databricks

پلتفرم Databricks Databricks Platform

• وارد کردن نوت بوک، پیکربندی زبان و علامت گذاری Importing notebooks, language configuration and markdown

• سیستم فایل Databricks (DBFS) Databricks File Dystem (DBFS)

• جداول را ایجاد، دستکاری و تجسم کنید Create, manipulate and visualize tables

• ویجت های Databricks Databricks widgets

Spark DataFrame API Spark DataFrame API

• ایجاد و ذخیره DataFrame در Databricks Creating and saving DataFrames in Databricks

• تبدیل و تجسم داده در Databricks Data transformation and visualization in Databricks

• مورد استفاده: تجزیه و تحلیل داده های جمعیت Use case: Population data analytics

یادگیری ماشین در Databricks Machine Learning in Databricks

• واردات و تحلیل اکتشافی داده ها Import and exploratory analysis of the data

• پیش پردازش متغیر با PySpark و Databricks Variable preprocessing with PySpark and Databricks

• تعریف مدل یادگیری ماشین و توسعه خط لوله Definition of the Machine Learning model and development of the Pipeline

• ارزیابی مدل با PySpark و Databricks Model evaluation with PySpark and Databricks

• تنظیم و ثبت هایپرپارامتر در MLFlow Hyperparameter tuning and registration in MLFlow

• پیش بینی با داده های جدید و تجسم نتایج Predictions with new data and visualization of the results

تهیه گواهینامه Databricks Databricks Certification Preparation

• چرا گواهینامه اسپارک آپاچی؟ Why Apache Spark Certification?

• موضوعات صدور گواهینامه Certification topics

• گواهینامه اطلاعات عمومی Certification General information

• فرآیند آماده سازی Preparation process

• نکاتی برای قبولی در امتحان در اولین تلاش Tips for passing exam in the first attempt

• مراحل ثبت نام و صدور گواهینامه Registration and Certification process

• انواع سوالات گواهینامه Certification questions types

• نحوه دریافت گواهینامه Databricks به صورت رایگان How to obtain Databricks Certification for free

مواد اضافی Additional material

• منابع اضافی: راهنمای کامل Spark Additional Resources: Complete Guide to Spark