آموزش آپاچی اسپارک | Master Spark برای پردازش داده های بزرگ

سرفصل ها و درس ها

شروع به کار Getting Started

• چرا باید Apache Spark را یاد بگیرید؟ Why Should You Learn Apache Spark?

• این دوره در آپاچی اسپارک چه ارائه می دهد؟ What Does This Course Offer on Apache Spark?

همه چیز درباره آپاچی اسپارک All about Apache Spark

• بیایید WordCount را درک کنیم Let’s understand WordCount

• بیایید Map and Reduce را درک کنیم Let’s understand Map and Reduce

• برنامه نویسی با Map و Reduce Programming with Map and Reduce

• بیایید هادوپ را درک کنیم Let’s understand Hadoop

• معماری Apache Hadoop Apache Hadoop Architecture

• آپاچی هادوپ و آپاچی اسپارک Apache Hadoop and Apache Spark

• معماری اسپارک آپاچی Apache Spark Architecture

• PySpark چیست؟ What is PySpark

نصب های Apache Spark Installations for Apache Spark

• JAVA JDK را نصب کنید Install JAVA JDK

• پایتون را نصب کنید Install Python

• JupyterLab را نصب کنید Install JupyterLab

• PySpark را نصب کنید Install PySpark

• جلسه جرقه با مقداردهی اولیه Spark Session by Initialization

• اجرای PySpark در نمونه های AWS EC2 P1 Running PySpark on AWS EC2 Instances P1

• اجرای PySpark در AWS EC2 Instance P2 Running PySpark on AWS EC2 Instance P2

با استفاده از Databricks Community Edition Using Databricks Community Edition

• چرا از Databricks Community Edition استفاده کنیم؟ Why Use Databricks Community Edition

• برای Databricks Community Edition ثبت نام کنید Register for Databricks Community Edition

• زمان استفاده از Databricks Community Edition When to use Databricks Community Edition

• اجرای دستورات جادویی در Databricks P1 Running Magic Commands in Databricks P1

• اجرای دستورات جادویی در Databricks P2 Running Magic Commands in Databricks P2

Spark DataFrames Spark DataFrames

• Apache Spark DataFrame Apache Spark DataFrame

• ایجاد DataFrame از فایل های CSV P1 Create DataFrames from CSV Files P1

• ایجاد DataFrame از فایل های CSV P2 Create DataFrames from CSV Files P2

• ایجاد DataFrame از فایل های پارکت Create DataFrames from Parquet Files

جرقه تبدیل داده ها Spark Data Transformations

• با استفاده از SELECT Using SELECT

• با استفاده از FILTER Using FILTER

• استفاده از ORDER BY Using ORDER BY

• استفاده از GROUP BY Using GROUP BY

• استفاده از توابع AGGREGATE Using AGGREGATE Functions

• با استفاده از JOIN داخلی Using INNER JOIN

کاتالوگ Spark SQL Spark SQL Catalog

• کاتالوگ های Spark SQL Spark SQL Catalogs

• به کاتالوگ های Spark SQL دسترسی پیدا کنید Access Spark SQL Catalogs

• فهرست پایگاه های داده از کاتالوگ ها List Databases from Catalogs

• فهرست جدول ها از پایگاه داده فعلی List Tables from Current Database

• Spark Temp View را ایجاد کنید Create Spark Temp View

• SQL Queries را روی Temp Views اجرا کنید Run SQL Queries on Temp Views

• نماهای دمایی را رها کنید Drop Temp Views

Databricks Utility FileSystem برای Apache Spark Databricks Utility FileSystem for Apache Spark

• استفاده از Databricks Utilities Using Databricks Utilities

• استفاده از dbfs - Databricks Utility FileSystem Using dbfs - Databricks Utility FileSystem

• استفاده از dbfs - ساخت دایرکتوری Using dbfs - Make Directory

• با استفاده از dbfs - کپی فایل ها Using dbfs - Copy Files

• استفاده از dbfs - حذف فایل ها Using dbfs - Delete Files

Pandas API در Spark Pandas API on Spark

• آشنایی با پانداها Introduction to Pandas

• Pandas API در Spark Pandas API on Spark

• خواندن و نوشتن داده ها با پانداهای P1 Reading and Writing Data with Pandas P1

• خواندن و نوشتن داده ها با پانداهای P2 Reading and Writing Data with Pandas P2

• دستکاری داده ها با پانداهای PySpark Data Manipulation with PySpark Pandas

• ادغام و پیوستن به پانداهای PySpark Merging and Joining in PySpark Pandas

• گروه بندی و تجمیع با پانداهای PySpark Grouping and Aggregation with PySpark Pandas

• تجسم داده ها در پانداهای PySpark Visualizing Data in PySpark Pandas

استریم ساختاری با استفاده از اسپارک آپاچی Structured Streaming Using Apache Spark

• Apache Spark Structure Streaming چیست؟ What is Apache Spark Structure Streaming

• چگونه آپاچی اسپارک جریان ساخت یافته را مدیریت می کند How Apache Spark handles Structured Streaming

• مدیریت داده های جریانی برنامه ای Handling Programmatically Streaming Data

• حالت های برنامه ریزی شده توسط آپاچی اسپارک Programmatic Modes by Apache Spark

• DataFrames برای جریان DataFrames for Streaming

• readStream API readStream API

• writeStream API writeStream API

• استعلام داده ها Querying Data

• StreamingQuery - توقف StreamingQuery - stop

• استریم ساختاری با کافکا و اسپارک پی 1 Structured Streaming with Kafka and Spark P1

• استریم ساختاری با کافکا و اسپارک پی 2 Structured Streaming with Kafka and Spark P2

• جریان ساخت یافته با کافکا و اسپارک P3 Structured Streaming with Kafka and Spark P3

• محیط کافکا را خاتمه دهید Terminate the Kafka Environment

• رسیدگی به دیر رسیدن داده ها و علامت گذاری آب P1 Handling Late Data Arrivals and Water Marking P1

• رسیدگی به دیر رسیدن داده ها و علامت گذاری آب P2 Handling Late Data Arrivals and Water Marking P2

یادگیری ماشینی با اسپارک Machine Learning with Spark

• در مورد این بخش About this section

• یادگیری در مورد یادگیری ماشینی Learning about Machine Learning

• چگونه یک مدل یادگیری ماشین بسازیم How to build a Machine Learning Model

• نمای کلی Apache Spark MLLib Apache Spark MLLib Overview

• آموزش در مورد خطوط لوله ML با استفاده از Spark MLlib Learning about ML Pipelines using Spark MLlib

• منابع داده توسط Spark MLlib برای ساخت مدل های ML Data Sources by Spark MLlib to Build ML Models

• ایجاد DataFrame از منابع داده Create DataFrames from Data Sources

• یادگیری در مورد Featurization با استفاده از Spark MLlib Learning about Featurization using Spark MLlib

• استفاده از Apache Spark MLlibs - Feature Transformers Using Apache Spark MLlibs - Feature Transformers

• با استفاده از Tokenizer Using Tokenizer

• با استفاده از StringIndexer Using StringIndexer

• استفاده از خطوط لوله Using Pipelines

• با استفاده از VectorAssembler Using VectorAssembler

• با استفاده از VectorIndexer Using VectorIndexer

• با استفاده از برآوردگر MLlib - رگرسیون خطی Using MLlib Estimator - Linear Regression

• با استفاده از برآوردگر MLlib - رگرسیون لجستیک Using MLlib Estimator - Logisitic Regression

• ML Effiecny را با استفاده از Spark MLlib Evaluators اندازه گیری کنید Measure ML Effiecny using Spark MLlib Evaluators

• استفاده از ML برای حل مسئله دنیای واقعی Using ML for Solving Real World Problem

• ساختمان ML مدل P1 - با استفاده از میزبان محلی Building ML Model P1 - Using Local Host

• Building ML Model P2 - با استفاده از Databricks Community Edition Building ML Model P2 - Using Databricks Community Edition

• استفاده از Apache Spark MLFlow با Databricks Community Edition Using Apache Spark MLFlow with Databricks Community Edition