آموزش Apache Spark 3 - برنامه نویسی Spark در پایتون برای مبتدیان

سرفصل ها و درس ها

درک بیگ دیتا و دریاچه داده Understanding Big Data and Data Lake

• نمای کلی بخش Section Overview

• Big Data چیست و چگونه شروع شد What is Big Data and How it Started

• معماری، تاریخ و تکامل هادوپ Hadoop Architecture, History, and Evolution

• دریاچه داده چیست و چگونه کار می کند What is Data Lake and How it works

• معرفی Apache Spark و Databricks Cloud Introducing Apache Spark and Databricks Cloud

درک بیگ دیتا و دریاچه داده Understanding Big Data and Data Lake

• نمای کلی بخش Section Overview

• Big Data چیست و چگونه شروع شد What is Big Data and How it Started

• معماری، تاریخ و تکامل هادوپ Hadoop Architecture, History, and Evolution

• دریاچه داده چیست و چگونه کار می کند What is Data Lake and How it works

• معرفی Apache Spark و Databricks Cloud Introducing Apache Spark and Databricks Cloud

نصب و استفاده از آپاچی اسپارک Installing and Using Apache Spark

• نمای کلی بخش Section Overview

• محیط های توسعه جرقه Spark Development Environments

• محیط ابری جامعه Databricks خود را راه اندازی کنید Setup your Databricks Community Cloud Environment

• مقدمه ای بر Databricks Workspace Introduction to Databricks Workspace

• اولین برنامه Spark خود را در Databricks Cloud ایجاد کنید Create your First Spark Application in Databricks Cloud

• IDE توسعه محلی خود را راه اندازی کنید Setup your Local Development IDE

• کاربران مک - IDE توسعه محلی خود را راه اندازی کنید Mac Users - Setup your Local Development IDE

• اولین برنامه Spark خود را با استفاده از IDE ایجاد کنید Create your First Spark Application using IDE

• کد منبع و سایر منابع Source Code and Other Resources

نصب و استفاده از آپاچی اسپارک Installing and Using Apache Spark

• نمای کلی بخش Section Overview

• محیط های توسعه جرقه Spark Development Environments

• محیط ابری جامعه Databricks خود را راه اندازی کنید Setup your Databricks Community Cloud Environment

• مقدمه ای بر Databricks Workspace Introduction to Databricks Workspace

• اولین برنامه Spark خود را در Databricks Cloud ایجاد کنید Create your First Spark Application in Databricks Cloud

• IDE توسعه محلی خود را راه اندازی کنید Setup your Local Development IDE

• کاربران مک - IDE توسعه محلی خود را راه اندازی کنید Mac Users - Setup your Local Development IDE

• اولین برنامه Spark خود را با استفاده از IDE ایجاد کنید Create your First Spark Application using IDE

• کد منبع و سایر منابع Source Code and Other Resources

مدل و معماری اجرای جرقه Spark Execution Model and Architecture

• روش های اجرا - چگونه برنامه های Spark را اجرا کنیم؟ Execution Methods - How to Run Spark Programs?

• دانش خود را بررسی کنید Check your knowledge

• مدل پردازش توزیع شده اسپارک - برنامه شما چگونه اجرا می شود؟ Spark Distributed Processing Model - How your program runs?

• حالت های اجرای جرقه و مدیران خوشه Spark Execution Modes and Cluster Managers

• دانش خود را بررسی کنید Check your knowledge

• خلاصه کردن مدل های اجرای جرقه - چه زمانی از چه چیزی استفاده کنیم؟ Summarizing Spark Execution Models - When to use What?

• کار با PySpark Shell - نسخه ی نمایشی Working with PySpark Shell - Demo

• نصب Multi-Node Spark Cluster - Demo Installing Multi-Node Spark Cluster - Demo

• کار با نوت بوک در کلاستر - نسخه ی نمایشی Working with Notebooks in Cluster - Demo

• کار با Spark Submit - نسخه ی نمایشی Working with Spark Submit - Demo

• خلاصه بخش Section Summary

• دانش خود را بررسی کنید Check your knowledge

مدل و معماری اجرای جرقه Spark Execution Model and Architecture

• روش های اجرا - چگونه برنامه های Spark را اجرا کنیم؟ Execution Methods - How to Run Spark Programs?

• دانش خود را بررسی کنید Check your knowledge

• مدل پردازش توزیع شده اسپارک - برنامه شما چگونه اجرا می شود؟ Spark Distributed Processing Model - How your program runs?

• حالت های اجرای جرقه و مدیران خوشه Spark Execution Modes and Cluster Managers

• دانش خود را بررسی کنید Check your knowledge

• خلاصه کردن مدل های اجرای جرقه - چه زمانی از چه چیزی استفاده کنیم؟ Summarizing Spark Execution Models - When to use What?

• کار با PySpark Shell - نسخه ی نمایشی Working with PySpark Shell - Demo

• نصب Multi-Node Spark Cluster - Demo Installing Multi-Node Spark Cluster - Demo

• کار با نوت بوک در کلاستر - نسخه ی نمایشی Working with Notebooks in Cluster - Demo

• کار با Spark Submit - نسخه ی نمایشی Working with Spark Submit - Demo

• خلاصه بخش Section Summary

• دانش خود را بررسی کنید Check your knowledge

مدل برنامه نویسی اسپارک و تجربه توسعه دهنده Spark Programming Model and Developer Experience

• ایجاد پیکربندی ساخت پروژه Spark Creating Spark Project Build Configuration

• پیکربندی گزارش های برنامه Spark Project Configuring Spark Project Application Logs

• دانش خود را بررسی کنید Check your knowledge

• ایجاد جلسه اسپارک Creating Spark Session

• دانش خود را بررسی کنید Check your knowledge

• پیکربندی Spark Session Configuring Spark Session

• معرفی چارچوب داده Data Frame Introduction

• پارتیشن ها و مجریان چارچوب داده Data Frame Partitions and Executors

• تحولات و اقدامات جرقه Spark Transformations and Actions

• مراحل و وظایف Spark Jobs Spark Jobs Stages and Task

• درک برنامه اجرایی شما Understanding your Execution Plan

• اپلیکیشن اسپارک تست واحد Unit Testing Spark Application

• جمع بندی خلاصه Rounding off Summary

مدل برنامه نویسی اسپارک و تجربه توسعه دهنده Spark Programming Model and Developer Experience

• ایجاد پیکربندی ساخت پروژه Spark Creating Spark Project Build Configuration

• پیکربندی گزارش های برنامه Spark Project Configuring Spark Project Application Logs

• دانش خود را بررسی کنید Check your knowledge

• ایجاد جلسه اسپارک Creating Spark Session

• دانش خود را بررسی کنید Check your knowledge

• پیکربندی Spark Session Configuring Spark Session

• معرفی چارچوب داده Data Frame Introduction

• پارتیشن ها و مجریان چارچوب داده Data Frame Partitions and Executors

• تحولات و اقدامات جرقه Spark Transformations and Actions

• مراحل و وظایف Spark Jobs Spark Jobs Stages and Task

• درک برنامه اجرایی شما Understanding your Execution Plan

• اپلیکیشن اسپارک تست واحد Unit Testing Spark Application

• جمع بندی خلاصه Rounding off Summary

Spark Structured API Foundation Spark Structured API Foundation

• مقدمه ای بر Spark API Introduction to Spark APIs

• مقدمه ای بر Spark RDD API Introduction to Spark RDD API

• کار با Spark SQL Working with Spark SQL

• Spark SQL Engine و Catalyst Optimizer Spark SQL Engine and Catalyst Optimizer

• خلاصه بخش Section Summary

Spark Structured API Foundation Spark Structured API Foundation

• مقدمه ای بر Spark API Introduction to Spark APIs

• مقدمه ای بر Spark RDD API Introduction to Spark RDD API

• کار با Spark SQL Working with Spark SQL

• Spark SQL Engine و Catalyst Optimizer Spark SQL Engine and Catalyst Optimizer

• خلاصه بخش Section Summary

منابع و سینک های داده اسپارک Spark Data Sources and Sinks

• منابع و سینک های داده اسپارک Spark Data Sources and Sinks

• Spark DataFrameReader API Spark DataFrameReader API

• خواندن فایل های CSV، JSON و Parquet Reading CSV, JSON and Parquet files

• ایجاد Spark DataFrame Schema Creating Spark DataFrame Schema

• Spark DataFrameWriter API Spark DataFrameWriter API

• نوشتن داده ها و مدیریت طرح Writing Your Data and Managing Layout

• پایگاه های داده و جداول Spark Spark Databases and Tables

• کار با جداول Spark SQL Working with Spark SQL Tables

منابع و سینک های داده اسپارک Spark Data Sources and Sinks

• منابع و سینک های داده اسپارک Spark Data Sources and Sinks

• Spark DataFrameReader API Spark DataFrameReader API

• خواندن فایل های CSV، JSON و Parquet Reading CSV, JSON and Parquet files

• ایجاد Spark DataFrame Schema Creating Spark DataFrame Schema

• Spark DataFrameWriter API Spark DataFrameWriter API

• نوشتن داده ها و مدیریت طرح Writing Your Data and Managing Layout

• پایگاه های داده و جداول Spark Spark Databases and Tables

• کار با جداول Spark SQL Working with Spark SQL Tables

Spark Dataframe و Dataset Transformations Spark Dataframe and Dataset Transformations

• مقدمه ای بر تبدیل داده ها Introduction to Data Transformation

• کار با ردیف های Dataframe Working with Dataframe Rows

• سطرهای DataFrame و تست واحد DataFrame Rows and Unit Testing

• ردیف های چارچوب داده و داده های بدون ساختار Dataframe Rows and Unstructured data

• کار با ستون های Dataframe Working with Dataframe Columns

• ایجاد و استفاده از UDF Creating and Using UDF

• تبدیل های متفرقه Misc Transformations

Spark Dataframe و Dataset Transformations Spark Dataframe and Dataset Transformations

• مقدمه ای بر تبدیل داده ها Introduction to Data Transformation

• کار با ردیف های Dataframe Working with Dataframe Rows

• سطرهای DataFrame و تست واحد DataFrame Rows and Unit Testing

• ردیف های چارچوب داده و داده های بدون ساختار Dataframe Rows and Unstructured data

• کار با ستون های Dataframe Working with Dataframe Columns

• ایجاد و استفاده از UDF Creating and Using UDF

• تبدیل های متفرقه Misc Transformations

تجمعات در آپاچی اسپارک Aggregations in Apache Spark

• جمع آوری Dataframes Aggregating Dataframes

• گروه بندی تجمعات Grouping Aggregations

• پنجره های جمع آوری Windowing Aggregations

تجمعات در آپاچی اسپارک Aggregations in Apache Spark

• جمع آوری Dataframes Aggregating Dataframes

• گروه بندی تجمعات Grouping Aggregations

• پنجره های جمع آوری Windowing Aggregations

Spark Dataframe Joins Spark Dataframe Joins

• ابهام اتصالات چارچوب داده و نام ستون Dataframe Joins and column name ambiguity

• اتصالات بیرونی در Dataframe Outer Joins in Dataframe

• موارد داخلی Spark Join و Shuffle Internals of Spark Join and shuffle

• بهینه سازی پیوندهای خود Optimizing your joins

• پیاده سازی اتصالات سطلی Implementing Bucket Joins

Spark Dataframe Joins Spark Dataframe Joins

• ابهام اتصالات چارچوب داده و نام ستون Dataframe Joins and column name ambiguity

• اتصالات بیرونی در Dataframe Outer Joins in Dataframe

• موارد داخلی Spark Join و Shuffle Internals of Spark Join and shuffle

• بهینه سازی پیوندهای خود Optimizing your joins

• پیاده سازی اتصالات سطلی Implementing Bucket Joins

به یادگیری ادامه دهید Keep Learning

• کلمه پایانی Final Word

• سخنرانی جایزه: اضافی دریافت کنید Bonus Lecture : Get Extra

به یادگیری ادامه دهید Keep Learning

• کلمه پایانی Final Word

• سخنرانی جایزه: اضافی دریافت کنید Bonus Lecture : Get Extra

آرشیو - معرفی اسپارک آپاچی Archived - Apache Spark Introduction

• Big Data History و Primer Big Data History and Primer

• درک چشم انداز دریاچه داده Understanding the Data Lake Landscape

• Apache Spark چیست - مقدمه و مروری What is Apache Spark - An Introduction and Overview

• دانش خود را بررسی کنید Check your knowledge

آرشیو - معرفی اسپارک آپاچی Archived - Apache Spark Introduction

• Big Data History و Primer Big Data History and Primer

• درک چشم انداز دریاچه داده Understanding the Data Lake Landscape

• Apache Spark چیست - مقدمه و مروری What is Apache Spark - An Introduction and Overview

• دانش خود را بررسی کنید Check your knowledge

آرشیو شده - نصب و استفاده از Apache Spark Archived - Installing and Using Apache Spark

• محیط های توسعه جرقه Spark Development Environments

• کاربران مک - Apache Spark در حالت محلی خط فرمان REPL Mac Users - Apache Spark in Local Mode Command Line REPL

• کاربران ویندوز - Apache Spark در حالت Local Mode Command Line REPL Windows Users - Apache Spark in Local Mode Command Line REPL

• متوجه شدید؟ Did you notice?

• کاربران مک - Apache Spark در IDE - PyCharm Mac Users - Apache Spark in the IDE - PyCharm

• کاربران ویندوز - Apache Spark در IDE - PyCharm Windows Users - Apache Spark in the IDE - PyCharm

• متوجه شدید؟ Did you notice?

• Apache Spark در Cloud - Databricks Community and Notebooks Apache Spark in Cloud - Databricks Community and Notebooks

• دانش خود را بررسی کنید Check your knowledge

• جرقه آپاچی در آناکوندا - نوت بوک Jupyter Apache Spark in Anaconda - Jupyter Notebook

آرشیو شده - نصب و استفاده از Apache Spark Archived - Installing and Using Apache Spark

• محیط های توسعه جرقه Spark Development Environments

• کاربران مک - Apache Spark در حالت محلی خط فرمان REPL Mac Users - Apache Spark in Local Mode Command Line REPL

• کاربران ویندوز - Apache Spark در حالت Local Mode Command Line REPL Windows Users - Apache Spark in Local Mode Command Line REPL

• متوجه شدید؟ Did you notice?

• کاربران مک - Apache Spark در IDE - PyCharm Mac Users - Apache Spark in the IDE - PyCharm

• کاربران ویندوز - Apache Spark در IDE - PyCharm Windows Users - Apache Spark in the IDE - PyCharm

• متوجه شدید؟ Did you notice?

• Apache Spark در Cloud - Databricks Community and Notebooks Apache Spark in Cloud - Databricks Community and Notebooks

• دانش خود را بررسی کنید Check your knowledge

• جرقه آپاچی در آناکوندا - نوت بوک Jupyter Apache Spark in Anaconda - Jupyter Notebook