برنامه نویسی Spark در پایتون برای مبتدیان با Apache Spark 3 [ویدئو]

سرفصل ها و درس ها

معرفی اسپارک آپاچی Apache Spark Introduction

• Big Data History و Primer Big Data History and Primer

• درک چشم انداز دریاچه داده Understanding the Data Lake Landscape

• Apache Spark چیست - مقدمه و مروری What is Apache Spark - An Introduction and Overview

نصب و استفاده از آپاچی اسپارک Installing and Using Apache Spark

• محیط های توسعه جرقه Spark Development Environments

• کاربران مک - Apache Spark در حالت محلی خط فرمان REPL Mac Users - Apache Spark in Local Mode Command Line REPL

• کاربران ویندوز - Apache Spark در حالت Local Mode Command Line REPL Windows Users - Apache Spark in Local Mode Command Line REPL

• کاربران مک - Apache Spark در IDE - PyCharm Mac Users - Apache Spark in the IDE - PyCharm

• کاربران ویندوز - Apache Spark در IDE - PyCharm Windows Users - Apache Spark in the IDE - PyCharm

• Apache Spark در Cloud - Databricks Community and Notebooks Apache Spark in Cloud - Databricks Community and Notebooks

• جرقه آپاچی در آناکوندا - نوت بوک Jupyter Apache Spark in Anaconda - Jupyter Notebook

مدل و معماری اجرای جرقه Spark Execution Model and Architecture

• روش های اجرا - چگونه برنامه های Spark را اجرا کنیم؟ Execution Methods - How to Run Spark Programs?

• مدل پردازش توزیع شده اسپارک - برنامه شما چگونه اجرا می شود؟ Spark Distributed Processing Model - How Your Program Runs?

• حالت های اجرای جرقه و مدیران خوشه Spark Execution Modes and Cluster Managers

• خلاصه کردن مدل های اجرای جرقه - چه زمانی از چه چیزی استفاده کنیم؟ Summarizing Spark Execution Models - When to Use What?

• کار با PySpark Shell - نسخه ی نمایشی Working with PySpark Shell - Demo

• نصب Multi-Node Spark Cluster - Demo Installing Multi-Node Spark Cluster - Demo

• کار با نوت بوک در کلاستر - نسخه ی نمایشی Working with Notebooks in Cluster - Demo

• کار با Spark Submit - نسخه ی نمایشی Working with Spark Submit - Demo

• خلاصه بخش Section Summary

مدل برنامه نویسی اسپارک و تجربه توسعه دهنده Spark Programming Model and Developer Experience

• ایجاد پیکربندی ساخت پروژه Spark Creating Spark Project Build Configuration

• پیکربندی گزارش های برنامه Spark Project Configuring Spark Project Application Logs

• ایجاد جلسه اسپارک Creating Spark Session

• پیکربندی Spark Session Configuring Spark Session

• معرفی چارچوب داده Data Frame Introduction

• پارتیشن ها و مجریان چارچوب داده Data Frame Partitions and Executors

• جرقه تحولات و اقدامات Spark Transformations and Actions

• مراحل و وظایف Spark Jobs Spark Jobs Stages and Task

• درک برنامه اجرایی شما Understanding your Execution Plan

• اپلیکیشن اسپارک تست واحد Unit Testing Spark Application

• جمع بندی خلاصه Rounding off Summary

Spark Structured API Foundation Spark Structured API Foundation

• مقدمه ای بر Spark API Introduction to Spark APIs

• مقدمه ای بر Spark RDD API Introduction to Spark RDD API

• کار با Spark SQL Working with Spark SQL

• Spark SQL Engine و Catalyst Optimizer Spark SQL Engine and Catalyst Optimizer

• خلاصه بخش Section Summary

منابع و سینک های داده اسپارک Spark Data Sources and Sinks

• منابع و سینک های داده اسپارک Spark Data Sources and Sinks

• Spark DataFrameReader API Spark DataFrameReader API

• خواندن فایل های CSV، JSON و Parquet Reading CSV, JSON and Parquet files

• ایجاد Spark DataFrame Schema Creating Spark DataFrame Schema

• Spark DataFrameWriter API Spark DataFrameWriter API

• نوشتن داده ها و مدیریت طرح Writing Your Data and Managing Layout

• پایگاه های داده و جداول Spark Spark Databases and Tables

• کار با جداول Spark SQL Working with Spark SQL Tables

Spark Dataframe و Dataset Transformations Spark Dataframe and Dataset Transformations

• مقدمه ای بر تبدیل داده ها Introduction to Data Transformation

• کار با ردیف های Dataframe Working with Dataframe Rows

• سطرهای DataFrame و تست واحد DataFrame Rows and Unit Testing

• ردیف های چارچوب داده و داده های بدون ساختار Dataframe Rows and Unstructured data

• کار با ستون های Dataframe Working with Dataframe Columns

• ایجاد و استفاده از UDF Creating and Using UDF

• تبدیل های متفرقه Misc Transformations

تجمعات در آپاچی اسپارک Aggregations in Apache Spark

• جمع آوری Dataframes Aggregating Dataframes

• گروه بندی تجمعات Grouping Aggregations

• پنجره های جمع آوری Windowing Aggregations

Spark Dataframe Joins Spark Dataframe Joins

• ابهام اتصالات فریم داده و نام ستون Dataframe Joins and Column Name Ambiguity

• اتصالات بیرونی در Dataframe Outer Joins in Dataframe

• موارد داخلی Spark Join و Shuffle Internals of Spark Join and shuffle

• بهینه سازی اتصالات Optimizing Your Joins

• پیاده سازی اتصالات سطلی Implementing Bucket Joins

به یادگیری ادامه دهید Keep Learning

• کلمه پایانی Final Word