برنامه نویسی Spark در اسکالا برای مبتدیان با Apache Spark 3 [ویدئو]

سرفصل ها و درس ها

معرفی آپاچی اسپارک Apache Spark introduction

• Big Data History و Primer Big Data History and Primer

• درک چشم انداز دریاچه داده Understanding the Data Lake Landscape

• آپاچی اسپارک چیست؟ What Is Apache Spark?

نصب و استفاده از آپاچی اسپارک Installing and Using Apache Spark

• محیط های توسعه جرقه Spark Development Environments

• Apache Spark در حالت Local Mode Command Line REPL Apache Spark in Local Mode Command Line REPL

• Apache Spark در IDE - IntelliJ IDEA Apache Spark in the IDE - IntelliJ IDEA

• Apache Spark در Cloud - Databricks Community and Notebooks Apache Spark in Cloud - Databricks Community and Notebooks

• آپاچی اسپارک در اکوسیستم هادوپ - نوت بوک های زپلین Apache Spark in Hadoop Ecosystem - Zeppelin Notebooks

مدل و معماری اجرای جرقه Spark Execution Model and Architecture

• روش های اجرا - چگونه برنامه های Spark را اجرا کنیم؟ Execution Methods - How to Run Spark Programs?

• مدل پردازش توزیع شده اسپارک - برنامه شما چگونه اجرا می شود؟ Spark Distributed Processing Model - How Your Program Runs?

• حالت های اجرای جرقه و مدیران خوشه Spark Execution Modes and Cluster Managers

• خلاصه کردن مدل های اجرای جرقه - چه زمانی از چه چیزی استفاده کنیم؟ Summarizing Spark Execution Models - When to Use What?

• کار با Spark Shell - نسخه ی نمایشی Working with Spark Shell - Demo

• نصب Multi-Node Spark Cluster - Demo Installing Multi-Node Spark Cluster - Demo

• کار با نوت بوک در کلاستر - نسخه ی نمایشی Working with Notebooks in Cluster - Demo

• کار با Spark Submit - نسخه ی نمایشی Working with Spark Submit - Demo

• خلاصه بخش Section Summary

مدل برنامه نویسی اسپارک و تجربه توسعه دهنده Spark Programming Model and Developer Experience

• ایجاد پیکربندی ساخت پروژه Spark Creating Spark Project Build Configuration

• پیکربندی گزارش های برنامه Spark Project Configuring Spark Project Application Logs

• ایجاد جلسه اسپارک Creating Spark Session

• پیکربندی Spark Session Configuring Spark Session

• معرفی چارچوب داده Data Frame Introduction

• پارتیشن ها و مجریان چارچوب داده Data Frame Partitions and Executors

• جرقه تحولات و اقدامات Spark Transformations and Actions

• مراحل و وظایف Spark Jobs Spark Jobs Stages and Tasks

• درک برنامه اجرایی شما Understanding Your Execution Plan

• اپلیکیشن اسپارک تست واحد Unit Testing Spark Application

• اشکال زدایی درایور و مجری Spark Debugging Spark Driver and Executor

• گزارش برنامه Spark در یک خوشه Spark Application Logs in a Cluster

• جمع بندی خلاصه Rounding Off Summary

Spark Structured API Foundation Spark Structured API Foundation

• مقدمه ای بر Spark API Introduction to Spark APIs

• مقدمه ای بر Spark RDD API Introduction to Spark RDD API

• مجموعه داده در مقابل چارچوب داده Dataset Versus Data Frame

• کار با Spark Dataset Working with Spark Dataset

• کار با Spark SQL Working with Spark SQL

• Spark SQL Engine و Catalyst Optimizer Spark SQL Engine and Catalyst Optimizer

• خلاصه بخش Section Summary

منابع و سینک های داده اسپارک Spark Data Sources and Sinks

• مقدمه ای بر منابع و سینک های جرقه Introduction to Spark Sources and Sinks

• Spark DataFrameReader API Spark DataFrameReader API

• خواندن فایل‌های CSV، JSON و Parket Reading CSV, JSON, and Parquet files

• ایجاد Spark DataFrame Schema Creating Spark DataFrame Schema

• Spark DataFrameWriter API Spark DataFrameWriter API

• نوشتن داده ها و مدیریت طرح Writing Your Data and Managing Layout

• پایگاه های داده و جداول Spark Spark Databases and Tables

• کار با جداول Spark SQL Working with Spark SQL Tables

Spark DataFrame و Dataset Transformations Spark DataFrame and Dataset Transformations

• مقدمه ای بر تبدیل داده ها Introduction to Data Transformation

• کار با ردیف های DataFrame Working with DataFrame Rows

• سطرهای DataFrame و تست واحد DataFrame Rows and Unit Testing

• ردیف های DataFrame و داده های بدون ساختار DataFrame Rows and Unstructured data

• کار با ستون های DataFrame Working with DataFrame Columns

• ایجاد و استفاده از UDF Creating and Using UDF

• تحولات متفرقه Miscellaneous Transformations

تجمعات در آپاچی اسپارک Aggregations in Apache Spark

• جمع آوری DataFrames Aggregating DataFrames

• گروه بندی تجمعات Grouping Aggregations

• پنجره های جمع آوری Windowing Aggregations

Spark DataFrame Joins Spark DataFrame Joins

• ابهام اتصالات DataFrame و نام ستون DataFrame Joins and Column Name Ambiguity

• اتصالات بیرونی در DataFrame Outer Joins in DataFrame

• اجزای داخلی Spark Join و Shuffle Internals of Spark Join and Shuffle

• بهینه سازی اتصالات Optimizing Your Joins

• پیاده سازی اتصالات سطلی Implementing Bucket Joins