آموزش Apache Spark 3 - برنامه نویسی Spark در اسکالا برای مبتدیان

سرفصل ها و درس ها

درک بیگ دیتا و دریاچه داده Understanding Big Data and Data Lake

• نمای کلی بخش Section Overview

• Big Data چیست و چگونه شروع شد What is Big Data and How it Started

• معماری، تاریخ و تکامل هادوپ Hadoop Architecture, History, and Evolution

• دریاچه داده چیست و چگونه کار می کند What is Data Lake and How it works

• معرفی Apache Spark و Databricks Cloud Introducing Apache Spark and Databricks Cloud

• کد منبع و سایر منابع Source Code and Other Resources

نصب و استفاده از آپاچی اسپارک Installing and Using Apache Spark

• محیط های توسعه جرقه Spark Development Environments

• Apache Spark در حالت Local Mode Command Line REPL Apache Spark in Local Mode Command Line REPL

• Apache Spark در IDE - IntelliJ IDEA Apache Spark in the IDE - IntelliJ IDEA

• Apache Spark در Cloud - Databricks Community and Notebooks Apache Spark in Cloud - Databricks Community and Notebooks

• دانش خود را بررسی کنید Check your knowledge

• آپاچی اسپارک در اکوسیستم هادوپ - نوت بوک های زپلین Apache Spark in Hadoop Ecosystem - Zeppelin Notebooks

مدل و معماری اجرای جرقه Spark Execution Model and Architecture

• روش های اجرا - چگونه برنامه های Spark را اجرا کنیم؟ Execution Methods - How to Run Spark Programs?

• مدل پردازش توزیع شده اسپارک - برنامه شما چگونه اجرا می شود؟ Spark Distributed Processing Model - How your program runs?

• حالت های اجرای جرقه و مدیران خوشه Spark Execution Modes and Cluster Managers

• دانش خود را بررسی کنید Check your knowledge

• خلاصه کردن مدل های اجرای جرقه - چه زمانی از چه چیزی استفاده کنیم؟ Summarizing Spark Execution Models - When to use What?

• کار با Spark Shell - نسخه ی نمایشی Working with Spark Shell - Demo

• نصب Multi-Node Spark Cluster - Demo Installing Multi-Node Spark Cluster - Demo

• کار با نوت بوک در کلاستر - نسخه ی نمایشی Working with Notebooks in Cluster - Demo

• کار با Spark Submit - نسخه ی نمایشی Working with Spark Submit - Demo

• خلاصه بخش Section Summary

• دانش خود را بررسی کنید Check your knowledge

مدل برنامه نویسی اسپارک و تجربه توسعه دهنده Spark Programming Model and Developer Experience

• ایجاد پیکربندی ساخت پروژه Spark Creating Spark Project Build Configuration

• پیکربندی گزارش های برنامه Spark Project Configuring Spark Project Application Logs

• دانش خود را بررسی کنید Check your knowledge

• ایجاد جلسه اسپارک Creating Spark Session

• پیکربندی Spark Session Configuring Spark Session

• دانش خود را بررسی کنید Check your knowledge

• معرفی چارچوب داده Data Frame Introduction

• پارتیشن ها و مجریان چارچوب داده Data Frame Partitions and Executors

• تحولات و اقدامات جرقه Spark Transformations and Actions

• مراحل و وظایف Spark Jobs Spark Jobs Stages and Task

• درک برنامه اجرایی شما Understanding your Execution Plan

• اپلیکیشن اسپارک تست واحد Unit Testing Spark Application

• اشکال زدایی درایور و مجری Spark Debugging Spark Driver and Executor

• گزارش برنامه Spark در یک خوشه Spark Application Logs in a Cluster

• جمع بندی خلاصه Rounding off Summary

Spark Structured API Foundation Spark Structured API Foundation

• مقدمه ای بر Spark API Introduction to Spark APIs

• مقدمه ای بر Spark RDD API Introduction to Spark RDD API

• مجموعه داده در مقابل Dataframe Dataset Vs Dataframe

• کار با Spark Dataset Working with Spark Dataset

• کار با Spark SQL Working with Spark SQL

• Spark SQL Engine و Catalyst Optimizer Spark SQL Engine and Catalyst Optimizer

• خلاصه بخش Section Summary

منابع و سینک های داده اسپارک Spark Data Sources and Sinks

• مقدمه ای بر منابع و سینک های جرقه Introduction to Spark Sources and Sinks

• Spark DataFrameReader API Spark DataFrameReader API

• خواندن فایل های CSV، JSON و Parquet Reading CSV, JSON and Parquet files

• ایجاد Spark DataFrame Schema Creating Spark DataFrame Schema

• Spark DataFrameWriter API Spark DataFrameWriter API

• نوشتن داده ها و مدیریت طرح Writing Your Data and Managing Layout

• پایگاه های داده و جداول Spark Spark Databases and Tables

• کار با جداول Spark SQL Working with Spark SQL Tables

Spark Dataframe و Dataset Transformations Spark Dataframe and Dataset Transformations

• مقدمه ای بر تبدیل داده ها Introduction to Data Transformation

• کار با ردیف های Dataframe Working with Dataframe Rows

• سطرهای چارچوب داده و تست واحد Dataframe Rows and Unit Testing

• ردیف های چارچوب داده و داده های بدون ساختار Dataframe Rows and Unstructured data

• کار با ستون های Dataframe Working with Dataframe Columns

• ایجاد و استفاده از UDF Creating and Using UDF

• تحولات متفرقه Miscellaneous Transformations

تجمعات در آپاچی اسپارک Aggregations in Apache Spark

• جمع آوری Dataframes Aggregating Dataframes

• گروه بندی تجمعات Grouping Aggregations

• پنجره های جمع آوری Windowing Aggregations

Spark Dataframe Joins Spark Dataframe Joins

• ابهام اتصالات چارچوب داده و نام ستون Dataframe Joins and column name ambiguity

• اتصالات بیرونی در Dataframe Outer Joins in Dataframe

• موارد داخلی Spark Join و Shuffle Internals of Spark Join and shuffle

• بهینه سازی پیوندهای خود Optimizing your joins

• پیاده سازی اتصالات سطلی Implementing Bucket Joins

به یادگیری ادامه دهید Keep Learning

• کلمه پایانی Final Word

• سخنرانی جایزه: اضافی دریافت کنید Bonus Lecture : Get Extra

آرشیو شده- معرفی اسپارک آپاچی Archived- Apache Spark Introduction

• BigData History و Primer BigData History and Primer

• درک چشم انداز دریاچه داده Understanding the Data Lake Landscape

• Apache Spark چیست - مقدمه و مروری What is Apache Spark - An Introduction and Overview

• دانش خود را بررسی کنید Check your knowledge