آموزش مدیریت داده های دسته ای با Apache Spark در Databricks

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

تبدیل داده ها با استفاده از DataFrames Transforming Data Using DataFrames

• بررسی نسخه Version Check

• پیش نیازها و رئوس مطالب دوره Prerequisites and Course Outline

• آپاچی اسپارک در دیتابریکس Apache Spark on Databricks

• RDD ها و فریم های داده RDDs and Data Frames

• تحولات باریک و گسترده Narrow and Wide Transformations

• نسخه ی نمایشی: پیکربندی فضای کاری و کلاستر Demo: Configuring Workspace and Cluster

• نسخه ی نمایشی: عملیات با نوشتن به هم ریخته در دیسک Demo: Operations with Shuffled Writes to Disk

• نسخه ی نمایشی: تحولات اساسی Demo: Basic Transformations

• نسخه ی نمایشی: تحولات تجمعی Demo: Aggregation Transformations

تبدیل داده ها با استفاده از Spark SQL Transforming Data Using Spark SQL

• کاتالیست بهینه ساز The Catalyst Optimizer

• نسخه ی نمایشی: ایجاد جدول جهانی Demo: Creating Global Table

• نسخه ی نمایشی: اجرای پرس و جوهای SQL در Spark Demo: Running SQL Queries in Spark

• نسخه ی نمایشی: جایگزینی محتویات جدول و جداول پارتیشن بندی Demo: Replacing Table Contents and Partitioning Tables

• نسخه ی نمایشی: اجرای پرس و جوهای تعاملی در یک نوت بوک در یک کلاستر همه منظوره Demo: Running Interactive Queries on a Notebook on an All-purpose Cluster

• نسخه ی نمایشی: اجرای یک نوت بوک به عنوان یک کار در یک خوشه شغلی Demo: Running a Notebook as a Job on a Job Cluster

استفاده از توابع تعریف شده توسط کاربر برای تبدیل داده ها Applying User-defined Functions to Transform Data

• توابع تعریف شده توسط کاربر (UDF) User-defined Functions (UDFs)

• UDF های برداری Vectorized UDFs

• نسخه ی نمایشی: بارگیری داده ها در Azure Cosmos DB Demo: Loading Data into Azure Cosmos DB

• نسخه ی نمایشی: خواندن داده ها از Cosmos DB در Spark Demo: Reading Data from Cosmos DB in Spark

• نسخه ی نمایشی: توابع تعریف شده توسط کاربر (UDF) Demo: User-defined Functions (UDFs)

• نسخه ی نمایشی: UDF های برداری - سری به سری Demo: Vectorized UDFs - Series to Series

• نسخه ی نمایشی: UDF های برداری - Iterator of Series به Iterator of Series Demo: Vectorized UDFs - Iterator of Series to Iterator of Series

• نسخه ی نمایشی: UDF های برداری - تکرار کننده سری های چندگانه به تکرار کننده سری Demo: Vectorized UDFs - Iterator of Multiple Series to Iterator of Series

• نسخه ی نمایشی: UDF های برداری - سری به اسکالر Demo: Vectorized UDFs - Series to Scalar

پردازش داده ها با استفاده از اتصالات و توابع پنجره Processing Data Using Joins and Window Functions

• پارتیشن بندی Partitioning

• نسخه ی نمایشی: کار با پارتیشن های داده Demo: Working with Data Partitions

• نسخه ی نمایشی: پارتیشن بندی مجدد و ادغام داده ها Demo: Repartitioning and Coalescing Data

• نسخه ی نمایشی: انجام عملیات اتحادیه Demo: Performing Union Operations

• نسخه ی نمایشی: انجام عملیات پیوستن Demo: Performing Join Operations

• توابع پنجره Window Functions

• قاب های ردیف و فریم های محدوده Row Frames and Range Frames

• نسخه ی نمایشی: اعمال توابع پنجره Demo: Applying Window Functions

• خلاصه و مطالعه بیشتر Summary and Further Study