آموزش Apache Spark با Scala برای گواهینامه Databricks مفید است

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

دانلود منابع Download Resources

• دانلود منابع Download Resources

مقدمه ای بر اجزای معماری اسپارک و اسپارک Introduction to Spark and Spark Architecture Components

• مقدمه ای بر اسپارک Introduction to Spark

• ایجاد حساب رایگان (قدیمی) در Databricks (Old) Free Account creation in Databricks

• (جدید) ایجاد حساب کاربری رایگان در Databricks (New) Free Account creation in Databricks

• تهیه یک خوشه جرقه Provisioning a Spark Cluster

• اصول اولیه در مورد نوت بوک Basics about notebooks

• چرا باید آپاچی اسپارک را یاد بگیریم؟ Why we should learn Apache Spark?

• اجزای معماری اسپارک Spark Architecture Components

• راننده Driver

• پارتیشن ها Partitions

• مجریان Executors

اجرای جرقه Spark Execution

• جابز جرقه Spark Jobs

• مراحل جرقه Spark Stages

• وظایف جرقه Spark Tasks

• نمایش عملی مشاغل، وظایف و مراحل Practical Demonstration of Jobs, Tasks and Stages

Spark SQL، DataFrames و Datasets Spark SQL, DataFrames and Datasets

• Spark RDD (ایجاد و نمایش عملی) Spark RDD (Create and Display Practical)

• Spark Dataframe (ایجاد و نمایش عملی) Spark Dataframe (Create and Display Practical)

• توابع ناشناس در اسکالا Anonymus Functions in Scala

• اضافی (اختیاری در Spark DataFrame) Extra (Optional on Spark DataFrame)

• اضافی (اختیاری در Spark DataFrame) در جزئیات Extra (Optional on Spark DataFrame) in Details

• مجموعه داده های Spark (ایجاد و نمایش عملی) Spark Datasets (Create and Display Practical)

• ذخیره سازی Caching

• نکاتی در مورد خواندن فایل ها با Spark Notes on reading files with Spark

• فایل CSV منبع داده Data Source CSV File

• منبع داده فایل JSON Data Source JSON File

• منبع داده فایل LIBSVM Data Source LIBSVM File

• فایل تصویر منبع داده Data Source Image File

• منبع داده فایل Arvo Data Source Arvo File

• فایل پارکت منبع داده Data Source Parquet File

• عملیات مجموعه داده های تایپ نشده (معروف به عملیات DataFrame) Untyped Dataset Operations (aka DataFrame Operations)

• اجرای پرس و جوهای SQL به صورت برنامه ای Running SQL Queries Programmatically

• نمای موقت جهانی Global Temporary View

• ایجاد مجموعه داده ها Creating Datasets

• توابع اسکالر (توابع اسکالر داخلی) قسمت 1 Scalar Functions (Built-in Scalar Functions) Part 1

• توابع اسکالر (توابع اسکالر داخلی) قسمت 2 Scalar Functions (Built-in Scalar Functions) Part 2

• توابع اسکالر (توابع اسکالر داخلی) قسمت 3 Scalar Functions (Built-in Scalar Functions) Part 3

• توابع اسکالر تعریف شده توسط کاربر User Defined Scalar Functions

جرقه RDD Spark RDD

• عملیات در آپاچی اسپارک Operation in Apache Spark

• تحولات Transformations

• نقشه (عملکرد) map(function)

• فیلتر (عملکرد) filter(function)

• flatMap (عملکرد) flatMap(function)

• نقشه پارتیشن ها (عملکرد) mapPartitions(func)

• mapPartitionsWithIndex(func) mapPartitionsWithIndex(func)

• نمونه (با جایگزینی، کسر، دانه) sample(withReplacement, fraction, seed)

• اتحادیه (دیتا مجموعه دیگر) union(otherDataset)

• تقاطع (دیگر داده) intersection(otherDataset)

• متمایز ([numPartitions])) distinct([numPartitions]))

• groupby (func) groupby(func)

• groupByKey ([numPartitions]) groupByKey([numPartitions])

• reduceByKey (func، [numPartitions]) reduceByKey(func, [numPartitions])

• aggregateByKey(مقدار صفر) (seqOp، combOp، [numPartitions]) aggregateByKey(zeroValue)(seqOp, combOp, [numPartitions])

• sortByKey ([صعودی]، [numPartitions]) sortByKey([ascending], [numPartitions])

• join (OtherDataset، [numPartitions]) join(otherDataset, [numPartitions])

• همگروه (دیتاست دیگر، [numPartitions]) cogroup(otherDataset, [numPartitions])

• دکارتی (دیگر داده ها) cartesian(otherDataset)

• coalesce(numPartitions) coalesce(numPartitions)

• پارتیشن مجدد (numPartitions) repartition(numPartitions)

• repartitionAndSortWithinPartitions (پارتیشن‌کننده) repartitionAndSortWithinPartitions(partitioner)

• تحولات گسترده در مقابل باریک Wide vs. Narrow Transformations

• اقدامات Actions

• کاهش (عملکرد) reduce(func)

• جمع آوری () collect()

• شمردن() count()

• اولین() first()

• گرفته شده) take(n)

• TakeSample (با جایگزینی، تعداد، [seed]) takeSample(withReplacement, num, [seed])

• takeOrdered(n، [سفارش]) takeOrdered(n, [ordering])

• countByKey() countByKey()

• foreach (fun) foreach(func)

• به هم زدن Shuffling

• ماندگاری (حافظه پنهان) Persistence (Cache)

• پافشاری نکنید Unpersist

• متغیرهای پخش Broadcast Variables

• آکومولاتورها Accumulators

• سخنرانی مهم Important Lecture

• جایزه Bonus