آپاچی اسپارک: نکات، ترفندها و تکنیک ها [ویدئو]

سرفصل ها و درس ها

تحولات و اقدامات Transformations and Actions

• بررسی اجمالی دوره The Course Overview

• استفاده از تبدیل جرقه برای به تعویق انداختن محاسبات به زمان بعدی Using Spark Transformations to Defer Computations to a Later Time

• اجتناب از تحولات Avoiding Transformations

• استفاده از Reduce و ReducByKey برای محاسبه نتایج Using reduce and reduceByKey to Calculate Results

• انجام اقداماتی که محاسبات را آغاز می کنند Performing Actions That Trigger Computations

• استفاده مجدد از همان RDD برای اقدامات مختلف Reusing the Same RDD for Different Actions

طراحی تغییرناپذیر Immutable Design

• در زنجیره والد/فرزند Spark RDDs کاوش کنید Delve into Spark RDDs Parent/Child Chain

• استفاده از RDD به روشی غیرقابل تغییر Using RDD in an Immutable Way

• استفاده از عملیات DataFrame برای تبدیل آن Using DataFrame Operations to Transform It

• تغییر ناپذیری در محیط بسیار همزمان Immutability in the Highly Concurrent Environment

• استفاده از Dataset API به روشی غیرقابل تغییر Using Dataset API in an Immutable Way

اجتناب از مخلوط کردن و کاهش هزینه های عملیاتی Avoid Shuffle and Reduce Operational Expenses

• تشخیص مختلط در یک پردازش Detecting a Shuffle in a Processing

• آزمایش عملیاتی که باعث درهم ریختگی در آپاچی اسپارک می شود Testing Operations That Cause Shuffle in Apache Spark

• تغییر طراحی مشاغل با وابستگی های گسترده Changing Design of Jobs with Wide Dependencies

• استفاده از عملیات keyBy() برای کاهش Shuffle Using keyBy() Operations to Reduce Shuffle

• استفاده از پارتیشن سفارشی برای کاهش درهم ریختگی Using Custom Partitioner to Reduce Shuffle

ذخیره داده ها در فرمت صحیح Saving Data in the Correct Format

• ذخیره داده ها در متن ساده Saving Data in Plain Text

• استفاده از JSON به عنوان یک فرمت داده Leveraging JSON as a Data Format

• قالب های جدولی - CSV Tabular Formats – CSV

• استفاده از Avro با Spark Using Avro with Spark

• قالب های ستونی – پارکت Columnar Formats – Parquet

کار با Spark Key/Value API Working with Spark Key/Value API

• تبدیل‌های موجود در جفت‌های کلید/مقدار Available Transformations on Key/Value Pairs

• استفاده از aggregateByKey به جای groupBy() Using aggregateByKey Instead of groupBy()

• اقدامات روی جفت کلید/مقدار Actions on Key/Value Pairs

• پارتیشن‌کننده‌های موجود در داده‌های کلید/مقدار Available Partitioners on Key/Value Data

• پیاده سازی پارتیشن سفارشی Implementing Custom Partitioner

تست Apache Spark Jobs Testing Apache Spark Jobs

• جداسازی منطق از موتور اسپارک – تست واحد Separating Logic from Spark Engine – Unit Testing

• تست یکپارچه سازی با استفاده از SparkSession Integration Testing Using SparkSession

• تمسخر منابع داده با استفاده از توابع جزئی Mocking Data Sources Using Partial Functions

• استفاده از ScalaCheck برای تست مبتنی بر ویژگی Using ScalaCheck for Property-Based Testing

• تست در نسخه های مختلف Spark Testing in Different Versions of Spark

استفاده از Spark GraphX ​​API Leveraging Spark GraphX API

• ایجاد نمودار از Datasource Creating Graph from Datasource

• با استفاده از Vertex API Using Vertex API

• با استفاده از Edge API Using Edge API

• محاسبه درجه راس Calculate Degree of Vertex

• محاسبه رتبه صفحه Calculate Page Rank