آموزش تحلیل داده‌های بزرگ (Big Data) با اسکالا و اسپارک (نسخه Scala 2) - آخرین آپدیت

شروع به کار و مبانی اسپارک Getting Started + Spark Basics

• مقدمه، تدارکات و آنچه خواهید آموخت Introduction, Logistics, What You'll Learn

• از موازی‌سازی داده‌ها تا موازی‌سازی توزیع شده Data-Parallel to Distributed Data-Parallel

• تأخیر در شبکه (Latency) Latency

• آشنایی با RDDها: کلکسیون توزیع شده اسپارک RDDs, Spark's Distributed Collection

• آشنایی با RDDها: تغییرات (Transformations) و اکشن‌ها (Actions) RDDs: Transformation and Actions

• ارزیابی در اسپارک: تفاوت با کلکسیون‌های اسکالا Evaluation in Spark: Unlike Scala Collections!

• اهمیت توپولوژی کلاستر Cluster Topology Matters!

عملیات کاهش و جفت‌های کلید-مقدار توزیع شده Reduction Operations & Distributed Key-Value Pairs

• عملیات کاهش (Reduction Operations) Reduction Operations

• آشنایی با Pair RDDs Pair RDDs

• تغییرات و اکشن‌ها در Pair RDDs Transformations and Actions on Pair RDDs

• اتصال داده‌ها (Joins) Joins

پارتیشن‌بندی و شافلینگ Partitioning and Shuffling

• شافلینگ (Shuffling): چیست و چرا اهمیت دارد Shuffling: What it is and why it's important

• پارتیشن‌بندی (Partitioning) Partitioning

• بهینه‌سازی با استفاده از پارتیشنرها Optimizing with Partitioners

• وابستگی‌های عریض در مقابل وابستگی‌های باریک Wide vs Narrow Dependencies

داده‌های ساختاریافته: SQL، دیتافریم‌ها و دیتاست‌ها Structured data: SQL, Dataframes, and Datasets

• داده‌های ساختاریافته در مقابل غیرساختاریافته Structured vs Unstructured Data

• اسپارک SQL (Spark SQL) Spark SQL

• دیتافریم‌ها - بخش اول DataFrames (1)

• دیتافریم‌ها - بخش دوم DataFrames (2)

• دیتاست‌ها (Datasets) Datasets