Apache Spark با Python - Big Data با PySpark و Spark [ویدئو]

سرفصل ها و درس ها

با آپاچی اسپارک شروع کنید Get Started with Apache Spark

• بررسی اجمالی دوره Course Overview

• مقدمه ای بر اسپارک Introduction to Spark

• جاوا و گیت را نصب کنید Install Java and Git

• Spark را راه اندازی کنید Set up Spark

• اولین کار Spark ما را اجرا کنید Run our first Spark job

RDD RDD

• مبانی RDD RDD Basics

• RDD ها را ایجاد کنید Create RDDs

• تبدیل نقشه و فیلتر Map and Filter Transformation

• راه حل مسئله فرودگاه ها بر اساس عرض جغرافیایی Solution to Airports by Latitude Problem

• تبدیل FlatMap FlatMap Transformation

• تنظیم عملیات Set Operations

• راه حل برای مشکل همان هاست Solution for the Same Hosts Problem

• اقدامات Actions

• حل مسئله جمع اعداد Solution to Sum of Numbers Problem

• جنبه های مهم در مورد RDD Important Aspects about RDD

• خلاصه ای از عملیات RDD Summary of RDD Operations

• ذخیره سازی و ماندگاری Caching and Persistance

معماری اسپارک و اجزای سازنده Spark Architecture and Components

• معماری جرقه Spark Architecture

• اجزای جرقه Spark Components

RDD را جفت کنید Pair RDD

• مقدمه ای بر جفت RDD Introduction to Pair RDD

• ایجاد جفت RDD Create Pair RDDs

• تبدیل‌های فیلتر و MapValue در جفت RDD Filter and MapValue Transformations on Pair RDD

• کاهش با تجمع کلید Reduce By Key Aggregation

• راه حل برای مشکل خانه متوسط Solution for the Average House Problem

• گروه با تبدیل کلید Group By Key Transformation

• مرتب سازی بر اساس تبدیل کلید Sort By Key Transformation

• راه حلی برای مشکل شمارش کلمات مرتب شده Solution for the Sorted Word Count Problem

• پارتیشن بندی داده ها Data Partitioning

• به عملیات بپیوندید Join Operations

موضوعات پیشرفته Spark Advanced Spark Topics

• آکومولاتورها Accumulators

• راه حل مشکل پیگیری StackOverflow Survey Solution to StackOverflow Survey Follow-up Problem

• متغیرهای پخش Broadcast Variables

Spark SQL Spark SQL

• مقدمه ای بر Spark SQL Introduction to Spark SQL

• Spark SQL در عمل Spark SQL in Action

• عمل Spark SQL: مشکل قیمت خانه Spark SQL practice: House Price Problem

• Spark SQL Joins Spark SQL Joins

• Dataframe یا RDD Dataframe or RDD

• Dataframe و تبدیل RDD Dataframe and RDD Conversion

• تنظیم عملکرد Spark SQL Performance Tuning of Spark SQL

در حال اجرا جرقه در یک خوشه Running Spark in a Cluster

• مقدمه ای بر Running Spark in a Cluster Introduction to Running Spark in a Cluster

• Spark-Submit Spark-submit

• برنامه Spark را در خوشه آمازون EMR (ElasticMapReduce) اجرا کنید Run Spark Application on Amazon EMR (ElasticMapReduce) cluster