آموزش آپاچی اسپارک 2.0 با جاوا - Spark را از یک استاد بزرگ داده بیاموزید

سرفصل ها و درس ها

با آپاچی اسپارک شروع کنید Get Started with Apache Spark

• بررسی اجمالی دوره Course Overview

• نحوه شرکت در این دوره و نحوه دریافت پشتیبانی How to Take this Course and How to Get Support

• سخنرانی متنی: نحوه شرکت در این دوره و نحوه دریافت پشتیبانی Text Lecture: How to Take this Course and How to Get Support

• مقدمه ای بر اسپارک Introduction to Spark

• طرفین Sides

• هشدار جاوا 9 Java 9 Warning

• جاوا و گیت را نصب کنید Install Java and Git

• کد منبع Source Code

• پروژه Spark را با IntelliJ IDEA راه اندازی کنید Set up Spark project with IntelliJ IDEA

• پروژه Spark را با Eclipse راه اندازی کنید Set up Spark project with Eclipse

• سخنرانی متنی: پروژه Spark را با Eclipse تنظیم کنید Text lecture: Set up Spark project with Eclipse

• اولین کار Spark ما را اجرا کنید Run our first Spark job

• عیب یابی: اجرای Hadoop در ویندوز Trouble shooting: running Hadoop on Windows

با آپاچی اسپارک شروع کنید Get Started with Apache Spark

• بررسی اجمالی دوره Course Overview

• نحوه شرکت در این دوره و نحوه دریافت پشتیبانی How to Take this Course and How to Get Support

• سخنرانی متنی: نحوه شرکت در این دوره و نحوه دریافت پشتیبانی Text Lecture: How to Take this Course and How to Get Support

• مقدمه ای بر اسپارک Introduction to Spark

• طرفین Sides

• هشدار جاوا 9 Java 9 Warning

• جاوا و گیت را نصب کنید Install Java and Git

• کد منبع Source Code

• پروژه Spark را با IntelliJ IDEA راه اندازی کنید Set up Spark project with IntelliJ IDEA

• پروژه Spark را با Eclipse راه اندازی کنید Set up Spark project with Eclipse

• سخنرانی متنی: پروژه Spark را با Eclipse تنظیم کنید Text lecture: Set up Spark project with Eclipse

• اولین کار Spark ما را اجرا کنید Run our first Spark job

• عیب یابی: اجرای Hadoop در ویندوز Trouble shooting: running Hadoop on Windows

RDD RDD

• مبانی RDD RDD Basics

• RDD ها را ایجاد کنید Create RDDs

• سخنرانی متنی: ایجاد RDD Text Lecture: Create RDDs

• تبدیل نقشه و فیلتر Map and Filter Transformation

• راه حل مسئله فرودگاه ها بر اساس عرض جغرافیایی Solution to Airports by Latitude Problem

• تبدیل FlatMap FlatMap Transformation

• سخنرانی های متن: تبدیل نقشه مسطح Text Lectures: flatMap Transformation

• تنظیم عملیات Set Operation

• نمونه برداری با جایگزینی و نمونه برداری بدون جایگزینی Sampling With Replacement and Sampling Without Replacement

• راه حل برای مشکل همان هاست Solution for the Same Hosts Problem

• اقدامات Actions

• حل مسئله مجموع اعداد Solution to Sum of Numbers Problem

• جنبه های مهم در مورد RDD Important Aspects about RDD

• خلاصه ای از عملیات RDD Summary of RDD Operations

• ذخیره سازی و ماندگاری Caching and Persistence

RDD RDD

• مبانی RDD RDD Basics

• RDD ها را ایجاد کنید Create RDDs

• سخنرانی متنی: ایجاد RDD Text Lecture: Create RDDs

• تبدیل نقشه و فیلتر Map and Filter Transformation

• راه حل مسئله فرودگاه ها بر اساس عرض جغرافیایی Solution to Airports by Latitude Problem

• تبدیل FlatMap FlatMap Transformation

• سخنرانی های متن: تبدیل نقشه مسطح Text Lectures: flatMap Transformation

• تنظیم عملیات Set Operation

• نمونه برداری با جایگزینی و نمونه برداری بدون جایگزینی Sampling With Replacement and Sampling Without Replacement

• راه حل برای مشکل همان هاست Solution for the Same Hosts Problem

• اقدامات Actions

• حل مسئله مجموع اعداد Solution to Sum of Numbers Problem

• جنبه های مهم در مورد RDD Important Aspects about RDD

• خلاصه ای از عملیات RDD Summary of RDD Operations

• ذخیره سازی و ماندگاری Caching and Persistence

معماری اسپارک و اجزای سازنده Spark Architecture and Components

• معماری جرقه Spark Architecture

• اجزای جرقه Spark Components

معماری اسپارک و اجزای سازنده Spark Architecture and Components

• معماری جرقه Spark Architecture

• اجزای جرقه Spark Components

RDD را جفت کنید Pair RDD

• مقدمه ای بر جفت RDD Introduction to Pair RDD

• ایجاد جفت RDD Create Pair RDDs

• تبدیل‌های فیلتر و MapValue در جفت RDD Filter and MapValue Transformations on Pair RDD

• کاهش با تجمع کلید Reduce By Key Aggregation

• نمونه راه حل برای مشکل خانه متوسط Sample solution for the Average House problem

• گروه با تبدیل کلید Group By Key Transformation

• مرتب سازی بر اساس تبدیل کلید Sort By Key Transformation

• نمونه راه حل برای مسئله شمارش کلمات مرتب شده Sample Solution for the Sorted Word Count Problem

• پارتیشن بندی داده ها Data Partitioning

• به عملیات بپیوندید Join Operations

• مواد آموزشی اضافی: شرکت های بزرگ چگونه از اسپارک آپاچی استفاده می کنند؟ Extra Learning Material: How are Big Companies using Apache Spark

RDD را جفت کنید Pair RDD

• مقدمه ای بر جفت RDD Introduction to Pair RDD

• ایجاد جفت RDD Create Pair RDDs

• تبدیل‌های فیلتر و MapValue در جفت RDD Filter and MapValue Transformations on Pair RDD

• کاهش با تجمع کلید Reduce By Key Aggregation

• نمونه راه حل برای مشکل خانه متوسط Sample solution for the Average House problem

• گروه با تبدیل کلید Group By Key Transformation

• مرتب سازی بر اساس تبدیل کلید Sort By Key Transformation

• نمونه راه حل برای مسئله شمارش کلمات مرتب شده Sample Solution for the Sorted Word Count Problem

• پارتیشن بندی داده ها Data Partitioning

• به عملیات بپیوندید Join Operations

• مواد آموزشی اضافی: شرکت های بزرگ چگونه از اسپارک آپاچی استفاده می کنند؟ Extra Learning Material: How are Big Companies using Apache Spark

موضوع جرقه پیشرفته Advanced Spark Topic

• آکومولاتورها Accumulators

• متن سخنرانی: انباشته کننده ها Text Lecture: Accumulators

• راه حل مشکل پیگیری StackOverflow Survey Solution to StackOverflow Survey Follow-up Problem

• متغیرهای پخش Broadcast Variables

موضوع جرقه پیشرفته Advanced Spark Topic

• آکومولاتورها Accumulators

• متن سخنرانی: انباشته کننده ها Text Lecture: Accumulators

• راه حل مشکل پیگیری StackOverflow Survey Solution to StackOverflow Survey Follow-up Problem

• متغیرهای پخش Broadcast Variables

Spark SQL Spark SQL

• مقدمه ای بر Spark SQL Introduction to Spark SQL

• Spark SQL در عمل Spark SQL in Action

• عمل Spark SQL: مشکل قیمت خانه Spark SQL practice: House Price Problem

• Spark SQL Joins Spark SQL Joins

• مجموعه داده با تایپ قوی Strongly Typed Dataset

• از Dataset یا RDD استفاده کنید Use Dataset or RDD

• تبدیل مجموعه داده و RDD Dataset and RDD Conversion

• تنظیم عملکرد Spark SQL Performance Tuning of Spark SQL

• مواد آموزشی اضافی: از این اشتباهات در هنگام نوشتن برنامه Apache Spark اجتناب کنید Extra Learning Material: Avoid These Mistakes While Writing Apache Spark Program

Spark SQL Spark SQL

• مقدمه ای بر Spark SQL Introduction to Spark SQL

• Spark SQL در عمل Spark SQL in Action

• عمل Spark SQL: مشکل قیمت خانه Spark SQL practice: House Price Problem

• Spark SQL Joins Spark SQL Joins

• مجموعه داده با تایپ قوی Strongly Typed Dataset

• از Dataset یا RDD استفاده کنید Use Dataset or RDD

• تبدیل مجموعه داده و RDD Dataset and RDD Conversion

• تنظیم عملکرد Spark SQL Performance Tuning of Spark SQL

• مواد آموزشی اضافی: از این اشتباهات در هنگام نوشتن برنامه Apache Spark اجتناب کنید Extra Learning Material: Avoid These Mistakes While Writing Apache Spark Program

جرقه در حال اجرا در یک خوشه Running Spark in a Cluster

• مقدمه ای بر Running Spark in a Cluster Introduction to Running Spark in a Cluster

• Package Spark Application and Use Spark-submit Package Spark Application and Use spark-submit

• برنامه Spark را در خوشه آمازون EMR (Elastic MapReduce) اجرا کنید Run Spark Application on Amazon EMR (Elastic MapReduce) cluster

جرقه در حال اجرا در یک خوشه Running Spark in a Cluster

• مقدمه ای بر Running Spark in a Cluster Introduction to Running Spark in a Cluster

• Package Spark Application and Use Spark-submit Package Spark Application and Use spark-submit

• برنامه Spark را در خوشه آمازون EMR (Elastic MapReduce) اجرا کنید Run Spark Application on Amazon EMR (Elastic MapReduce) cluster

مواد آموزشی اضافی Additional Learning Materials

• یادگیری آینده Future Learning

• متن سخنرانی: یادگیری آینده Text Lecture: Future Learning

• کوپن به دوره های دیگر ما Coupons to Our Other Courses

مواد آموزشی اضافی Additional Learning Materials

• یادگیری آینده Future Learning

• متن سخنرانی: یادگیری آینده Text Lecture: Future Learning

• کوپن به دوره های دیگر ما Coupons to Our Other Courses