آموزش برنامه نویسی مقیاس پذیر با Scala و Spark

سرفصل ها و درس ها

شما، این دوره و ما You, This Course and Us

• شما، این دوره و ما You, This Course and Us

• مواد درسی Course Materials

• نصب Scala و Hello World Installing Scala and Hello World

مقدمه ای بر اسپارک Introduction to Spark

• دونالد رامسفلد چه ربطی به تحلیل داده ها دارد؟ What does Donald Rumsfeld have to do with data analysis?

• چرا اسپارک خیلی باحاله؟ Why is Spark so cool?

• مقدمه ای بر RDDs - Resilient Distributed Datasets An introduction to RDDs - Resilient Distributed Datasets

• کتابخانه های داخلی برای Spark Built-in libraries for Spark

• نصب اسپارک Installing Spark

• پوسته جرقه The Spark Shell

• آن را در عمل ببینید: Munging Airlines Data with Spark See it in Action : Munging Airlines Data with Spark

• تحولات و اقدامات Transformations and Actions

مجموعه داده های توزیع شده انعطاف پذیر Resilient Distributed Datasets

• ویژگی های RDD: پارتیشن ها و تغییرناپذیری RDD Characteristics: Partitions and Immutability

• ویژگی های RDD: نسب، RDD ها می دانند که از کجا آمده اند RDD Characteristics: Lineage, RDDs know where they came from

• با RDD ها چه کاری می توانید انجام دهید؟ What can you do with RDDs?

• اولین RDD خود را از یک فایل ایجاد کنید Create your first RDD from a file

• میانگین مسافت طی شده توسط یک پرواز با استفاده از عملیات map() و reduce(). Average distance travelled by a flight using map() and reduce() operations

• دریافت پروازهای تاخیری با استفاده از filter()، داده های حافظه پنهان با استفاده از persist() Get delayed flights using filter(), cache data using persist()

• میانگین تاخیر پرواز در یک مرحله با استفاده از aggregate() Average flight delay in one-step using aggregate()

• هیستوگرام فرکانس تاخیرها با استفاده از countByValue() Frequency histogram of delays using countByValue()

RDD های پیشرفته: جفت مجموعه داده های توزیع شده انعطاف پذیر Advanced RDDs: Pair Resilient Distributed Datasets

• تحولات و اقدامات ویژه Special Transformations and Actions

• میانگین تاخیر در هر فرودگاه، از ()reducByKey، mapValues() و join() استفاده کنید Average delay per airport, use reduceByKey(), mapValues() and join()

• میانگین تاخیر در هر فرودگاه در یک مرحله با استفاده از ()combinbyKey Average delay per airport in one step using combineByKey()

• با استفاده از sortBy() فرودگاه های برتر را با تاخیر دریافت کنید Get the top airports by delay using sortBy()

• جستجوی توضیحات فرودگاه با استفاده از lookup()، collectAsMap()، broadcast() Lookup airport descriptions using lookup(), collectAsMap(), broadcast()

Advanced Spark: Accumulators، Spark Submit، MapReduce، پشت صحنه Advanced Spark: Accumulators, Spark Submit, MapReduce , Behind The Scenes

• دریافت اطلاعات از گره های پردازش فردی با استفاده از انباشته کننده ها Get information from individual processing nodes using accumulators

• برنامه های طولانی در حال اجرا با استفاده از spark-submit Long running programs using spark-submit

• Spark-Submit with Scala - نسخه ی نمایشی Spark-Submit with Scala - A demo

• پشت صحنه: وقتی یک فیلمنامه Spark اجرا می شود چه اتفاقی می افتد؟ Behind the scenes: What happens when a Spark script runs?

• اجرای عملیات MapReduce Running MapReduce operations

PageRank: رتبه بندی نتایج جستجو PageRank: Ranking Search Results

• PageRank چیست؟ What is PageRank?

• الگوریتم PageRank The PageRank algorithm

• پیاده سازی PageRank در Spark Implement PageRank in Spark

• به بهینه سازی در PageRank با استفاده از پارتیشن بندی سفارشی بپیوندید Join optimization in PageRank using Custom Partitioning

Spark SQL Spark SQL

• فریم های داده: RDD + جداول Dataframes: RDDs + Tables

MLlib در Spark: یک موتور توصیه بسازید MLlib in Spark: Build a recommendations engine

• الگوریتم های فیلتر مشترک Collaborative filtering algorithms

• تحلیل عاملی نهفته با روش حداقل مربعات متناوب Latent Factor Analysis with the Alternating Least Squares method

• توصیه های موسیقی با استفاده از مجموعه داده Audioscrobbler Music recommendations using the Audioscrobbler dataset

• پیاده سازی کد در Spark با استفاده از MLlib Implement code in Spark using MLlib

جریان جرقه Spark Streaming

• مقدمه ای بر جریان Introduction to streaming

• اجرای پردازش جریان در Spark با استفاده از Dstreams Implement stream processing in Spark using Dstreams

• تبدیل حالت با استفاده از پنجره های کشویی Stateful transformations using sliding windows

کتابخانه های نموداری Graph Libraries

• شبکه اجتماعی مارول با استفاده از نمودارها The Marvel social network using Graphs

پرایمر زبان اسکالا Scala Language Primer

• اسکالا - "جاوای بهتر"؟ Scala - A "better Java"?

• کلاس ها در اسکالا چگونه کار می کنند؟ How do Classes work in Scala?

• کلاس ها در اسکالا - ادامه یافت Classes in Scala - continued

• توابع با Methods متفاوت است Functions are different from Methods

• مجموعه ها در اسکالا Collections in Scala

• نقشه، نقشه مسطح - روش عملکردی حلقه کردن Map, Flatmap - The Functional way of looping

• توابع کلاس اول بازبینی شد First Class Functions revisited

• توابع جزئی کاربردی Partially Applied Functions

• بسته شدن Closures

• کاری کردن Currying

نصب های تکمیلی Supplementary Installs

• نصب Intellij Installing Intellij

• نصب آناکوندا Installing Anaconda

• [برای مبتدیان شل سیستم عامل لینوکس/مک] مسیر و سایر متغیرهای محیطی [For Linux/Mac OS Shell Newbies] Path and other Environment Variables