آموزش شروع کاوش و تحلیل داده ها با Apache Spark

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

شروع کار با مجموعه داده های توزیع شده انعطاف پذیر Spark Getting Started with Spark's Resilient Distributed Datasets

• نقش جرقه در تجزیه و تحلیل داده ها The Role of Spark in Data Analysis

• درک اجزای Spark Understanding the Components of Spark

• نصب Spark Standalone در یک محیط محلی Installing Spark Standalone in a Local Environment

• سلام به جهان: بارگیری یک مجموعه داده Hello World: Loading a Data Set

• درک مجموعه داده های توزیع شده انعطاف پذیر Understanding Resilient Distributed Datasets

تغییر شکل و تمیز کردن داده های بدون ساختار Transforming and Cleaning Unstructured Data

• تجزیه و تحلیل جنایت در شهر نیویورک Analyzing Crime in New York City

• برنامه نویسی در پارادایم عملکردی Programming in the Functional Paradigm

• استفاده از سازه های عملکردی برای تبدیل مجموعه داده ها Applying Functional Constructs to Transform Datasets

• ردیف ها را فیلتر می کنید Filtering Rows

• تبدیل پرونده ها برای استخراج فیلدها Transforming Records to Extract Fields

• شناسایی و فیلتر کردن مقادیر از دست رفته Identifying and Filtering Missing Values

• شناسایی و فیلتر کردن ناهنجاری ها Identifying and Filtering Anomalies

• خلاصه و تجسم جرم در NYC Summarizing and Visualizing Crime in NYC

جمع بندی داده ها در کنار ابعاد Summarizing Data Along Dimensions

• نمایندگی داده ها با استفاده از RDD های جفت Representing Data Using Pair RDDs

• ایجاد RDD جفت Creating a Pair RDD

• خلاصه RDD های جفت Summarizing Pair RDDs

• محاسبه روند روزانه Computing a Daily Trend

• ادغام RDD های جفت Merging Pair RDDs

• افزودن ابعاد به RDD Adding a Dimension to an RDD

• محاسبه میانگین ها با RDD های جفت Computing Averages with Pair RDDs

• مقایسه میانگین های روزانه Comparing Daily Averages

روابط مدل سازی در جهان اجتماعی مارول Modeling Relationships in the Marvel Social Universe

• نمایش مجموعه های داده به عنوان شبکه Representing Datasets as Networks

• یافتن تأثیرگذارترین شخصیت ها Finding the Most Influential Characters

• ایجاد یک شبکه همزمانی Building a Co-occurrence Network

• یافتن مهمترین روابط Finding the Most Important Relationships