آموزش Master Apache Spark (Scala) برای مهندسان داده

سرفصل ها و درس ها

معرفی کلان داده (اختیاری) Introduction to Big Data (Optional)

• معرفی اطلاعات بزرگ Big Data Introduction

• آشنایی با اکوسیستم کلان داده Understanding Big Data Ecosystem

جرقه با نخ و HDFS Spark with Yarn & HDFS

• Apache Spark چیست؟ What is Apache Spark

• درک مدیر خوشه (نخ) Understanding Cluster Manager (Yarn)

• درک ذخیره سازی توزیع شده (HDFS) Understanding Distributed Storage (HDFS)

• نخ و HDFS Yarn & HDFS

• اجرای Spark در Yarn/HDFS Running Spark on Yarn/HDFS

• درک حالتهای استقرار Understanding Deploy Modes

استفاده از Spark Shell Using Spark Shell

• راه اندازی محلی Local Setup

• Spark Shell در Local Spark Shell on Local

• Spark-shell on Cluster Spark-shell on Cluster

راه اندازی محلی Local Setup

• راه اندازی محلی Local Setup

داخلی Spark Spark Internals

• رانندگان و مجریان Drivers & Executors

• RDD ها و Dataframes RDDs & Dataframes

• تحول و اقدامات Transformation & Actions

• پوسته جرقه در محلی Spark Shell on Local

• جرقه بر روی خوشه Spark-shell on Cluster

• تحولات گسترده و باریک Wide & Narrow Transformations

• درک برنامه اجرایی Understanding Execution Plan

• برنامه های مختلف توسط راننده Different Plans by Driver

Google Cloud Dataproc Cluster Google Cloud Dataproc Cluster

• معرفی Intro

• راه اندازی خوشه Cluster Setup

• استفاده از Google Cloud Using Google Cloud

• استفاده از HDFS Using HDFS

کار با Dataframes Working with Dataframes

• قاب داده از Json Dataframe from Json

• قاب داده از CSV Dataframe from CSV

• قاب داده از پارکت Dataframe from Parquet

• قاب داده از Avro Dataframe from Avro

• قاب داده از XML Dataframe from XML

• کار با ستون ها Working with columns

• کار با رشته ها Working with Strings

• کار با خرما Working with Dates

• API فیلتر داده Dataframe Filter API

• SQUL SQL Spark SQL

• کار با کندو Working with Hive

استفاده از Intellij IDE Using Intellij IDE

• راه اندازی Intellij Intellij Setup

• راه اندازی پروژه Project Setup

• نوشتن اولین برنامه جرقه در IDE Writing first Spark program on IDE

• درک پیکربندی جرقه Understanding spark configuration

• افزودن اقدامات/تحولات Adding Actions/Transformations

• درک برنامه اجرایی Understanding Execution Plan

قاب داده پیشرفته Advanced Dataframe

• مجموعه داده ها در مقابل Dataframe Datasets versus Dataframe

• توابع تعریف شده توسط کاربر (UDFS) User Defined Functions (UDFS)

اجرای Spark در EMR (AWS Cloud) Running Spark on EMR (AWS Cloud)

• مروری بر خوشه EMR EMR Cluster Overview

• راه اندازی خوشه Cluster Setup

• تنظیم Spark Code برای EMR Setting Spark Code for EMR

• با استفاده از Spark-submit Using Spark-submit

• اجرای Spark در EMR Cluster Running Spark on EMR Cluster

کار با RDD ها Working with RDDs

• تبدیل نقشه Map Transformation

• به روز رسانی محیط Environment update

• راه اندازی Cloudera vm Cloudera vm Setup

• نقشه تخت FlatMap

• فیلتر/تقاطع Filter/Intersection

• اتحادیه/متمایز Union/Distinct

• GroupByKey GroupByKey

• ReduceByKey ReduceByKey

• SortByKey SortByKey

• map_partition map_partition

• ادغام/تقسیم مجدد Colease/Repartition

• می پیوندد Joins

• اقدامات جرقه ای Spark Actions

نمونه های RDD با Scala IDE RDD Examples with Scala IDE

• درک مقیاس چندگانه Understanding scala tuples

• فیلترهای گزارش خطاها Filter Error Logs

• سفارشات توسط مشتریان Orders By Customers

• جمعیت هر شهر Population of each city