آموزش Apache Spark 3 برای مهندسی داده و تجزیه و تحلیل با پایتون

سرفصل ها و درس ها

مقدمه ای بر Spark و نصب Introduction to Spark and Installation

• معرفی Introduction

• معماری جرقه The Spark Architecture

• Spark Unified Stack The Spark Unified Stack

• ویندوز - دانلود جاوا Windows - Download Java

• ویندوز - جاوا را نصب کنید Windows - Install Java

• ویندوز - متغیرهای محیط جاوا را تنظیم کنید Windows - Set up Java environment variables

• ویندوز - نصب کننده پایتون را دانلود کنید Windows - Download Python Installer

• ویندوز - پایتون را نصب کنید Windows - Install Python

• ویندوز - متغیر PATH را برای پایتون تنظیم کنید Windows - Set up PATH variable for Python

• ویندوز - Spark را برای پایتون نصب کنید Windows - Install Spark for Python

• ویندوز - برنامه تست PySpark Windows - PySpark Test Program

• نصب Hadoop Hadoop Installation

• Microsoft Buid Tools را نصب کنید Install Microsoft Buid Tools

• سیستم عامل مک - نصب جاوا Mac OS - Java Installation

• سیستم عامل مک - نصب پایتون Mac OS - Python Installation

• سیستم عامل مک - نصب PySpark Mac OS - PySpark Installation

• سیستم عامل مک - آزمایش نصب Spark Mac OS - Testing the Spark Installation

• نوت بوک های Jupyter را نصب کنید Install Jupyter Notebooks

• رابط کاربری Spark Web The Spark Web UI

• خلاصه بخش Section Summary

مفاهیم اجرای جرقه Spark Execution Concepts

• بخش مقدمه Section Introduction

• برنامه و جلسه Spark Spark Application and Session

• تبدیل جرقه و اقدامات قسمت 1 Spark Transformations and Actions Part 1

• دگرگونی ها و اقدامات جرقه قسمت 2 Spark Transformations and Actions Part 2

• تجسم DAG DAG Visualisation

دوره تصادف RDD RDD Crash Course

• مقدمه ای بر RDD ها Introduction to RDDs

• آماده سازی داده ها Data Preparation

• تفکیک و تبدیل فیلتر Distince and Filter Transformations

• تبدیل نقشه و نقشه مسطح Map and Flat Map Transformations

• تبدیل SortByKey SortByKey Transformations

• اقدامات RDD RDD Actions

• چالش - تبدیل فارنهایت به درجه سانتیگراد Challenge - Convert Fahrenheit to Centigrade

• چالش - تحقیقات XYZ Challenge - XYZ Research

• تحقیقات XYZ XYZ Research

• چالش - بخش 1 تحقیق XYZ Challenge - XYZ Research Part 1

• Challenge XYZ Research Part 2 Challenge XYZ Research Part 2

Structured API - Spark DataFrame Structured API - Spark DataFrame

• Structured APIs معرفی Structured APIs Introduction

• آماده سازی پوشه پروژه Preparing the Project Folder

• PySpark DataFrame، Schema و DataTypes PySpark DataFrame, Schema and DataTypes

• DataFrame Reader و Writer DataFrame Reader and Writer

• چالش قسمت 1 - مختصر Challenge Part 1 - Brief

• چالش قسمت 1 Challenge Part 1

• چالش قسمت 1 - آماده سازی داده ها Challenge Part 1 - Data Preparation

• کار با عملیات ساختاریافته Working with Structured Operations

• مدیریت خطاهای عملکرد Managing Performance Errors

• خواندن یک فایل JSON Reading a JSON File

• ستون ها و عبارات Columns and Expressions

• شرایط فیلتر و مکان Filter and Where Conditions

• قطره متمایز تکراری ترتیب بر اساس Distinct Drop Duplicates Order By

• ردیف و اتحاد Rows and Union

• اضافه کردن، تغییر نام و حذف ستون ها Adding, Renaming and Dropping Columns

• کار با داده های گم شده یا بد Working with Missing or Bad Data

• کار با توابع تعریف شده توسط کاربر Working with User Defined Functions

• چالش قسمت 2 - مختصر Challenge Part 2 - Brief

• چالش قسمت 2 Challenge Part 2

• چالش قسمت 2 - حذف ردیف پوچ و رکوردهای بد Challenge Part 2 - Remove Null Row and Bad Records

• چالش قسمت 2 - شهر و ایالت را بدست آورید Challenge Part 2 - Get the City and State

• چالش قسمت 2 - طرحواره را دوباره مرتب کنید Challenge Part 2 - Rearrange the Schema

• چالش قسمت 2 - DataFrame پارتیشن بندی شده را در پارکت بنویسید Challenge Part 2 - Write Partitioned DataFrame to Parquet

• تجمعات Aggregations

• تجمعات - تنظیم داده های خلاصه پرواز Aggregations - Setting up Flight Summary Data

• تجمعات - تعداد و شمارش متمایز Aggregations - Count and Count Distinct

• تجمعات - حداقل حداکثر مجموع SumDistinct AVG Aggregations - Min Max Sum SumDistinct AVG

• تجمیع با گروه بندی Aggregations with Grouping

• چالش قسمت 3 - مختصر Challenge Part 3 - Brief

• چالش قسمت 3 Challenge Part 3

• چالش قسمت 3 - داده های 2019 را آماده کنید Challenge Part 3 - Prepare 2019 Data

• چالش قسمت 3 - Q1 بهترین ماه فروش را دریافت کنید Challenge Part 3 - Q1 Get the Best Sales Month

• چالش قسمت 3 - Q2 شهری را دریافت کنید که بیشترین محصولات را فروخته است Challenge Part 3 - Q2 Get the City that sold the most products

• چالش قسمت 3 - Q3 چه زمانی باید تبلیغ کرد Challenge Part 3 - Q3 When to advertise

• چالش قسمت 3 - محصولات Q4 با هم خریداری شده اند Challenge Part 3 - Q4 Products Bought Together

مقدمه ای بر Spark SQL و Databricks Introduction to Spark SQL and Databricks

• مقدمه ای بر DataBricks Introduction to DataBricks

• معرفی Spark SQL Spark SQL Introduction

• ثبت حساب در Databricks Register Account on Databricks

• یک خوشه Databricks ایجاد کنید Create a Databricks Cluster

• ایجاد 2 اولین نوت بوک Databricks ما Creating our First 2 Databricks Notebooks

• خواندن فایل‌های CSV در DataFrame Reading CSV Files into DataFrame

• ایجاد پایگاه داده و جدول Creating a Database and Table

• درج رکوردها در جدول Inserting Records into a Table

• افشای سوابق بد Exposing Bad Records

• فهمیدن نحوه حذف سوابق بد Figuring out how to remove bad records

• شهر و ایالت را استخراج کنید Extract the City and State

• درج رکوردها در جدول فروش نهایی Inserting Records to Final Sales Table

• بهترین ماه در فروش چه ماه بود؟ What was the best month in sales?

• شهری را دریافت کنید که بیشترین محصولات را فروخته است Get the City that sold the most products

• زمان مناسب را برای تبلیغات در نظر بگیرید Get the right time to advertise

• بیشترین محصولات فروخته شده را با هم دریافت کنید Get the most products sold together

• داشبورد ایجاد کنید Create a Dashboard

• خلاصه Summary