دوره برنامه نویس پایان به پایان PYSPARK (Spark with Python)

سرفصل ها و درس ها

پیش نمایش Preview

• پیش نمایش دوره Preview the Course

دانلود اسلایدهای دوره و فایل های داده Download Course Slides and Data Files

• دانلود اسلایدهای دوره و فایل های داده Download Course Slides and Data Files

نصب و راه اندازی Spark به صورت مستقل (ویندوز) Spark Installation and Set Up Standalone (Windows)

• منابع Resources

• حداقل نسخه های پشتیبانی شده/پیش نیازها Minimum Supported Versions/Prerequisites

• نصب جاوا Java Installation

• نصب پایتون Python Installation

• نصب جرقه Spark Installation

• راه اندازی Winutils Winutils Set up

• نصب PyCharm PyCharm Instalaltion

• مبانی PyCharm PyCharm Basics

• آرگومان های زمان اجرا PyCharm PyCharm run time arguments

• Python و PySpark را ادغام کنید Integrate Python and PySpark

• نحوه اشکال زدایی برنامه های پایتون با استفاده از PyCharm How to debug Python Applications using PyCharm

دوره HDFS HDFS Course

• دانلود اسلایدها Download Slides

• HDFS چیست و چرا HDFS What is HDFS and Why HDFS

• اجزای HDFS و متادیتا HDFS Components and Metadata

• بلوک و تکرار HDFS HDFS Block and Replication

• Rack Awareness Rack Awareness

• HDFS Read Mechanism Architecture HDFS Read Mechanism Architecture

• دستورات راهنما HDFS CLI را تمرین کنید Exercise HDFS CLI Help Commands

• تمرین - داده ها را از GitHub به Local به HDFS بیاورید Exercise - Bring Data from GitHub to Local to HDFS

• تمرین - ایجاد یا حذف دایرکتوری ها در HDFS Exercise - Create or Remove Directories in HDFS

• تمرین - داده ها را از HDFS به محلی کپی کنید Exercise - Copy Data from HDFS to Local

• تمرین - فهرست بندی و مرتب سازی فایل ها و فهرست ها Exercise - Listing and Sorting Files and Directories

• تمرین - داده ها را از Local به HDFS کپی کنید Exercise - Copy data from Local to HDFS

• تمرین - پیش نمایش داده ها در HDFS Exercise - Preview Data in HDFS

• تمرین - دانستن آمار در HDFS Exercise - Knowing Statistics in HDFS

• تمرین - دانستن فضای ذخیره سازی در سیستم فایل HDFS Exercise - Knowing Storage in HDFS File System

• تمرین - فراداده در HDFS Exercise - Metadata in HDFS

• مجوز فایل در HDFS File Permission in HDFS

• تمرین - به روز رسانی خواص در HDFS Exercise - Update Properties in HDFS

دوره پایتون Python Course

• معرفی و نصب Introduction and Installation

• ویژگی های اصلی پایتون Main Features of Python

• مبانی پایتون Python Basics

• متغیرهای پایتون Python Variables

• دستورات راهنمای Python Print Python Print dir help Commands

• اپراتورهای پایتون Python Operators

• ماژول های پایتون Python Modules

• انواع داده پایتون - انواع عددی Python Datatypes - Numeric Types

• انواع داده پایتون - انواع رشته Python Datatypes - String Types

• انواع داده پایتون - نوع فهرست قسمت 1 Python Datatypes - List Type Part 1

• انواع داده پایتون - نوع فهرست قسمت 2 Python Datatypes - List Type Part 2

• پایتون تاپل Python Tuple

• مجموعه پایتون Python Set

• دیکشنری پایتون Python Dictionary

• تاریخ و زمان پایتون Python Date and Time

• عبارات شرطی پایتون (در صورت دیگری ...) Python Conditional Statements (if else ...)

• پایتون برای حلقه Python For Loop

• Python while Loop Python While Loop

• توابع تعریف شده توسط کاربر پایتون Python User Defined Functions

• توابع لامبدا پایتون Python Lambda Functions

• تابع نقشه پایتون Python Map Function

• تابع فیلتر پایتون Python Filter Function

• تابع کاهش پایتون Python Reduce Function

• مدیریت فایل پایتون Python File Handling

• اصول اولیه پایتون OOPs قسمت 1 Python OOPs Basics Part 1

• مبانی Python OOPs قسمت 2 Python OOPs Basics Part 2

• تمرین پایه Python OOPs Python OOPs Basics Exercise

• ویژگی های کلاس پایه Python OOPs Python OOPs Basics class Attributes

• متغیر ویژه پایتون __name__ Python Special Variable __name__

• متغیرهای محیط پایتون Python Environment Variables

• رسیدگی به استثنا Exception Handling

• استثنائات Traceback Traceback Exceptions

• ورود به پایتون - دانلود اسلایدها Logging in Python - Download Slides

• ورود به پایتون مقدمه Logging in Python Introduction

• ورود به پایتون - ادغام با Exception Stack Traces Logging in Python - Integrate with Exception Stack Traces

• ورود به پایتون - ثبت سفارشی Logging in Python - Custom Logger

• ورود به پایتون - با استفاده از فایل پیکربندی Logging in Python - Using Configuration File

مقدمه ای بر اسپارک Introduction to Spark

• چرا Spark توسعه یافت؟ Why Spark was developed

• اسپارک چیست و ویژگی های آن What is Spark and its features

• اجزای اصلی اسپارک Spark Main Components

مقدمه ای بر SparkSession Introduction to SparkSession

• مقدمه ای بر SparkSession Introduction to SparkSession

• Spark Object و Spark Submit Part 1 Spark Object and Spark Submit Part 1

• Spark Object و Spark Submit Part 2 Spark Object and Spark Submit Part 2

• Spark Object و Spark Submit قسمت 3 Spark Object and Spark Submit Part 3

مبانی RDD RDD Fundamentals

• RDD چیست، RDD Properties، چه زمانی از RDD استفاده کنیم What is RDD, RDD Properties, when to use RDD

• مشکلات RDD RDD Problems

RDD ایجاد کنید Create RDD

• روش های مختلف برای ایجاد RDD Different Ways to Create RDDs

عملیات RDD RDD Operations

• تحولات - سطح پایین قسمت 1 Transformations - Low Level Part 1

• Transformations - Low Level Part 2 Transformations - Low Level Part 2

• تبدیل - انواع پیوستن Transformations - Join Types

• اقدامات - جمع کل Actions - Total Aggregation

• مخلوط کن و ترکیب کن Shuffle and Combiner

• دگرگونی ها - مجموعه های کلیدی قسمت 1 Transformations - Key Aggregations Part 1

• Transformations - Key Aggregations Part 2 Transformations - Key Aggregations Part 2

• Transformations - Key Aggregations Part 3 Transformations - Key Aggregations Part 3

• Transformations - Key Aggregations Part 4 Transformations - Key Aggregations Part 4

• Transformations - Key Aggregations Part 5 Transformations - Key Aggregations Part 5

• تبدیل - مرتب سازی Transformations - Sorting

• تحولات - رتبه بندی Transformations - Ranking

• تحولات - مجموعه Transformations - Set

• تبدیل - نمونه گیری Transformations - Sampling

• Transformations - Part 1 چیست Transformations - What is Partition Part 1

• Transformations - Part 2 چیست Transformations - What is Partition Part 2

• تبدیل - پارتیشن مجدد Transformations - Repartition

• تبدیل - تقسیم مجدد و مرتب سازی Transformations - Repartition and Sort

• تحولات - ادغام Transformations - Coalesce

• Transformations - Repartition vs Coalesce Transformations - Repartition Vs Coalesce

• استخراج Extraction

• توجه داشته باشید Note

معماری اجرای خوشه جرقه Spark Cluster Execution Architecture

• معماری کامل Full Architecture

• YARN به عنوان مدیر خوشه جرقه YARN As Spark Cluster Manager

• JVM ها در سراسر خوشه ها JVMs across Clusters

• اصطلاحات رایج در چارچوب اجرا Commonly Used Terms in Execution Frame

• تحولات باریک و گسترده Narrow and Wide Transformations

• زمانبندی DAG قسمت 1 DAG Scheduler Part 1

• DAG Scheduler قسمت 2 DAG Scheduler Part 2

• DAG Scheduler قسمت 3 DAG Scheduler Part 3

• Task Scheduler Task Scheduler

پایداری RDD RDD Persistence

• پایداری RDD RDD Persistence

Spark Shared Variables Spark Shared Variables

• متغیر پخش Broadcast Variable

• متغیر انباشته Accumulator Variable

معماری SparkSQL SparkSQL Architecture

• Spark SQL Architecture قسمت 1 Spark SQL Architecture Part 1

• Spark SQL Architecture قسمت 2 Spark SQL Architecture Part 2

• Spark SQL Architecture قسمت 3 Spark SQL Architecture Part 3

• Spark SQL Architecture قسمت 4 Spark SQL Architecture Part 4

• Spark SQL Architecture قسمت 5 Spark SQL Architecture Part 5

• Spark SQL Architecture قسمت 6 Spark SQL Architecture Part 6

• Spark SQL Architecture قسمت 7 Spark SQL Architecture Part 7

• Spark SQL Architecture قسمت 8 Spark SQL Architecture Part 8

ویژگی های SparkSession SparkSession Features

• مقدمه ای بر SparkSession Introduction to SparkSession

• Spark Object و Spark Submit Part 1 Spark Object and Spark Submit Part 1

• Spark Object و Spark Submit Part 2 Spark Object and Spark Submit Part 2

• Spark Object و Spark Submit قسمت 3 Spark Object and Spark Submit Part 3

• نسخه و محدوده Version and Range

• createDataFrame createDataFrame

• sql sql

• جدول Table

• sparkContext sparkContext

• conf conf

• udf udf

• خواندن-csv read-csv

• خواندن متن read-text

• خواندن اورک و پارکت read-orc and parquet

• read-json read-json

• خواندن آورو read-avro

• خواندن - کندو read-hive

• خواندن-jdbc read-jdbc

• کاتالوگ Catalog

• newSession و توقف newSession and stop

DataFrame Fundamentals DataFrame Fundamentals

• مقدمه ای بر DataFrame Introduction to DataFrame

• ویژگی های DataFrame - توزیع شده DataFrame Features - Distributed

• ویژگی های DataFrame - Lazy Evaluation. DataFrame Features - Lazy Evaluation.

• ویژگی های DataFrame - تغییر ناپذیری DataFrame Features - Immutability

• ویژگی های DataFrame - سایر ویژگی ها DataFrame Features - Other Features

• سازمان Organization

انواع داده ها Datatypes

• انواع داده ها قسمت 1 Datatypes Part 1

• انواع داده ها قسمت 2 Datatypes Part 2

• انواع داده ها قسمت 3 Datatypes Part 3

ردیف های DataFrame DataFrame Rows

• ردیف های DataFrame DataFrame Rows

ستون های DataFrame DataFrame Columns

• ستون های DataFrame قسمت 1 DataFrame Columns Part 1

• ستون های DataFrame قسمت 2 DataFrame Columns Part 2

• ستون های DataFrame قسمت 3 DataFrame Columns Part 3

DataFrame ETL DataFrame ETL

• مقدمه ای بر تبدیل و استخراج Introduction to Transformations and Extraction

• DataFrame APIs Introduction Extraction DataFrame APIs Introduction Extraction

• انتخاب APIهای DataFrame DataFrame APIs Selection

• DataFrame APIs Filter or Where DataFrame APIs Filter or Where

• مرتب سازی API های DataFrame DataFrame APIs Sorting

• مجموعه APIهای DataFrame DataFrame APIs Set

• پیوستن به APIهای DataFrame DataFrame APIs Join

• DataFrame APIs Aggregation DataFrame APIs Aggregation

• APIهای DataFrame GroupBy DataFrame APIs GroupBy

• پنجره DataFrame APIs قسمت 1 DataFrame APIs Window Part 1

• پنجره DataFrame APIs قسمت 2 DataFrame APIs Window Part 2

• توابع نمونه برداری APIهای DataFrame DataFrame APIs Sampling Functions

• APIهای DataFrame سایر توابع جمع DataFrame APIs Other Aggregate Functions

• معرفی توابع داخلی DataFrame DataFrame Built-in Functions Introduction

• توابع داخلی DataFrame - توابع ستون جدید DataFrame Built-in Functions - New Column Functions

• توابع داخلی DataFrame - رمزگذاری ستون DataFrame Built-in Functions - Column Encryption

• توابع داخلی DataFrame - توابع رشته DataFrame Built-in Functions - String Functions

• توابع داخلی DataFrame - توابع RegExp DataFrame Built-in Functions - RegExp Functions

• توابع داخلی DataFrame - توابع تاریخ DataFrame Built-in Functions - Date Functions

• توابع داخلی DataFrame - توابع پوچ DataFrame Built-in Functions - Null Functions

• توابع داخلی DataFrame - توابع مجموعه DataFrame Built-in Functions - Collection Functions

• توابع داخلی DataFrame - توابع na DataFrame Built-in Functions - na Functions

• توابع داخلی DataFrame - توابع ریاضی و آمار DataFrame Built-in Functions - Math and Statistics Functions

• توابع داخلی DataFrame - عملکردهای انفجار و صاف کردن DataFrame Built-in Functions - Explode and Flatten Functions

• توابع داخلی DataFrame - توابع قالب بندی DataFrame Built-in Functions - Formatting Functions

• توابع داخلی DataFrame - توابع Json DataFrame Built-in Functions - Json Functions

• نیاز به تقسیم مجدد و ادغام Need of Repartition and Coalesce

• نحوه پارتیشن بندی مجدد یک DataFrame How to Repartition a DataFrame

• چگونه یک DataFrame را ادغام کنیم How to Coalesce a DataFrame

• پارتیشن مجدد در مقابل روش ادغام یک DataFrame Repartition Vs Coalesce Method of a DataFrame

• مقدمه استخراج DataFrame DataFrame Extraction Introduction

• استخراج DataFrame - csv DataFrame Extraction - csv

• استخراج DataFrame - متن DataFrame Extraction - text

• استخراج دیتا فریم - پارکت DataFrame Extraction - Parquet

• استخراج DataFrame - orc json DataFrame Extraction - orc json

• استخراج DataFrame - avro DataFrame Extraction - avro

• استخراج DataFrame - کندو DataFrame Extraction - hive

• استخراج DataFrame - jdbc DataFrame Extraction - jdbc

عملکرد و بهینه سازی Performance and Optimization

• Join Strategies_01_Broadcast Join Join Strategies_01_Broadcast Join

• Join Strategies_02_Shuffle Hash Join Join Strategies_02_Shuffle Hash Join

• Join Strategies_03_Shuffle Sort Merge Join Join Strategies_03_Shuffle Sort Merge Join

• Join Strategies_04_Cartesian Product Join Join Strategies_04_Cartesian Product Join

• Join Strategies_05_Broadcast Nested Loop Join Join Strategies_05_Broadcast Nested Loop Join

• Join Strategies_06_اولویت بندی استراتژی های مختلف Join Join Strategies_06_Prioritize different Join strategy

• تنظیمات درایور Driver Configurations

• تنظیمات اجرایی بخش 1 Executor Configurations Part 1

• تنظیمات اجرایی بخش 2 Executor Configurations Part 2

• تنظیمات در spark-submit Configurations in spark-submit

• تنظیمات موازی Parallelism Configurations

• مدیریت حافظه Memory Management