آموزش Master Apache Spark با استفاده از Spark SQL و PySpark 3

سرفصل ها و درس ها

معرفی Spark SQL و PySpark 3 با استفاده از Python 3 Introduction about Spark SQL and PySpark 3 using Python 3

• معرفی Spark SQL و PySpark 3 با استفاده از Python 3 Introduction to Spark SQL and PySpark 3 using Python 3

• برنامه درسی Spark SQL و Pyspark 3 با استفاده از Python 3 Curriculum for Spark SQL and Pyspark 3 using Python 3

• خرید Spark SQL و PySpark با استفاده از دوره Python 3 Purchasing the Spark SQL and PySpark using Python 3 Course

• مقدمه ای بر صفحه فرود دوره Udemy Introduction to Udemy Course Landing Page

• نمای کلی دوره Udemy یا پخش کننده ویدیو Overview of Udemy Course or Video Player

• اضافه کردن یادداشت ها به سخنرانی های دوره Adding Notes to Course Lectures

• استفاده از نوار کناری دوره برای حرکت بین سخنرانی ها Using Course Sidebar to move between lectures

• مروری بر دوره های پشتیبانی از ITVersity در Udemy Overview of Support to ITVersity courses on Udemy

• بهترین روش ها برای دریافت پشتیبانی ITVersity با استفاده از Udemy Best Practices to get ITVersity Support using Udemy

• منابع برای Spark SQL و Pyspark 3 با استفاده از Python 3 Resources for Spark SQL and Pyspark 3 using Python 3

• مواد برای Spark SQL و PySpark 3 با استفاده از Python 3 Material for Spark SQL and PySpark 3 using Python 3

• بخشی از انجمن مهندسی داده ITVersity شوید Become Part of ITVersity Data Engineering Community

• امتیاز دهی و بازخورد - Spark SQL و PySpark 3 با استفاده از Python 3 Rate and Leave Feedback - Spark SQL and PySpark 3 using Python 3

• Udemy برای مشتریان تجاری - اطلاعات مهم در مورد آزمایشگاه ها برای تمرین Udemy for Business Customers - Important Information for about labs for practice

معرفی Spark SQL و PySpark 3 با استفاده از Python 3 Introduction about Spark SQL and PySpark 3 using Python 3

• معرفی Spark SQL و PySpark 3 با استفاده از Python 3 Introduction to Spark SQL and PySpark 3 using Python 3

• برنامه درسی Spark SQL و Pyspark 3 با استفاده از Python 3 Curriculum for Spark SQL and Pyspark 3 using Python 3

• خرید Spark SQL و PySpark با استفاده از دوره Python 3 Purchasing the Spark SQL and PySpark using Python 3 Course

• مقدمه ای بر صفحه فرود دوره Udemy Introduction to Udemy Course Landing Page

• نمای کلی دوره Udemy یا پخش کننده ویدیو Overview of Udemy Course or Video Player

• اضافه کردن یادداشت ها به سخنرانی های دوره Adding Notes to Course Lectures

• استفاده از نوار کناری دوره برای حرکت بین سخنرانی ها Using Course Sidebar to move between lectures

• مروری بر دوره های پشتیبانی از ITVersity در Udemy Overview of Support to ITVersity courses on Udemy

• بهترین روش ها برای دریافت پشتیبانی ITVersity با استفاده از Udemy Best Practices to get ITVersity Support using Udemy

• منابع برای Spark SQL و Pyspark 3 با استفاده از Python 3 Resources for Spark SQL and Pyspark 3 using Python 3

• مواد برای Spark SQL و PySpark 3 با استفاده از Python 3 Material for Spark SQL and PySpark 3 using Python 3

• بخشی از انجمن مهندسی داده ITVersity شوید Become Part of ITVersity Data Engineering Community

• امتیاز دهی و بازخورد - Spark SQL و PySpark 3 با استفاده از Python 3 Rate and Leave Feedback - Spark SQL and PySpark 3 using Python 3

• Udemy برای مشتریان تجاری - اطلاعات مهم در مورد آزمایشگاه ها برای تمرین Udemy for Business Customers - Important Information for about labs for practice

استفاده از ITVersity Labs برای تمرین عملی (فقط برای مشتریان ITVersity Lab) Using ITVersity Labs for hands-on practice (for ITVersity Lab Customers only)

• راه اندازی محیط توسعه با استفاده از بسته برنامه افزودنی توسعه از راه دور VS Code Setup Development Environment using VS Code Remote Development Extension Pack

• مجموعه داده‌های ارائه شده به عنوان بخشی از گره‌های دروازه Hadoop و Spark Cluster را مرور کنید Review Data Sets Provided as part of Gateway Nodes of Hadoop and Spark Cluster

• HDFS را روی Multi Node Hadoop و Spark Cluster از Gateway Node تأیید کنید Validate HDFS on Multi Node Hadoop and Spark Cluster from Gateway Node

• Hive را در Hadoop و Spark Multinode Cluster اعتبار سنجی کنید Validate Hive on Hadoop and Spark Multinode Cluster

• فایل‌های ویژگی Hadoop HDFS و YARN را در Hadoop و Spark Cluster مرور کنید Review Hadoop HDFS and YARN Property Files on Hadoop and Spark Cluster

• فایل های Hadoop HDFS و YARN Property را با استفاده از ویرایشگر کد ویژوال استودیو مرور کنید Review Hadoop HDFS and YARN Property Files using Visual Studio Code Editor

• فایل‌های Hive Property را در Multinode Hadoop و Spark Cluster مرور کنید Review Hive Property Files on Multinode Hadoop and Spark Cluster

• فایل های اسپارک 2 و ویژگی های مهم را مرور کنید Review Spark 2 Property Files and Important Properties

• Spark Shell CLI را با استفاده از Spark 2 تأیید کنید Validate Spark Shell CLI using Spark 2

• اعتبار Pyspark CLI را با استفاده از Spark 2 تأیید کنید Validate Pyspark CLI using Spark 2

• Spark SQL CLI را با استفاده از Spark 2 اعتبار سنجی کنید Validate Spark SQL CLI using Spark 2

• فایل های اسپارک 3 و ویژگی های مهم را مرور کنید Review Spark 3 Property Files and Important Properties

• Spark Shell CLI را با استفاده از Spark 3 تأیید کنید Validate Spark Shell CLI using Spark 3

• اعتبار Pyspark CLI را با استفاده از Spark 3 تأیید کنید Validate Pyspark CLI using Spark 3

• Spark SQL CLI را با استفاده از Spark 3 اعتبار سنجی کنید Validate Spark SQL CLI using Spark 3

استفاده از ITVersity Labs برای تمرین عملی (فقط برای مشتریان ITVersity Lab) Using ITVersity Labs for hands-on practice (for ITVersity Lab Customers only)

• راه اندازی محیط توسعه با استفاده از بسته برنامه افزودنی توسعه از راه دور VS Code Setup Development Environment using VS Code Remote Development Extension Pack

• مجموعه داده‌های ارائه شده به عنوان بخشی از گره‌های دروازه Hadoop و Spark Cluster را مرور کنید Review Data Sets Provided as part of Gateway Nodes of Hadoop and Spark Cluster

• HDFS را روی Multi Node Hadoop و Spark Cluster از Gateway Node تأیید کنید Validate HDFS on Multi Node Hadoop and Spark Cluster from Gateway Node

• Hive را در Hadoop و Spark Multinode Cluster اعتبار سنجی کنید Validate Hive on Hadoop and Spark Multinode Cluster

• فایل‌های ویژگی Hadoop HDFS و YARN را در Hadoop و Spark Cluster مرور کنید Review Hadoop HDFS and YARN Property Files on Hadoop and Spark Cluster

• فایل های Hadoop HDFS و YARN Property را با استفاده از ویرایشگر کد ویژوال استودیو مرور کنید Review Hadoop HDFS and YARN Property Files using Visual Studio Code Editor

• فایل‌های Hive Property را در Multinode Hadoop و Spark Cluster مرور کنید Review Hive Property Files on Multinode Hadoop and Spark Cluster

• فایل های اسپارک 2 و ویژگی های مهم را مرور کنید Review Spark 2 Property Files and Important Properties

• Spark Shell CLI را با استفاده از Spark 2 تأیید کنید Validate Spark Shell CLI using Spark 2

• اعتبار Pyspark CLI را با استفاده از Spark 2 تأیید کنید Validate Pyspark CLI using Spark 2

• Spark SQL CLI را با استفاده از Spark 2 اعتبار سنجی کنید Validate Spark SQL CLI using Spark 2

• فایل های اسپارک 3 و ویژگی های مهم را مرور کنید Review Spark 3 Property Files and Important Properties

• Spark Shell CLI را با استفاده از Spark 3 تأیید کنید Validate Spark Shell CLI using Spark 3

• اعتبار Pyspark CLI را با استفاده از Spark 3 تأیید کنید Validate Pyspark CLI using Spark 3

• Spark SQL CLI را با استفاده از Spark 3 اعتبار سنجی کنید Validate Spark SQL CLI using Spark 3

Hadoop و Spark Single Node Cluster را با استفاده از Docker در ویندوز 11 راه اندازی کنید Setup Hadoop and Spark Single Node Cluster on Windows 11 using Docker

• پیش نیازهای Single Node Hadoop و Spark Cluster در ویندوز Prerequisites for Single Node Hadoop and Spark Cluster on Windows

• مروری بر پیکربندی سیستم ویندوز Overview of Windows System Configuration

• راه اندازی اوبونتو در ویندوز 11 با استفاده از wsl Setup Ubuntu on Windows 11 using wsl

• راه اندازی و اعتبارسنجی Ubuntu VM در ویندوز با استفاده از wsl Setup and Validate Ubuntu VM on Windows using wsl

• Docker Desktop را با استفاده از wsl2 روی ویندوز 11 نصب کنید Install Docker Desktop on Windows 11 using wsl2

• نمای کلی Docker Desktop در ویندوز 11 Overview of Docker Desktop on Windows 11

• با استفاده از Windows Powershell و همچنین wsl اوبونتو، دستورات Docker را اعتبارسنجی کنید Validate Docker Commands using Windows Powershell as well as wsl Ubuntu

• راه اندازی Visual Studio Code IDE در ویندوز Setup Visual Studio Code IDE on Windows

• برنامه افزودنی کد ویژوال استودیو را برای توسعه از راه دور نصب کنید Install Visual Studio Code Extension for Remote Development

• با استفاده از کد ویژوال استودیو، مخزن GitHub را برای دوره Pyspark کلون کنید Clone GitHub Repository for Pyspark Course using Visual Studio Code

• راه اندازی ترمینال با استفاده از کد ویژوال استودیو و WSL Launching Terminal using Visual Studio Code and WSL

• فایل Docker Compose را برای راه اندازی Hadoop و Spark Lab مرور کنید Review Docker Compose File to setup Hadoop and Spark Lab

• Hadoop و Spark Lab را همراه با Jupyter Lab در ویندوز 11 راه اندازی کنید Start Hadoop and Spark Lab along with Jupyter Lab on Windows 11

• استفاده از منابع ویندوز برای Hadoop و Spark Lab را مرور کنید Review the resource utilization of Windows for Hadoop and Spark Lab

• Docker Desktop را برای Hadoop و Spark Lab با استفاده از Docker مرور کنید Review Docker Desktop for Hadoop and Spark Lab using Docker

• مروری بر دستورات Docker Compose برای مدیریت Hadoop و Spark Lab Overview of Docker Compose Commands to manage Hadoop and Spark Lab

• تنظیم Hadoop و Spark را با استفاده از Docker در ویندوز تأیید کنید Validate Hadoop and Spark setup using Docker on Windows

Hadoop و Spark Single Node Cluster را با استفاده از Docker در ویندوز 11 راه اندازی کنید Setup Hadoop and Spark Single Node Cluster on Windows 11 using Docker

• پیش نیازهای Single Node Hadoop و Spark Cluster در ویندوز Prerequisites for Single Node Hadoop and Spark Cluster on Windows

• مروری بر پیکربندی سیستم ویندوز Overview of Windows System Configuration

• راه اندازی اوبونتو در ویندوز 11 با استفاده از wsl Setup Ubuntu on Windows 11 using wsl

• راه اندازی و اعتبارسنجی Ubuntu VM در ویندوز با استفاده از wsl Setup and Validate Ubuntu VM on Windows using wsl

• Docker Desktop را با استفاده از wsl2 روی ویندوز 11 نصب کنید Install Docker Desktop on Windows 11 using wsl2

• نمای کلی Docker Desktop در ویندوز 11 Overview of Docker Desktop on Windows 11

• با استفاده از Windows Powershell و همچنین wsl اوبونتو، دستورات Docker را اعتبارسنجی کنید Validate Docker Commands using Windows Powershell as well as wsl Ubuntu

• راه اندازی Visual Studio Code IDE در ویندوز Setup Visual Studio Code IDE on Windows

• برنامه افزودنی کد ویژوال استودیو را برای توسعه از راه دور نصب کنید Install Visual Studio Code Extension for Remote Development

• با استفاده از کد ویژوال استودیو، مخزن GitHub را برای دوره Pyspark کلون کنید Clone GitHub Repository for Pyspark Course using Visual Studio Code

• راه اندازی ترمینال با استفاده از کد ویژوال استودیو و WSL Launching Terminal using Visual Studio Code and WSL

• فایل Docker Compose را برای راه اندازی Hadoop و Spark Lab مرور کنید Review Docker Compose File to setup Hadoop and Spark Lab

• Hadoop و Spark Lab را همراه با Jupyter Lab در ویندوز 11 راه اندازی کنید Start Hadoop and Spark Lab along with Jupyter Lab on Windows 11

• استفاده از منابع ویندوز برای Hadoop و Spark Lab را مرور کنید Review the resource utilization of Windows for Hadoop and Spark Lab

• Docker Desktop را برای Hadoop و Spark Lab با استفاده از Docker مرور کنید Review Docker Desktop for Hadoop and Spark Lab using Docker

• مروری بر دستورات Docker Compose برای مدیریت Hadoop و Spark Lab Overview of Docker Compose Commands to manage Hadoop and Spark Lab

• تنظیم Hadoop و Spark را با استفاده از Docker در ویندوز تأیید کنید Validate Hadoop and Spark setup using Docker on Windows

Hadoop و Spark Single Node Cluster را با استفاده از Docker در AWS Cloud9 راه اندازی کنید Setup Hadoop and Spark Single Node Cluster on AWS Cloud9 using Docker

• شروع کار با AWS Cloud9 Getting Started with AWS Cloud9

• ایجاد محیط AWS Cloud9 Creating AWS Cloud9 Environment

• گرم کردن با AWS Cloud9 IDE Warming up with AWS Cloud9 IDE

• جزئیات سیستم عامل را در AWS Cloud9 مرور کنید Review Operating System Details on AWS Cloud9

• مروری بر نمونه EC2 مربوط به AWS Cloud9 Overview of EC2 Instance related to AWS Cloud9

• باز کردن پورت ها برای نمونه AWS Cloud9 Opening ports for AWS Cloud9 Instance

• مرتبط کردن IP های الاستیک به نمونه AWS Cloud9 Associating Elastic IPs to AWS Cloud9 Instance

• اندازه حجم EBS نمونه AWS Cloud9 را افزایش دهید Increase EBS Volume Size of AWS Cloud9 Instance

• راه اندازی Docker Compose در نمونه AWS Cloud9 Setup Docker Compose on AWS Cloud9 Instance

• مخزن GitHub را در AWS Cloud9 برای مواد دوره کلون کنید Clone GitHub Repository on AWS Cloud9 for the Course Material

• فایل Docker Compose را برای راه اندازی Hadoop و Spark Lab مرور کنید Review Docker Compose File to setup Hadoop and Spark Lab

• Hadoop و Spark Lab را همراه با Jupyter Lab در ویندوز 11 راه اندازی کنید Start Hadoop and Spark Lab along with Jupyter Lab on Windows 11

• مروری بر دستورات Docker Compose برای مدیریت Hadoop و Spark Lab Overview of Docker Compose Commands to manage Hadoop and Spark Lab

• تنظیم Hadoop و Spark را با استفاده از Docker تأیید کنید Validate Hadoop and Spark setup using Docker

Hadoop و Spark Single Node Cluster را با استفاده از Docker در AWS Cloud9 راه اندازی کنید Setup Hadoop and Spark Single Node Cluster on AWS Cloud9 using Docker

• شروع کار با AWS Cloud9 Getting Started with AWS Cloud9

• ایجاد محیط AWS Cloud9 Creating AWS Cloud9 Environment

• گرم کردن با AWS Cloud9 IDE Warming up with AWS Cloud9 IDE

• جزئیات سیستم عامل را در AWS Cloud9 مرور کنید Review Operating System Details on AWS Cloud9

• مروری بر نمونه EC2 مربوط به AWS Cloud9 Overview of EC2 Instance related to AWS Cloud9

• باز کردن پورت ها برای نمونه AWS Cloud9 Opening ports for AWS Cloud9 Instance

• مرتبط کردن IP های الاستیک به نمونه AWS Cloud9 Associating Elastic IPs to AWS Cloud9 Instance

• اندازه حجم EBS نمونه AWS Cloud9 را افزایش دهید Increase EBS Volume Size of AWS Cloud9 Instance

• راه اندازی Docker Compose در نمونه AWS Cloud9 Setup Docker Compose on AWS Cloud9 Instance

• مخزن GitHub را در AWS Cloud9 برای مواد دوره کلون کنید Clone GitHub Repository on AWS Cloud9 for the Course Material

• فایل Docker Compose را برای راه اندازی Hadoop و Spark Lab مرور کنید Review Docker Compose File to setup Hadoop and Spark Lab

• Hadoop و Spark Lab را همراه با Jupyter Lab در ویندوز 11 راه اندازی کنید Start Hadoop and Spark Lab along with Jupyter Lab on Windows 11

• مروری بر دستورات Docker Compose برای مدیریت Hadoop و Spark Lab Overview of Docker Compose Commands to manage Hadoop and Spark Lab

• تنظیم Hadoop و Spark را با استفاده از Docker تأیید کنید Validate Hadoop and Spark setup using Docker

اصول پایتون Python Fundamentals

• معرفی و راه اندازی پایتون Introduction and Setting up Python

• سازه های اصلی برنامه نویسی Basic Programming Constructs

• توابع در پایتون Functions in Python

• مجموعه های پایتون Python Collections

• نقشه کاهش عملیات در مجموعه های پایتون Map Reduce operations on Python Collections

• تنظیم مجموعه داده‌ها برای عملیات ورودی/خروجی اولیه Setting up Data Sets for Basic I/O Operations

• عملیات ورودی/خروجی اولیه و پردازش داده ها با استفاده از مجموعه ها Basic I/O operations and processing data using Collections

اصول پایتون Python Fundamentals

• معرفی و راه اندازی پایتون Introduction and Setting up Python

• سازه های اصلی برنامه نویسی Basic Programming Constructs

• توابع در پایتون Functions in Python

• مجموعه های پایتون Python Collections

• نقشه کاهش عملیات در مجموعه های پایتون Map Reduce operations on Python Collections

• تنظیم مجموعه داده‌ها برای عملیات ورودی/خروجی اولیه Setting up Data Sets for Basic I/O Operations

• عملیات ورودی/خروجی اولیه و پردازش داده ها با استفاده از مجموعه ها Basic I/O operations and processing data using Collections

مروری بر دستورات Hadoop HDFS Overview of Hadoop HDFS Commands

• دریافت کمک یا استفاده Getting help or usage

• لیست کردن فایل های HDFS Listing HDFS Files

• مدیریت دایرکتوری های HDFS Managing HDFS Directories

• کپی کردن فایل ها از محلی به HDFS Copying files from local to HDFS

• کپی فایل ها از HDFS به محلی Copying files from HDFS to local

• دریافت فراداده فایل Getting File Metadata

• پیش نمایش داده ها در فایل HDFS Previewing Data in HDFS File

• اندازه بلوک HDFS HDFS Block Size

• ضریب تکرار HDFS HDFS Replication Factor

• دریافت استفاده از فضای ذخیره سازی HDFS Getting HDFS Storage Usage

• با استفاده از دستورات آماری HDFS Using HDFS Stat Commands

• مجوزهای فایل HDFS HDFS File Permissions

• ویژگی های فراگیر Overriding Properties

مروری بر دستورات Hadoop HDFS Overview of Hadoop HDFS Commands

• دریافت کمک یا استفاده Getting help or usage

• لیست کردن فایل های HDFS Listing HDFS Files

• مدیریت دایرکتوری های HDFS Managing HDFS Directories

• کپی کردن فایل ها از محلی به HDFS Copying files from local to HDFS

• کپی فایل ها از HDFS به محلی Copying files from HDFS to local

• دریافت فراداده فایل Getting File Metadata

• پیش نمایش داده ها در فایل HDFS Previewing Data in HDFS File

• اندازه بلوک HDFS HDFS Block Size

• ضریب تکرار HDFS HDFS Replication Factor

• دریافت استفاده از فضای ذخیره سازی HDFS Getting HDFS Storage Usage

• با استفاده از دستورات آماری HDFS Using HDFS Stat Commands

• مجوزهای فایل HDFS HDFS File Permissions

• ویژگی های فراگیر Overriding Properties

Apache Spark 2.x - پردازش داده ها - شروع به کار Apache Spark 2.x - Data processing - Getting Started

• معرفی Introduction

• بررسی مراحل راه اندازی برای محیط اسپارک Review of Setup Steps for Spark Environment

• با استفاده از آزمایشگاه های ITVersity Using ITVersity labs

• مستندات رسمی آپاچی اسپارک (بسیار مهم) Apache Spark Official Documentation (Very Important)

• بررسی سریع Spark API ها Quick Review of Spark APIs

• ماژول های اسپارک Spark Modules

• Spark Data Structures - RDDs and Data Frames Spark Data Structures - RDDs and Data Frames

• توسعه برنامه ساده Develop Simple Application

• آپاچی اسپارک - چارچوب Apache Spark - Framework

• فریم های داده را از فایل های متنی ایجاد کنید Create Data Frames from Text Files

• فریم های داده را از جداول Hive ایجاد کنید Create Data Frames from Hive Tables

Apache Spark 2.x - پردازش داده ها - شروع به کار Apache Spark 2.x - Data processing - Getting Started

• معرفی Introduction

• بررسی مراحل راه اندازی برای محیط اسپارک Review of Setup Steps for Spark Environment

• با استفاده از آزمایشگاه های ITVersity Using ITVersity labs

• مستندات رسمی آپاچی اسپارک (بسیار مهم) Apache Spark Official Documentation (Very Important)

• بررسی سریع Spark API ها Quick Review of Spark APIs

• ماژول های اسپارک Spark Modules

• Spark Data Structures - RDDs and Data Frames Spark Data Structures - RDDs and Data Frames

• توسعه برنامه ساده Develop Simple Application

• آپاچی اسپارک - چارچوب Apache Spark - Framework

• فریم های داده را از فایل های متنی ایجاد کنید Create Data Frames from Text Files

• فریم های داده را از جداول Hive ایجاد کنید Create Data Frames from Hive Tables

Apache Spark با استفاده از SQL - شروع به کار Apache Spark using SQL - Getting Started

• شروع - مرور کلی Getting Started - Overview

• مروری بر مستندات Spark Overview of Spark Documentation

• راه اندازی و استفاده از Spark SQL CLI Launching and using Spark SQL CLI

• مروری بر ویژگی های Spark SQL Overview of Spark SQL Properties

• اجرای دستورات سیستم عامل با استفاده از Spark SQL Running OS Commands using Spark SQL

• آشنایی با فهرست Spark Metastore Warehouse Understanding Spark Metastore Warehouse Directory

• مدیریت پایگاه های داده Spark Metastore با استفاده از Spark SQL Managing Spark Metastore Databases using Spark SQL

• مدیریت جداول Spark Metastore با استفاده از Spark SQL Managing Spark Metastore Tables using Spark SQL

• فراداده جداول متاستور Spark را با استفاده از Spark SQL Describe Command بازیابی کنید Retrieve Metadata of Spark Metastore Tables using Spark SQL Describe Command

• نقش Spark Metastore یا Hive Metastore Role of Spark Metastore or Hive Metastore

• تمرین - شروع کار با Spark SQL Exercise - Getting Started with Spark SQL

Apache Spark با استفاده از SQL - شروع به کار Apache Spark using SQL - Getting Started

• شروع - مرور کلی Getting Started - Overview

• مروری بر مستندات Spark Overview of Spark Documentation

• راه اندازی و استفاده از Spark SQL CLI Launching and using Spark SQL CLI

• مروری بر ویژگی های Spark SQL Overview of Spark SQL Properties

• اجرای دستورات سیستم عامل با استفاده از Spark SQL Running OS Commands using Spark SQL

• آشنایی با فهرست Spark Metastore Warehouse Understanding Spark Metastore Warehouse Directory

• مدیریت پایگاه های داده Spark Metastore با استفاده از Spark SQL Managing Spark Metastore Databases using Spark SQL

• مدیریت جداول Spark Metastore با استفاده از Spark SQL Managing Spark Metastore Tables using Spark SQL

• فراداده جداول متاستور Spark را با استفاده از Spark SQL Describe Command بازیابی کنید Retrieve Metadata of Spark Metastore Tables using Spark SQL Describe Command

• نقش Spark Metastore یا Hive Metastore Role of Spark Metastore or Hive Metastore

• تمرین - شروع کار با Spark SQL Exercise - Getting Started with Spark SQL

Apache Spark با استفاده از SQL - تبدیل اولیه با استفاده از Spark SQL Apache Spark using SQL - Basic Transformations using Spark SQL

• تبدیل اولیه با استفاده از Spark SQL - مقدمه Basic Transformations using Spark SQL - Introduction

• Spark SQL - بررسی اجمالی Spark SQL - Overview

• بیان مسئله را تعریف کنید Define Problem Statement

• جداول Spark Metastore را برای تبدیل های اولیه با استفاده از Spark SQL آماده کنید Prepare Spark Metastore Tables for Basic Transformations using Spark SQL

• پروجکشن داده با استفاده از Spark SQL Select Clause Projecting Data using Spark SQL Select Clause

• فیلتر کردن داده ها با استفاده از Spark SQL Where Clause Filtering Data using Spark SQL Where Clause

• پیوستن به جداول با استفاده از Spark SQL - Inner Joining Tables using Spark SQL - Inner

• پیوستن به جداول با استفاده از Spark SQL - Outer Joining Tables using Spark SQL - Outer

• جمع آوری داده ها با استفاده از Group By در Spark SQL Aggregating Data using Group By in Spark SQL

• مرتب سازی داده ها با استفاده از Order By در Spark SQL Sorting Data using Order By in Spark SQL

• نتیجه گیری - راه حل نهایی برای بیان مسئله با استفاده از Spark SQL Conclusion - Final Solution for the problem statement using Spark SQL

Apache Spark با استفاده از SQL - تبدیل اولیه با استفاده از Spark SQL Apache Spark using SQL - Basic Transformations using Spark SQL

• تبدیل اولیه با استفاده از Spark SQL - مقدمه Basic Transformations using Spark SQL - Introduction

• Spark SQL - بررسی اجمالی Spark SQL - Overview

• بیان مسئله را تعریف کنید Define Problem Statement

• جداول Spark Metastore را برای تبدیل های اولیه با استفاده از Spark SQL آماده کنید Prepare Spark Metastore Tables for Basic Transformations using Spark SQL

• پروجکشن داده با استفاده از Spark SQL Select Clause Projecting Data using Spark SQL Select Clause

• فیلتر کردن داده ها با استفاده از Spark SQL Where Clause Filtering Data using Spark SQL Where Clause

• پیوستن به جداول با استفاده از Spark SQL - Inner Joining Tables using Spark SQL - Inner

• پیوستن به جداول با استفاده از Spark SQL - Outer Joining Tables using Spark SQL - Outer

• جمع آوری داده ها با استفاده از Group By در Spark SQL Aggregating Data using Group By in Spark SQL

• مرتب سازی داده ها با استفاده از Order By در Spark SQL Sorting Data using Order By in Spark SQL

• نتیجه گیری - راه حل نهایی برای بیان مسئله با استفاده از Spark SQL Conclusion - Final Solution for the problem statement using Spark SQL

Apache Spark با استفاده از SQL - Basic DDL و DML Apache Spark using SQL - Basic DDL and DML

• مقدمه ای بر پایه DDL و DML در Spark SQL Introduction to Basic DDL and DML in Spark SQL

• جداول Spark Metastore را با استفاده از Spark SQL Create Statement ایجاد کنید Create Spark Metastore Tables using Spark SQL Create Statement

• مروری بر انواع داده های استفاده شده در جداول متاستور Spark Overview of Data Types used in Spark Metastore Tables

• افزودن نظرات به جداول Spark Metastore با استفاده از Spark SQL Adding Comments to Spark Metastore Tables using Spark SQL

• بارگیری داده ها از سیستم فایل محلی در جداول با استفاده از بیانیه بارگذاری Spark SQL Loading Data from Local File System Into Tables using Spark SQL Load Statement

• بارگیری داده ها از پوشه های HDFS در جداول با استفاده از بیانیه بارگذاری Spark SQL Loading Data from HDFS Folders Into Tables using Spark SQL Load Statement

• تفاوت بین Load with Append و Overwrite با استفاده از Spark SQL Load Statement Difference between Load with Append and Overwrite using Spark SQL Load Statement

• ایجاد جداول External Spark Metastore با استفاده از Spark SQL Creating External Spark Metastore Tables using Spark SQL

• تفاوت بین جداول Spark Metastore مدیریت شده و خارجی Difference between Managed and External Spark Metastore Tables

• مروری بر فرمت های فایل استفاده شده در جداول متاستور Spark Overview of File Formats used in Spark Metastore Tables

• جداول و پایگاه های داده Spark Metastore را با استفاده از Spark SQL رها کنید Drop Spark Metastore Tables and Databases using Spark SQL

• جداسازی Spark Metastore Truncating Spark Metastore Tables

• تمرین - جداول متاستور اسپارک مدیریت شده Exercise - Managed Spark Metastore Tables

Apache Spark با استفاده از SQL - Basic DDL و DML Apache Spark using SQL - Basic DDL and DML

• مقدمه ای بر پایه DDL و DML در Spark SQL Introduction to Basic DDL and DML in Spark SQL

• جداول Spark Metastore را با استفاده از Spark SQL Create Statement ایجاد کنید Create Spark Metastore Tables using Spark SQL Create Statement

• مروری بر انواع داده های استفاده شده در جداول متاستور Spark Overview of Data Types used in Spark Metastore Tables

• افزودن نظرات به جداول Spark Metastore با استفاده از Spark SQL Adding Comments to Spark Metastore Tables using Spark SQL

• بارگیری داده ها از سیستم فایل محلی در جداول با استفاده از بیانیه بارگذاری Spark SQL Loading Data from Local File System Into Tables using Spark SQL Load Statement

• بارگیری داده ها از پوشه های HDFS در جداول با استفاده از بیانیه بارگذاری Spark SQL Loading Data from HDFS Folders Into Tables using Spark SQL Load Statement

• تفاوت بین Load with Append و Overwrite با استفاده از Spark SQL Load Statement Difference between Load with Append and Overwrite using Spark SQL Load Statement

• ایجاد جداول External Spark Metastore با استفاده از Spark SQL Creating External Spark Metastore Tables using Spark SQL

• تفاوت بین جداول Spark Metastore مدیریت شده و خارجی Difference between Managed and External Spark Metastore Tables

• مروری بر فرمت های فایل استفاده شده در جداول متاستور Spark Overview of File Formats used in Spark Metastore Tables

• جداول و پایگاه های داده Spark Metastore را با استفاده از Spark SQL رها کنید Drop Spark Metastore Tables and Databases using Spark SQL

• جداسازی Spark Metastore Truncating Spark Metastore Tables

• تمرین - جداول متاستور اسپارک مدیریت شده Exercise - Managed Spark Metastore Tables

Apache Spark با استفاده از SQL - DML و پارتیشن بندی Apache Spark using SQL - DML and Partitioning

• مقدمه ای بر DML و پارتیشن بندی با استفاده از Spark SQL در جداول Spark Metastore Introduction to DML and Partitioning using Spark SQL on Spark Metastore Tables

• مقدمه ای بر پارتیشن بندی جداول متاستور Spark با استفاده از Spark SQL Introduction to Partitioning of Spark Metastore Tables using Spark SQL

• ایجاد جداول Spark Metastore با استفاده از قالب فایل پارکت Creating Spark Metastore Tables using Parquet File Format

• تفاوت بین Load و Insert برای دریافت داده ها در Spark Metastore Tables Difference between Load and Insert to get data into Spark Metastore Tables

• درج داده با استفاده از Stage Table با استفاده از Spark SQL Inserting Data using Stage Table leveraging Spark SQL

• ایجاد جداول پارتیشن بندی شده Spark Metastore با استفاده از Spark SQL Creating Spark Metastore Partitioned Tables using Spark SQL

• افزودن پارتیشن به جداول Spark Metastore با استفاده از Spark SQL Adding Partitions to Spark Metastore Tables using Spark SQL

• بارگیری داده ها در جداول پارتیشن بندی شده Spark Metastore با استفاده از Spark SQL Loading Data into Spark Metastore Partitioned Tables using Spark SQL

• درج داده ها در پارتیشن های Spark Metastore با استفاده از عبارت Insert Spark SQL Inserting Data into Spark Metastore Partitions using Spark SQL Insert Statement

• استفاده از حالت پارتیشن پویا هنگام درج در جداول پارتیشن بندی شده Spark Using Dynamic Partition Mode while inserting into Spark Partitioned Tables

• تمرین - جداول پارتیشن بندی شده با استفاده از Spark SQL Exercise - Partitioned Tables using Spark SQL

Apache Spark با استفاده از SQL - DML و پارتیشن بندی Apache Spark using SQL - DML and Partitioning

• مقدمه ای بر DML و پارتیشن بندی با استفاده از Spark SQL در جداول Spark Metastore Introduction to DML and Partitioning using Spark SQL on Spark Metastore Tables

• مقدمه ای بر پارتیشن بندی جداول متاستور Spark با استفاده از Spark SQL Introduction to Partitioning of Spark Metastore Tables using Spark SQL

• ایجاد جداول Spark Metastore با استفاده از قالب فایل پارکت Creating Spark Metastore Tables using Parquet File Format

• تفاوت بین Load و Insert برای دریافت داده ها در Spark Metastore Tables Difference between Load and Insert to get data into Spark Metastore Tables

• درج داده با استفاده از Stage Table با استفاده از Spark SQL Inserting Data using Stage Table leveraging Spark SQL

• ایجاد جداول پارتیشن بندی شده Spark Metastore با استفاده از Spark SQL Creating Spark Metastore Partitioned Tables using Spark SQL

• افزودن پارتیشن به جداول Spark Metastore با استفاده از Spark SQL Adding Partitions to Spark Metastore Tables using Spark SQL

• بارگیری داده ها در جداول پارتیشن بندی شده Spark Metastore با استفاده از Spark SQL Loading Data into Spark Metastore Partitioned Tables using Spark SQL

• درج داده ها در پارتیشن های Spark Metastore با استفاده از عبارت Insert Spark SQL Inserting Data into Spark Metastore Partitions using Spark SQL Insert Statement

• استفاده از حالت پارتیشن پویا هنگام درج در جداول پارتیشن بندی شده Spark Using Dynamic Partition Mode while inserting into Spark Partitioned Tables

• تمرین - جداول پارتیشن بندی شده با استفاده از Spark SQL Exercise - Partitioned Tables using Spark SQL

Apache Spark با استفاده از SQL - توابع از پیش تعریف شده Apache Spark using SQL - Pre-defined Functions

• مقدمه - مروری بر توابع از پیش تعریف شده Spark SQL Introduction - Overview of Spark SQL Pre-defined Functions

• مروری بر توابع از پیش تعریف شده Spark SQL Overview of Spark SQL Pre-defined Functions

• اعتبارسنجی توابع Spark SQL Validating Spark SQL Functions

• دستکاری رشته با استفاده از توابع Spark SQL String Manipulation using Spark SQL Functions

• دستکاری تاریخ با استفاده از توابع Spark SQL Date Manipulation using Spark SQL Functions

• مروری بر توابع عددی در Spark SQL Overview of Numeric Functions in Spark SQL

• تبدیل نوع داده با استفاده از Spark SQL Data Type Conversion using Spark SQL

• مقابله با Nulls با استفاده از Spark SQL Dealing with Nulls using Spark SQL

• استفاده از CASE و WHEN در Spark SQL Queries Using CASE and WHEN in Spark SQL Queries

• مثال پرس و جو - تعداد کلمات با استفاده از Spark SQL Query Example - Word Count using Spark SQL

Apache Spark با استفاده از SQL - توابع از پیش تعریف شده Apache Spark using SQL - Pre-defined Functions

• مقدمه - مروری بر توابع از پیش تعریف شده Spark SQL Introduction - Overview of Spark SQL Pre-defined Functions

• مروری بر توابع از پیش تعریف شده Spark SQL Overview of Spark SQL Pre-defined Functions

• اعتبارسنجی توابع Spark SQL Validating Spark SQL Functions

• دستکاری رشته با استفاده از توابع Spark SQL String Manipulation using Spark SQL Functions

• دستکاری تاریخ با استفاده از توابع Spark SQL Date Manipulation using Spark SQL Functions

• مروری بر توابع عددی در Spark SQL Overview of Numeric Functions in Spark SQL

• تبدیل نوع داده با استفاده از Spark SQL Data Type Conversion using Spark SQL

• مقابله با Nulls با استفاده از Spark SQL Dealing with Nulls using Spark SQL

• استفاده از CASE و WHEN در Spark SQL Queries Using CASE and WHEN in Spark SQL Queries

• مثال پرس و جو - تعداد کلمات با استفاده از Spark SQL Query Example - Word Count using Spark SQL

Apache Spark SQL - توابع پنجره Apache Spark SQL - Windowing Functions

• مقدمه ای بر توابع Windowing در Spark SQL Introduction to Windowing Functions in Spark SQL

• پایگاه داده منابع انسانی را برای توابع پنجره در Spark SQL آماده کنید Prepare HR Database for Windowing Functions in Spark SQL

• مروری بر توابع Windowing با استفاده از Spark SQL Overview of Windowing Functions using Spark SQL

• تجمیع با استفاده از توابع Windowing Spark SQL Aggregations using Spark SQL Windowing Functions

• استفاده از LEAD یا LAG در Spark SQL Windowing Functions Using LEAD or LAG in Spark SQL Windowing Functions

• دریافت اولین و آخرین مقادیر با استفاده از Spark SQL Windowing Functions Getting first and last values using Spark SQL Windowing Functions

• رتبه بندی با استفاده از Spark SQL Windowing Functions - rank، dense_rank و row_number Ranking using Spark SQL Windowing Functions - rank, dense_rank and row_number

• ترتیب اجرای Spark SQL Queries Order of execution of Spark SQL Queries

• مروری بر سوالات فرعی در Spark SQL Overview of Subqueries in Spark SQL

• فیلتر کردن نتایج تابع پنجره با استفاده از Spark SQL Filtering Window Function Results using Spark SQL

Apache Spark SQL - توابع پنجره Apache Spark SQL - Windowing Functions

• مقدمه ای بر توابع Windowing در Spark SQL Introduction to Windowing Functions in Spark SQL

• پایگاه داده منابع انسانی را برای توابع پنجره در Spark SQL آماده کنید Prepare HR Database for Windowing Functions in Spark SQL

• مروری بر توابع Windowing با استفاده از Spark SQL Overview of Windowing Functions using Spark SQL

• تجمیع با استفاده از توابع Windowing Spark SQL Aggregations using Spark SQL Windowing Functions

• استفاده از LEAD یا LAG در Spark SQL Windowing Functions Using LEAD or LAG in Spark SQL Windowing Functions

• دریافت اولین و آخرین مقادیر با استفاده از Spark SQL Windowing Functions Getting first and last values using Spark SQL Windowing Functions

• رتبه بندی با استفاده از Spark SQL Windowing Functions - rank، dense_rank و row_number Ranking using Spark SQL Windowing Functions - rank, dense_rank and row_number

• ترتیب اجرای Spark SQL Queries Order of execution of Spark SQL Queries

• مروری بر سوالات فرعی در Spark SQL Overview of Subqueries in Spark SQL

• فیلتر کردن نتایج تابع پنجره با استفاده از Spark SQL Filtering Window Function Results using Spark SQL

آپاچی اسپارک با استفاده از پایتون - بررسی اجمالی پردازش داده Apache Spark using Python - Data Processing Overview

• شروع Spark Context - pyspark Starting Spark Context - pyspark

• مروری بر Spark Read APIها Overview of Spark Read APIs

• درک اطلاعات خطوط هوایی Understanding airlines data

• استنباط طرحواره با استفاده از APIهای Spark Data Frame Inferring Schema using Spark Data Frame APIs

• پیش نمایش داده های خطوط هوایی با استفاده از Spark Data Frame API Previewing Airlines Data using Spark Data Frame APIs

• مروری بر Data Frame APIها Overview of Data Frame APIs

• بررسی اجمالی توابع در Spark Data Frames Overview of Functions on Spark Data Frames

• مروری بر Spark Write APIs Overview of Spark Write APIs

آپاچی اسپارک با استفاده از پایتون - بررسی اجمالی پردازش داده Apache Spark using Python - Data Processing Overview

• شروع Spark Context - pyspark Starting Spark Context - pyspark

• مروری بر Spark Read APIها Overview of Spark Read APIs

• درک اطلاعات خطوط هوایی Understanding airlines data

• استنباط طرحواره با استفاده از APIهای Spark Data Frame Inferring Schema using Spark Data Frame APIs

• پیش نمایش داده های خطوط هوایی با استفاده از Spark Data Frame API Previewing Airlines Data using Spark Data Frame APIs

• مروری بر Data Frame APIها Overview of Data Frame APIs

• بررسی اجمالی توابع در Spark Data Frames Overview of Functions on Spark Data Frames

• مروری بر Spark Write APIs Overview of Spark Write APIs

Apache Spark با استفاده از پایتون - پردازش داده های ستون Apache Spark using Python - Processing Column Data

• مروری بر توابع از پیش تعریف شده در ستون های Spark Data Frame Overview of Predefined Functions on Spark Data Frame Columns

• برای بررسی توابع در ستون های قاب داده، قاب داده ساختگی ایجاد کنید Create Dummy Data Frame to explore Functions on Data Frame Columns

• دسته بندی توابع از پیش تعریف شده مورد استفاده در ستون های Spark Data Frame Categories of Predefined Functions used on Spark Data Frame Columns

• توابع ویژه برای Spark Data Frame Columns - col و lit Special Functions for Spark Data Frame Columns - col and lit

• توابع متداول دستکاری رشته برای ستون های قاب داده Spark Common String Manipulation Functions for Spark Data Frame Columns

• استخراج رشته ها با استفاده از رشته فرعی از Spark Data Frame Columns Extracting Strings using substring from Spark Data Frame Columns

• استخراج رشته ها با استفاده از تقسیم از Spark Data Frame Columns Extracting Strings using split from Spark Data Frame Columns

• پر کردن کاراکترها در اطراف رشته‌ها در ستون‌های قاب داده Spark Padding Characters around Strings in Spark Data Frame Columns

• برش کاراکترها از رشته ها در ستون های Spark Data Frame Trimming Characters from Strings in Spark Data Frame Columns

• توابع دستکاری تاریخ و زمان برای ستون های Spark Data Frame Date and Time Manipulation Functions for Spark Data Frame Columns

• محاسبه تاریخ و زمان در ستون‌های قاب داده Spark Date and Time Arithmetic on Spark Data Frame Columns

• استفاده از توابع Date and Time Trunc در ستون های Spark Data Frame Using Date and Time Trunc Functions on Spark Data Frame Columns

• توابع استخراج تاریخ و زمان برای ستون های Spark Data Frame Date and Time Extract Functions for Spark Data Frame Columns

• استفاده از to_date و to_timestamp در ستون‌های Spark Data Frame Using to_date and to_timestamp on Spark Data Frame Columns

• استفاده از تابع date_format در ستون های Spark Data Frame Using date_format Function on Spark Data Frame Columns

• برخورد با زمان یونیکس در ستون های Spark Data Frame Dealing with Unix Timestamp in Spark Data Frame Columns

• برخورد با Nulls در ستون های Spark Data Frame Dealing with Nulls in Spark Data Frame Columns

• استفاده از CASE و WHEN در ستون های Spark Data Frame Using CASE and WHEN on Spark Data Frame Columns

Apache Spark با استفاده از پایتون - پردازش داده های ستون Apache Spark using Python - Processing Column Data

• مروری بر توابع از پیش تعریف شده در ستون های Spark Data Frame Overview of Predefined Functions on Spark Data Frame Columns

• برای بررسی توابع در ستون های قاب داده، قاب داده ساختگی ایجاد کنید Create Dummy Data Frame to explore Functions on Data Frame Columns

• دسته بندی توابع از پیش تعریف شده مورد استفاده در ستون های Spark Data Frame Categories of Predefined Functions used on Spark Data Frame Columns

• توابع ویژه برای Spark Data Frame Columns - col و lit Special Functions for Spark Data Frame Columns - col and lit

• توابع متداول دستکاری رشته برای ستون های قاب داده Spark Common String Manipulation Functions for Spark Data Frame Columns

• استخراج رشته ها با استفاده از رشته فرعی از Spark Data Frame Columns Extracting Strings using substring from Spark Data Frame Columns

• استخراج رشته ها با استفاده از تقسیم از Spark Data Frame Columns Extracting Strings using split from Spark Data Frame Columns

• پر کردن کاراکترها در اطراف رشته‌ها در ستون‌های قاب داده Spark Padding Characters around Strings in Spark Data Frame Columns

• برش کاراکترها از رشته ها در ستون های Spark Data Frame Trimming Characters from Strings in Spark Data Frame Columns

• توابع دستکاری تاریخ و زمان برای ستون های Spark Data Frame Date and Time Manipulation Functions for Spark Data Frame Columns

• محاسبه تاریخ و زمان در ستون‌های قاب داده Spark Date and Time Arithmetic on Spark Data Frame Columns

• استفاده از توابع Date and Time Trunc در ستون های Spark Data Frame Using Date and Time Trunc Functions on Spark Data Frame Columns

• توابع استخراج تاریخ و زمان برای ستون های Spark Data Frame Date and Time Extract Functions for Spark Data Frame Columns

• استفاده از to_date و to_timestamp در ستون‌های Spark Data Frame Using to_date and to_timestamp on Spark Data Frame Columns

• استفاده از تابع date_format در ستون های Spark Data Frame Using date_format Function on Spark Data Frame Columns

• برخورد با زمان یونیکس در ستون های Spark Data Frame Dealing with Unix Timestamp in Spark Data Frame Columns

• برخورد با Nulls در ستون های Spark Data Frame Dealing with Nulls in Spark Data Frame Columns

• استفاده از CASE و WHEN در ستون های Spark Data Frame Using CASE and WHEN on Spark Data Frame Columns

Apache Spark با استفاده از Python - Basic Transformations Apache Spark using Python - Basic Transformations

• مروری بر تحولات اساسی در فریم های داده اسپارک Overview of Basic Transformations on Spark Data Frames

• فریم های داده جرقه برای تبدیل های اساسی Spark Data Frames for basic transformations

• فیلتر اولیه داده ها یا ردیف ها با استفاده از Where from Spark Data Frames Basic Filtering of Data or rows using where from Spark Data Frames

• مثال فیلتر کردن با استفاده از تاریخ در Spark Data Frames Filtering Example using dates on Spark Data Frames

• عملگرهای بولی هنگام فیلتر کردن از Spark Data Frames Boolean Operators while filtering from Spark Data Frames

• استفاده از IN Operator یا عملکرد isin هنگام فیلتر کردن از Spark Data Frames Using IN Operator or isin Function while filtering from Spark Data Frames

• استفاده از LIKE Operator یا Like Function هنگام فیلتر کردن Spark Data Frames Using LIKE Operator or like Function while filtering from Spark Data Frames

• استفاده از BETWEEN Operator هنگام فیلتر کردن Spark Data Frames Using BETWEEN Operator while filtering from Spark Data Frames

• مقابله با Nulls هنگام فیلتر کردن از Spark Data Frames Dealing with Nulls while Filtering from Spark Data Frames

• مجموع تجمیع در فریم های داده Spark Total Aggregations on Spark Data Frames

• داده ها را با استفاده از groupBy از Spark Data Frames جمع آوری کنید Aggregate data using groupBy from Spark Data Frames

• جمع آوری داده ها با استفاده از جمع آوری در Spark Data Frames Aggregate data using rollup on Spark Data Frames

• داده ها را با استفاده از مکعب در Spark Data Frames جمع آوری کنید Aggregate data using cube on Spark Data Frames

• مروری بر مرتب سازی Spark Data Frames Overview of Sorting Spark Data Frames

• راه حل - مسئله 1 - جمع آوری کل Solution - Problem 1 - Get Total Aggregations

• راه حل - مسئله 2 - جمع آوری کل بر اساس تاریخ پرواز Solution - Problem 2 - Get Total Aggregations By FlightDate

Apache Spark با استفاده از Python - Basic Transformations Apache Spark using Python - Basic Transformations

• مروری بر تحولات اساسی در فریم های داده اسپارک Overview of Basic Transformations on Spark Data Frames

• فریم های داده جرقه برای تبدیل های اساسی Spark Data Frames for basic transformations

• فیلتر اولیه داده ها یا ردیف ها با استفاده از Where from Spark Data Frames Basic Filtering of Data or rows using where from Spark Data Frames

• مثال فیلتر کردن با استفاده از تاریخ در Spark Data Frames Filtering Example using dates on Spark Data Frames

• عملگرهای بولی هنگام فیلتر کردن از Spark Data Frames Boolean Operators while filtering from Spark Data Frames

• استفاده از IN Operator یا عملکرد isin هنگام فیلتر کردن از Spark Data Frames Using IN Operator or isin Function while filtering from Spark Data Frames

• استفاده از LIKE Operator یا Like Function هنگام فیلتر کردن Spark Data Frames Using LIKE Operator or like Function while filtering from Spark Data Frames

• استفاده از BETWEEN Operator هنگام فیلتر کردن Spark Data Frames Using BETWEEN Operator while filtering from Spark Data Frames

• مقابله با Nulls هنگام فیلتر کردن از Spark Data Frames Dealing with Nulls while Filtering from Spark Data Frames

• مجموع تجمیع در فریم های داده Spark Total Aggregations on Spark Data Frames

• داده ها را با استفاده از groupBy از Spark Data Frames جمع آوری کنید Aggregate data using groupBy from Spark Data Frames

• جمع آوری داده ها با استفاده از جمع آوری در Spark Data Frames Aggregate data using rollup on Spark Data Frames

• داده ها را با استفاده از مکعب در Spark Data Frames جمع آوری کنید Aggregate data using cube on Spark Data Frames

• مروری بر مرتب سازی Spark Data Frames Overview of Sorting Spark Data Frames

• راه حل - مسئله 1 - جمع آوری کل Solution - Problem 1 - Get Total Aggregations

• راه حل - مسئله 2 - جمع آوری کل بر اساس تاریخ پرواز Solution - Problem 2 - Get Total Aggregations By FlightDate

آپاچی اسپارک با استفاده از پایتون - پیوستن به مجموعه داده ها Apache Spark using Python - Joining Data Sets

• مجموعه داده ها را برای پیوستن به Spark Data Frames آماده کنید Prepare Datasets for Joining Spark Data Frames

• تجزیه و تحلیل مجموعه داده ها برای پیوستن به فریم های داده Spark Analyze Datasets for Joining Spark Data Frames

• بیانیه مشکل برای پیوستن به Spark Data Frames Problem Statements for Joining Spark Data Frames

• بررسی اجمالی اتصالات در Spark Data Frames Overview of Joins on Spark Data Frames

• استفاده از اتصالات داخلی در Spark Data Frames Using Inner Joins on Spark Data Frames

• اتصال بیرونی چپ یا راست در Spark Data Frames Left or Right Outer Join on Spark Data Frames

• راه حل - با استفاده از APIهای Spark Data Frame، تعداد پرواز در هر فرودگاه ایالات متحده را دریافت کنید Solution - Get Flight Count Per US Airport using Spark Data Frame APIs

• راه حل - با استفاده از Spark Data Frame APIs، تعداد پرواز در هر ایالت ایالات متحده را دریافت کنید Solution - Get Flight Count Per US State using Spark Data Frame APIs

• راه حل - با استفاده از APIهای Spark Data Frame، فرودگاه های خفته ایالات متحده را دریافت کنید Solution - Get Dormant US Airports using Spark Data Frame APIs

• راه حل - با استفاده از APIهای Spark Data Frame، Origins را بدون داده اصلی دریافت کنید Solution - Get Origins without master data using Spark Data Frame APIs

• راه حل - با استفاده از Spark Data Frame APIs، تعداد پروازها را بدون داده اصلی دریافت کنید Solution - Get Count of Flights without master data using Spark Data Frame APIs

• راه حل - تعداد پروازها را در هر فرودگاه بدون داده اصلی دریافت کنید Solution - Get Count of Flights per Airport without master data

• راه حل - با استفاده از APIهای Spark Data Frame درآمد روزانه دریافت کنید Solution - Get Daily Revenue using Spark Data Frame APIs

• راه حل - با استفاده از Spark Data Frame API درآمد روزانه را تا سالیانه جمع آوری کنید Solution - Get Daily Revenue rolled up till Yearly using Spark Data Frame APIs

آپاچی اسپارک با استفاده از پایتون - پیوستن به مجموعه داده ها Apache Spark using Python - Joining Data Sets

• مجموعه داده ها را برای پیوستن به Spark Data Frames آماده کنید Prepare Datasets for Joining Spark Data Frames

• تجزیه و تحلیل مجموعه داده ها برای پیوستن به فریم های داده Spark Analyze Datasets for Joining Spark Data Frames

• بیانیه مشکل برای پیوستن به Spark Data Frames Problem Statements for Joining Spark Data Frames

• بررسی اجمالی اتصالات در Spark Data Frames Overview of Joins on Spark Data Frames

• استفاده از اتصالات داخلی در Spark Data Frames Using Inner Joins on Spark Data Frames

• اتصال بیرونی چپ یا راست در Spark Data Frames Left or Right Outer Join on Spark Data Frames

• راه حل - با استفاده از APIهای Spark Data Frame، تعداد پرواز در هر فرودگاه ایالات متحده را دریافت کنید Solution - Get Flight Count Per US Airport using Spark Data Frame APIs

• راه حل - با استفاده از Spark Data Frame APIs، تعداد پرواز در هر ایالت ایالات متحده را دریافت کنید Solution - Get Flight Count Per US State using Spark Data Frame APIs

• راه حل - با استفاده از APIهای Spark Data Frame، فرودگاه های خفته ایالات متحده را دریافت کنید Solution - Get Dormant US Airports using Spark Data Frame APIs

• راه حل - با استفاده از APIهای Spark Data Frame، Origins را بدون داده اصلی دریافت کنید Solution - Get Origins without master data using Spark Data Frame APIs

• راه حل - با استفاده از Spark Data Frame APIs، تعداد پروازها را بدون داده اصلی دریافت کنید Solution - Get Count of Flights without master data using Spark Data Frame APIs

• راه حل - تعداد پروازها را در هر فرودگاه بدون داده اصلی دریافت کنید Solution - Get Count of Flights per Airport without master data

• راه حل - با استفاده از APIهای Spark Data Frame درآمد روزانه دریافت کنید Solution - Get Daily Revenue using Spark Data Frame APIs

• راه حل - با استفاده از Spark Data Frame API درآمد روزانه را تا سالیانه جمع آوری کنید Solution - Get Daily Revenue rolled up till Yearly using Spark Data Frame APIs

Apache Spark با استفاده از Python - Spark Metastore Apache Spark using Python - Spark Metastore

• مروری بر APIها برای مقابله با Spark Metastore Overview of APIs to deal with Spark Metastore

• کاوش در کاتالوگ اسپارک Exploring Spark Catalog

• ایجاد جداول Spark Metastore با استفاده از کاتالوگ Creating Spark Metastore Tables using catalog

• استنباط طرحواره هنگام ایجاد جداول Spark Metastore با استفاده از Spark Catalog Inferring Schema while creating Spark Metastore Tables using Spark Catalog

• برای جداول Spark Metastore Schema را با استفاده از StructType تعریف کنید Define Schema for Spark Metastore Tables using StructType

• درج در جداول متاستور Spark موجود با استفاده از APIهای Spark Data Frame Inserting into Existing Spark Metastore Tables using Spark Data Frame APIs

• خواندن و پردازش داده ها از جداول Spark Metastore با استفاده از Data Frame API Read and Process data from Spark Metastore Tables using Data Frame APIs

• جداول پارتیشن بندی شده Spark Metastore را با استفاده از APIهای Data Frame ایجاد کنید Create Spark Metastore Partitioned Tables using Data Frame APIs

• ذخیره به عنوان Spark Metastore Partitioned Table با استفاده از Data Frame API Saving as Spark Metastore Partitioned Table using Data Frame APIs

• ایجاد نماهای موقت در بالای Spark Data Frames Creating Temporary Views on top of Spark Data Frames

• استفاده از Spark SQL در برابر نماهای موقت در Spark Data Frames Using Spark SQL against Temporary Views on Spark Data Frames

Apache Spark با استفاده از Python - Spark Metastore Apache Spark using Python - Spark Metastore

• مروری بر APIها برای مقابله با Spark Metastore Overview of APIs to deal with Spark Metastore

• کاوش در کاتالوگ اسپارک Exploring Spark Catalog

• ایجاد جداول Spark Metastore با استفاده از کاتالوگ Creating Spark Metastore Tables using catalog

• استنباط طرحواره هنگام ایجاد جداول Spark Metastore با استفاده از Spark Catalog Inferring Schema while creating Spark Metastore Tables using Spark Catalog

• برای جداول Spark Metastore Schema را با استفاده از StructType تعریف کنید Define Schema for Spark Metastore Tables using StructType

• درج در جداول متاستور Spark موجود با استفاده از APIهای Spark Data Frame Inserting into Existing Spark Metastore Tables using Spark Data Frame APIs

• خواندن و پردازش داده ها از جداول Spark Metastore با استفاده از Data Frame API Read and Process data from Spark Metastore Tables using Data Frame APIs

• جداول پارتیشن بندی شده Spark Metastore را با استفاده از APIهای Data Frame ایجاد کنید Create Spark Metastore Partitioned Tables using Data Frame APIs

• ذخیره به عنوان Spark Metastore Partitioned Table با استفاده از Data Frame API Saving as Spark Metastore Partitioned Table using Data Frame APIs

• ایجاد نماهای موقت در بالای Spark Data Frames Creating Temporary Views on top of Spark Data Frames

• استفاده از Spark SQL در برابر نماهای موقت در Spark Data Frames Using Spark SQL against Temporary Views on Spark Data Frames

شروع به کار با داده های نیمه ساختار یافته با استفاده از Spark Getting Started with Semi Structured Data using Spark

• مقدمه ای بر شروع به کار با داده های نیمه ساختار یافته با استفاده از Spark Introduction to Getting Started with Semi Structured Data using Spark

• جدول Spark Metastore را با انواع داده های خاص ایجاد کنید Create Spark Metastore Table with Special Data Types

• نمای کلی ARRAY Type در Spark Metastore Table Overview of ARRAY Type in Spark Metastore Table

• نمای کلی MAP و نوع STRUCT در جدول Spark Metastore Overview of MAP and STRUCT Type in Spark Metastore Table

• درج داده ها در Spark Metastore Table با ستون های نوع خاص Insert Data into Spark Metastore Table with Special Type Columns

• Spark Data Frame را با انواع داده های خاص ایجاد کنید Create Spark Data Frame with Special Data Types

• با استفاده از فهرست پایتون، Spark Data Frame را با انواع خاص ایجاد کنید Create Spark Data Frame with Special Types using Python List

• Spark Data Frame با انواع خاص را در Spark Metastore Table قرار دهید Insert Spark Data Frame with Special Types into Spark Metastore Table

• داده‌های موجود در فایل JSON را با انواع داده‌های خاص مرور کنید Review Data in the JSON File with Special Data Types

• تنظیم JSON Data Set برای کاوش Spark API در ستون های نوع داده خاص Setup JSON Data Set to explore Spark APIs on Special Data Type Columns

• داده های JSON را با انواع خاص در Spark Data Frame بخوانید Read JSON Data with Special Types into Spark Data Frame

• با استفاده از explode و explode_outer، فیلدهای آرایه را در Spark Data Frames صاف کنید Flatten Array Fields in Spark Data Frames using explode and explode_outer

• اندازه یا طول ستون‌های نوع آرایه را در Spark Data Frame دریافت کنید Get Size or Length of Array Type Columns in Spark Data Frame

• با استفاده از Spark API مقادیر آرایه را به رشته محدود شده الحاق کنید Concatenate Array Values into Delimited String using Spark APIs

• رشته های محدود شده را از ستون های Spark Data Frame به آرایه ها تبدیل کنید Convert Delimited Strings from Spark Data Frame Columns to Arrays

• مجموعه داده‌ها را برای ساخت آرایه‌ها با استفاده از Spark تنظیم کنید Setup Data Sets to Build Arrays using Spark

• داده های JSON را در Spark Data Frame بخوانید و عملیات جمع را بررسی کنید Read JSON Data into Spark Data Frame and Review Aggregate Operations

• آرایه ها را از ردیف های مسطح Spark Data Frame بسازید Build Arrays from Flattened Rows of Spark Data Frame

• شروع کار با Spark Data Frames با ستون های ساختاری Getting Started with Spark Data Frames with Struct Columns

• مقادیر ستون ساختاری را در Spark Data Frame به هم متصل کنید Concatenate Struct Column Values in Spark Data Frame

• فیلتر کردن داده ها بر روی ویژگی های ستون ساختاری در Spark Data Frame Filter Data on Struct Column Attributes in Spark Data Frame

• Spark Data Frame را با استفاده از Map Type Column ایجاد کنید Create Spark Data Frame using Map Type Column

• مقادیر نقشه پروژه به عنوان ستون با استفاده از Spark Data Frame API Project Map Values as Columns using Spark Data Frame APIs

• نتیجه گیری شروع با داده های نیمه ساختاریافته با استفاده از Spark Conclusion of Getting Started with Semi Structured Data using Spark

شروع به کار با داده های نیمه ساختار یافته با استفاده از Spark Getting Started with Semi Structured Data using Spark

• مقدمه ای بر شروع به کار با داده های نیمه ساختار یافته با استفاده از Spark Introduction to Getting Started with Semi Structured Data using Spark

• جدول Spark Metastore را با انواع داده های خاص ایجاد کنید Create Spark Metastore Table with Special Data Types

• نمای کلی ARRAY Type در Spark Metastore Table Overview of ARRAY Type in Spark Metastore Table

• نمای کلی MAP و نوع STRUCT در جدول Spark Metastore Overview of MAP and STRUCT Type in Spark Metastore Table

• درج داده ها در Spark Metastore Table با ستون های نوع خاص Insert Data into Spark Metastore Table with Special Type Columns

• Spark Data Frame را با انواع داده های خاص ایجاد کنید Create Spark Data Frame with Special Data Types

• با استفاده از فهرست پایتون، Spark Data Frame را با انواع خاص ایجاد کنید Create Spark Data Frame with Special Types using Python List

• Spark Data Frame با انواع خاص را در Spark Metastore Table قرار دهید Insert Spark Data Frame with Special Types into Spark Metastore Table

• داده‌های موجود در فایل JSON را با انواع داده‌های خاص مرور کنید Review Data in the JSON File with Special Data Types

• تنظیم JSON Data Set برای کاوش Spark API در ستون های نوع داده خاص Setup JSON Data Set to explore Spark APIs on Special Data Type Columns

• داده های JSON را با انواع خاص در Spark Data Frame بخوانید Read JSON Data with Special Types into Spark Data Frame

• با استفاده از explode و explode_outer، فیلدهای آرایه را در Spark Data Frames صاف کنید Flatten Array Fields in Spark Data Frames using explode and explode_outer

• اندازه یا طول ستون‌های نوع آرایه را در Spark Data Frame دریافت کنید Get Size or Length of Array Type Columns in Spark Data Frame

• با استفاده از Spark API مقادیر آرایه را به رشته محدود شده الحاق کنید Concatenate Array Values into Delimited String using Spark APIs

• رشته های محدود شده را از ستون های Spark Data Frame به آرایه ها تبدیل کنید Convert Delimited Strings from Spark Data Frame Columns to Arrays

• مجموعه داده‌ها را برای ساخت آرایه‌ها با استفاده از Spark تنظیم کنید Setup Data Sets to Build Arrays using Spark

• داده های JSON را در Spark Data Frame بخوانید و عملیات جمع را بررسی کنید Read JSON Data into Spark Data Frame and Review Aggregate Operations

• آرایه ها را از ردیف های مسطح Spark Data Frame بسازید Build Arrays from Flattened Rows of Spark Data Frame

• شروع کار با Spark Data Frames با ستون های ساختاری Getting Started with Spark Data Frames with Struct Columns

• مقادیر ستون ساختاری را در Spark Data Frame به هم متصل کنید Concatenate Struct Column Values in Spark Data Frame

• فیلتر کردن داده ها بر روی ویژگی های ستون ساختاری در Spark Data Frame Filter Data on Struct Column Attributes in Spark Data Frame

• Spark Data Frame را با استفاده از Map Type Column ایجاد کنید Create Spark Data Frame using Map Type Column

• مقادیر نقشه پروژه به عنوان ستون با استفاده از Spark Data Frame API Project Map Values as Columns using Spark Data Frame APIs

• نتیجه گیری شروع با داده های نیمه ساختاریافته با استفاده از Spark Conclusion of Getting Started with Semi Structured Data using Spark

پردازش داده های نیمه ساختار یافته با استفاده از Spark Data Frame API Process Semi Structured Data using Spark Data Frame APIs

• مقدمه ای بر پردازش داده های نیمه ساختار یافته با استفاده از Spark Data Frame API Introduction to Process Semi Structured Data using Spark Data Frame APIs

• برای تولید داده‌های JSON غیرعادی‌شده با استفاده از Spark، مجموعه‌های داده را مرور کنید Review the Data Sets to generate denormalized JSON Data using Spark

• با استفاده از دستور HDFS مجموعه داده های JSON را در HDFS تنظیم کنید Setup JSON Data Sets in HDFS using HDFS Command

• Spark Data Frame را با استفاده از Data Frame API ایجاد کنید Create Spark Data Frames using Data Frame APIs

• با استفاده از APIهای Spark Data Frame به سفارش‌ها و سفارش‌ها بپیوندید Join Orders and Order Items using Spark Data Frame APIs

• با استفاده از Spark، فیلد ساختاری را برای جزئیات سفارش ایجاد کنید Generate Struct Field for Order Details using Spark

• آرایه ای از فیلد ساختاری برای جزئیات سفارش با استفاده از Spark ایجاد کنید Generate Array of Struct Field for Order Details using Spark

• به مجموعه داده ها بپیوندید تا داده های JSON غیرعادی شده را با استفاده از Spark تولید کنید Join Data Sets to generate denormalized JSON Data using Spark

• با استفاده از Spark Data Frame APIهای Join Results را غیرعادی کنید Denormalize Join Results using Spark Data Frame APIs

• با استفاده از Spark، جزئیات غیرعادی شده مشتری را در فایل‌های JSON بنویسید Write Denormalized Customer Details to JSON Files using Spark

• فایل های JSON را برای برنامه های پایین دستی منتشر کنید Publish JSON Files for downstream applications

• داده های غیرعادی شده را در Spark Data Frame بخوانید Read Denormalized Data into Spark Data Frame

• قاب داده غیرعادی شده را با استفاده از Spark API فیلتر کنید Filter Denormalized Data Frame using Spark APIs

• با استفاده از Spark، جمع‌بندی‌ها را روی قاب داده غیرعادی‌شده انجام دهید Perform Aggregations on Denormalized Data Frame using Spark

• داده های نیمه ساختاریافته یا داده های غیرعادی شده را با استفاده از Spark صاف کنید Flatten Semi Structured Data or Denormalized Data using Spark

• درآمد ماهانه مشتری را با استفاده از Spark روی داده های غیرعادی محاسبه کنید Compute Monthly Customer Revenue using Spark on Denormalized Data

• نتیجه گیری از پردازش داده های نیمه ساختار یافته با استفاده از Spark Data Frame APIs Conclusion of Processing Semi Structured Data using Spark Data Frame APIs

پردازش داده های نیمه ساختار یافته با استفاده از Spark Data Frame API Process Semi Structured Data using Spark Data Frame APIs

• مقدمه ای بر پردازش داده های نیمه ساختار یافته با استفاده از Spark Data Frame API Introduction to Process Semi Structured Data using Spark Data Frame APIs

• برای تولید داده‌های JSON غیرعادی‌شده با استفاده از Spark، مجموعه‌های داده را مرور کنید Review the Data Sets to generate denormalized JSON Data using Spark

• با استفاده از دستور HDFS مجموعه داده های JSON را در HDFS تنظیم کنید Setup JSON Data Sets in HDFS using HDFS Command

• Spark Data Frame را با استفاده از Data Frame API ایجاد کنید Create Spark Data Frames using Data Frame APIs

• با استفاده از APIهای Spark Data Frame به سفارش‌ها و سفارش‌ها بپیوندید Join Orders and Order Items using Spark Data Frame APIs

• با استفاده از Spark، فیلد ساختاری را برای جزئیات سفارش ایجاد کنید Generate Struct Field for Order Details using Spark

• آرایه ای از فیلد ساختاری برای جزئیات سفارش با استفاده از Spark ایجاد کنید Generate Array of Struct Field for Order Details using Spark

• به مجموعه داده ها بپیوندید تا داده های JSON غیرعادی شده را با استفاده از Spark تولید کنید Join Data Sets to generate denormalized JSON Data using Spark

• با استفاده از Spark Data Frame APIهای Join Results را غیرعادی کنید Denormalize Join Results using Spark Data Frame APIs

• با استفاده از Spark، جزئیات غیرعادی شده مشتری را در فایل‌های JSON بنویسید Write Denormalized Customer Details to JSON Files using Spark

• فایل های JSON را برای برنامه های پایین دستی منتشر کنید Publish JSON Files for downstream applications

• داده های غیرعادی شده را در Spark Data Frame بخوانید Read Denormalized Data into Spark Data Frame

• قاب داده غیرعادی شده را با استفاده از Spark API فیلتر کنید Filter Denormalized Data Frame using Spark APIs

• با استفاده از Spark، جمع‌بندی‌ها را روی قاب داده غیرعادی‌شده انجام دهید Perform Aggregations on Denormalized Data Frame using Spark

• داده های نیمه ساختاریافته یا داده های غیرعادی شده را با استفاده از Spark صاف کنید Flatten Semi Structured Data or Denormalized Data using Spark

• درآمد ماهانه مشتری را با استفاده از Spark روی داده های غیرعادی محاسبه کنید Compute Monthly Customer Revenue using Spark on Denormalized Data

• نتیجه گیری از پردازش داده های نیمه ساختار یافته با استفاده از Spark Data Frame APIs Conclusion of Processing Semi Structured Data using Spark Data Frame APIs

Apache Spark - چرخه عمر توسعه برنامه Apache Spark - Application Development Life Cycle

• محیط مجازی را راه اندازی کرده و Pyspark را نصب کنید Setup Virtual Environment and Install Pyspark

• شروع کار با Pycharm Getting Started with Pycharm

• گذراندن آرگومان های زمان اجرا Passing Run Time Arguments

• دسترسی به متغیرهای محیط سیستم عامل Accessing OS Environment Variables

• شروع کار با Spark Getting Started with Spark

• ایجاد تابع برای Spark Session Create Function for Spark Session

• داده های نمونه را تنظیم کنید Setup Sample Data

• خواندن داده ها از فایل ها Read data from files

• پردازش داده ها با استفاده از Spark API Process data using Spark APIs

• نوشتن داده ها در فایل ها Write data to files

• اعتبار سنجی نوشتن داده ها در فایل ها Validating Writing Data to Files

• تولید کد Productionizing the Code

• تنظیم داده ها برای اعتبار سنجی تولید Setting up Data for Production Validation

• اجرای برنامه با استفاده از YARN Running the application using YARN

• اعتبار سنجی دقیق برنامه Detailed Validation of the Application

Apache Spark - چرخه عمر توسعه برنامه Apache Spark - Application Development Life Cycle

• محیط مجازی را راه اندازی کرده و Pyspark را نصب کنید Setup Virtual Environment and Install Pyspark

• شروع کار با Pycharm Getting Started with Pycharm

• گذراندن آرگومان های زمان اجرا Passing Run Time Arguments

• دسترسی به متغیرهای محیط سیستم عامل Accessing OS Environment Variables

• شروع کار با Spark Getting Started with Spark

• ایجاد تابع برای Spark Session Create Function for Spark Session

• داده های نمونه را تنظیم کنید Setup Sample Data

• خواندن داده ها از فایل ها Read data from files

• پردازش داده ها با استفاده از Spark API Process data using Spark APIs

• نوشتن داده ها در فایل ها Write data to files

• اعتبار سنجی نوشتن داده ها در فایل ها Validating Writing Data to Files

• تولید کد Productionizing the Code

• تنظیم داده ها برای اعتبار سنجی تولید Setting up Data for Production Validation

• اجرای برنامه با استفاده از YARN Running the application using YARN

• اعتبار سنجی دقیق برنامه Detailed Validation of the Application

چرخه حیات اجرای برنامه Spark و رابط کاربری Spark Spark Application Execution Life Cycle and Spark UI

• استقرار و نظارت بر برنامه های کاربردی Spark - مقدمه Deploying and Monitoring Spark Applications - Introduction

• مروری بر انواع مدیران خوشه اسپارک Overview of Types of Spark Cluster Managers

• راه اندازی خوشه EMR با Hadoop و Spark Setup EMR Cluster with Hadoop and Spark

• ظرفیت کلی Big Data Cluster با Hadoop و Spark Overall Capacity of Big Data Cluster with Hadoop and Spark

• درک ظرفیت نخ یک خوشه سازمانی Understanding YARN Capacity of an Enterprise Cluster

• بررسی اجمالی Hadoop HDFS و راه اندازی YARN در خوشه چند گره Overview of Hadoop HDFS and YARN Setup on Multi-node Cluster

• نمای کلی Spark Setup در بالای Hadoop Overview of Spark Setup on top of Hadoop

• تنظیم مجموعه داده برای برنامه شمارش کلمات Setup Data Set for Word Count application

• توسعه برنامه شمارش کلمات Develop Word Count Application

• بررسی روند استقرار برنامه Spark Review Deployment Process of Spark Application

• مروری بر Spark Submit Command Overview of Spark Submit Command

• برای اجرای Spark Applications یا اجرای Pyspark CLI بین نسخه های پایتون جابجا شوید Switch between Python Versions to run Spark Applications or launch Pyspark CLI

• برای اجرای Spark Applications یا اجرای Pyspark CLI بین نسخه های Pyspark جابه جا شوید Switch between Pyspark Versions to run Spark Applications or launch Pyspark CLI

• ویژگی های پیکربندی Spark را در زمان اجرا مرور کنید Review Spark Configuration Properties at Run Time

• Shell Script را برای اجرای Spark Application توسعه دهید Develop Shell Script to run Spark Application

• Spark Application را اجرا کنید و مجریان پیش فرض را بررسی کنید Run Spark Application and review default executors

• نمای کلی از Spark History Server UI Overview of Spark History Server UI

چرخه حیات اجرای برنامه Spark و رابط کاربری Spark Spark Application Execution Life Cycle and Spark UI

• استقرار و نظارت بر برنامه های کاربردی Spark - مقدمه Deploying and Monitoring Spark Applications - Introduction

• مروری بر انواع مدیران خوشه اسپارک Overview of Types of Spark Cluster Managers

• راه اندازی خوشه EMR با Hadoop و Spark Setup EMR Cluster with Hadoop and Spark

• ظرفیت کلی Big Data Cluster با Hadoop و Spark Overall Capacity of Big Data Cluster with Hadoop and Spark

• درک ظرفیت نخ یک خوشه سازمانی Understanding YARN Capacity of an Enterprise Cluster

• بررسی اجمالی Hadoop HDFS و راه اندازی YARN در خوشه چند گره Overview of Hadoop HDFS and YARN Setup on Multi-node Cluster

• نمای کلی Spark Setup در بالای Hadoop Overview of Spark Setup on top of Hadoop

• تنظیم مجموعه داده برای برنامه شمارش کلمات Setup Data Set for Word Count application

• توسعه برنامه شمارش کلمات Develop Word Count Application

• بررسی روند استقرار برنامه Spark Review Deployment Process of Spark Application

• مروری بر Spark Submit Command Overview of Spark Submit Command

• برای اجرای Spark Applications یا اجرای Pyspark CLI بین نسخه های پایتون جابجا شوید Switch between Python Versions to run Spark Applications or launch Pyspark CLI

• برای اجرای Spark Applications یا اجرای Pyspark CLI بین نسخه های Pyspark جابه جا شوید Switch between Pyspark Versions to run Spark Applications or launch Pyspark CLI

• ویژگی های پیکربندی Spark را در زمان اجرا مرور کنید Review Spark Configuration Properties at Run Time

• Shell Script را برای اجرای Spark Application توسعه دهید Develop Shell Script to run Spark Application

• Spark Application را اجرا کنید و مجریان پیش فرض را بررسی کنید Run Spark Application and review default executors

• نمای کلی از Spark History Server UI Overview of Spark History Server UI

برای دسترسی به گزارش‌های Spark Application، پروکسی SSH را راه‌اندازی کنید Setup SSH Proxy to access Spark Application logs

• راه اندازی پروکسی SSH برای دسترسی به گزارش های Spark Application - مقدمه Setup SSH Proxy to access Spark Application logs - Introduction

• مروری بر ip های خصوصی و عمومی سرورها در خوشه Overview of Private and Public ips of servers in the cluster

• نمای کلی پروکسی SSH Overview of SSH Proxy

• sshuttle را در مک یا لینوکس راه اندازی کنید Setup sshuttle on Mac or Linux

• پروکسی با استفاده از sshuttle در مک یا لینوکس Proxy using sshuttle on Mac or Linux

• دسترسی به گزارش‌های Spark Application از طریق SSH Proxy با استفاده از sshuttle در مک یا لینوکس Accessing Spark Application logs via SSH Proxy using sshuttle on Mac or Linux

• عوارض جانبی استفاده از پروکسی SSH برای دسترسی به گزارش های برنامه کاربردی Spark Side effects of using SSH Proxy to access Spark Application Logs

• مراحل راه اندازی SSH Proxy در ویندوز برای دسترسی به Spark Application Logs Steps to setup SSH Proxy on Windows to access Spark Application Logs

• PuTTY و PuTTYgen را در ویندوز راه اندازی کنید Setup PuTTY and PuTTYgen on Windows

• گشت و گذار سریع PuTTY در ویندوز Quick Tour of PuTTY on Windows

• پیکربندی ورود بدون رمز عبور با استفاده از کلیدهای PuTTYGen در ویندوز Configure Passwordless Login using PuTTYGen Keys on Windows

• با استفاده از PuTTY، برنامه Spark را روی Gateway Node اجرا کنید Run Spark Application on Gateway Node using PuTTY

• پیکربندی Tunnel to Gateway Node با استفاده از PuTTY در ویندوز برای SSH Proxy Configure Tunnel to Gateway Node using PuTTY on Windows for SSH Proxy

• پروکسی را در ویندوز راه اندازی کنید و با استفاده از مرورگر مایکروسافت اج اعتبار سنجی کنید Setup Proxy on Windows and validate using Microsoft Edge browser

• درک ترافیک شبکه پروکسی برای غلبه بر هشدارهای ویندوز Understanding Proxying Network Traffic overcoming Windows Caveats

• فایل Hosts را برای گره های کارگر با استفاده از IP های خصوصی به روز کنید Update Hosts file for worker nodes using private ips

• با استفاده از SSH Proxy به گزارش‌های Spark Application دسترسی پیدا کنید Access Spark Application logs using SSH Proxy

• مروری بر انجام وظایف مربوط به Spark Applications با استفاده از Mac Overview of performing tasks related to Spark Applications using Mac

برای دسترسی به گزارش‌های Spark Application، پروکسی SSH را راه‌اندازی کنید Setup SSH Proxy to access Spark Application logs

• راه اندازی پروکسی SSH برای دسترسی به گزارش های Spark Application - مقدمه Setup SSH Proxy to access Spark Application logs - Introduction

• مروری بر ip های خصوصی و عمومی سرورها در خوشه Overview of Private and Public ips of servers in the cluster

• نمای کلی پروکسی SSH Overview of SSH Proxy

• sshuttle را در مک یا لینوکس راه اندازی کنید Setup sshuttle on Mac or Linux

• پروکسی با استفاده از sshuttle در مک یا لینوکس Proxy using sshuttle on Mac or Linux

• دسترسی به گزارش‌های Spark Application از طریق SSH Proxy با استفاده از sshuttle در مک یا لینوکس Accessing Spark Application logs via SSH Proxy using sshuttle on Mac or Linux

• عوارض جانبی استفاده از پروکسی SSH برای دسترسی به گزارش های برنامه کاربردی Spark Side effects of using SSH Proxy to access Spark Application Logs

• مراحل راه اندازی SSH Proxy در ویندوز برای دسترسی به Spark Application Logs Steps to setup SSH Proxy on Windows to access Spark Application Logs

• PuTTY و PuTTYgen را در ویندوز راه اندازی کنید Setup PuTTY and PuTTYgen on Windows

• گشت و گذار سریع PuTTY در ویندوز Quick Tour of PuTTY on Windows

• پیکربندی ورود بدون رمز عبور با استفاده از کلیدهای PuTTYGen در ویندوز Configure Passwordless Login using PuTTYGen Keys on Windows

• با استفاده از PuTTY، برنامه Spark را روی Gateway Node اجرا کنید Run Spark Application on Gateway Node using PuTTY

• پیکربندی Tunnel to Gateway Node با استفاده از PuTTY در ویندوز برای SSH Proxy Configure Tunnel to Gateway Node using PuTTY on Windows for SSH Proxy

• پروکسی را در ویندوز راه اندازی کنید و با استفاده از مرورگر مایکروسافت اج اعتبار سنجی کنید Setup Proxy on Windows and validate using Microsoft Edge browser

• درک ترافیک شبکه پروکسی برای غلبه بر هشدارهای ویندوز Understanding Proxying Network Traffic overcoming Windows Caveats

• فایل Hosts را برای گره های کارگر با استفاده از IP های خصوصی به روز کنید Update Hosts file for worker nodes using private ips

• با استفاده از SSH Proxy به گزارش‌های Spark Application دسترسی پیدا کنید Access Spark Application logs using SSH Proxy

• مروری بر انجام وظایف مربوط به Spark Applications با استفاده از Mac Overview of performing tasks related to Spark Applications using Mac

حالت های استقرار برنامه های Spark Deployment Modes of Spark Applications

• حالت های استقرار برنامه های Spark - مقدمه Deployment Modes of Spark Applications - Introduction

• نوع اصلی اجرای پیش فرض برای برنامه های Spark Default Execution Master Type for Spark Applications

• Pyspark را با استفاده از حالت محلی اجرا کنید Launch Pyspark using local mode

• اجرای برنامه های Spark با استفاده از حالت محلی Running Spark Applications using Local Mode

• مروری بر دستورات Spark CLI مانند Pyspark Overview of Spark CLI Commands such as Pyspark

• دسترسی به فایل های محلی با استفاده از Spark CLI یا Spark Applications Accessing Local Files using Spark CLI or Spark Applications

• نمای کلی ارسال برنامه spark با استفاده از حالت استقرار مشتری Overview of submitting spark application using client deployment mode

• نمای کلی ارسال برنامه spark با استفاده از حالت استقرار خوشه Overview of submitting spark application using cluster deployment mode

• هنگام ارسال برنامه های Spark، گزارش پیش فرض را مرور کنید Review the default logging while submitting Spark Applications

• تغییر سطح Log برنامه Spark با استفاده از ویژگی های سفارشی log4j Changing Spark Application Log Level using custom log4j properties

• برنامه Spark را با استفاده از حالت مشتری با اطلاعات سطح گزارش ارسال کنید Submit Spark Application using client mode with log level info

• برنامه Spark را با استفاده از حالت خوشه با اطلاعات سطح گزارش ارسال کنید Submit Spark Application using cluster mode with log level info

• برنامه های Spark را با استفاده از SPARK_CONF_DIR با فایل های ویژگی های سفارشی ارسال کنید Submit Spark Applications using SPARK_CONF_DIR with custom properties files

• برنامه های Spark را با استفاده از فایل Properties ارسال کنید Submit Spark Applications using Properties File

حالت های استقرار برنامه های Spark Deployment Modes of Spark Applications

• حالت های استقرار برنامه های Spark - مقدمه Deployment Modes of Spark Applications - Introduction

• نوع اصلی اجرای پیش فرض برای برنامه های Spark Default Execution Master Type for Spark Applications

• Pyspark را با استفاده از حالت محلی اجرا کنید Launch Pyspark using local mode

• اجرای برنامه های Spark با استفاده از حالت محلی Running Spark Applications using Local Mode

• مروری بر دستورات Spark CLI مانند Pyspark Overview of Spark CLI Commands such as Pyspark

• دسترسی به فایل های محلی با استفاده از Spark CLI یا Spark Applications Accessing Local Files using Spark CLI or Spark Applications

• نمای کلی ارسال برنامه spark با استفاده از حالت استقرار مشتری Overview of submitting spark application using client deployment mode

• نمای کلی ارسال برنامه spark با استفاده از حالت استقرار خوشه Overview of submitting spark application using cluster deployment mode

• هنگام ارسال برنامه های Spark، گزارش پیش فرض را مرور کنید Review the default logging while submitting Spark Applications

• تغییر سطح Log برنامه Spark با استفاده از ویژگی های سفارشی log4j Changing Spark Application Log Level using custom log4j properties

• برنامه Spark را با استفاده از حالت مشتری با اطلاعات سطح گزارش ارسال کنید Submit Spark Application using client mode with log level info

• برنامه Spark را با استفاده از حالت خوشه با اطلاعات سطح گزارش ارسال کنید Submit Spark Application using cluster mode with log level info

• برنامه های Spark را با استفاده از SPARK_CONF_DIR با فایل های ویژگی های سفارشی ارسال کنید Submit Spark Applications using SPARK_CONF_DIR with custom properties files

• برنامه های Spark را با استفاده از فایل Properties ارسال کنید Submit Spark Applications using Properties File

ارسال فایل های ویژگی های برنامه و وابستگی های خارجی Passing Application Properties Files and External Dependencies

• ارسال فایل های ویژگی های برنامه و وابستگی های خارجی - مقدمه Passing Application Properties Files and External Dependencies - Introduction

• مراحل انتقال ویژگی های برنامه با استفاده از JSON Steps to pass application properties using JSON

• راه اندازی دایرکتوری کاری برای انتقال ویژگی های برنامه با استفاده از JSON Setup Working Directory to pass application properties using JSON

• JSON را با ویژگی های برنامه بسازید Build the JSON with Application Properties

• API ها را برای پردازش داده های JSON با استفاده از Pyspark کاوش کنید Explore APIs to process JSON Data using Pyspark

• برای استفاده از ویژگی های JSON، کد برنامه Spark را تغییر دهید Refactor the Spark Application Code to use properties from JSON

• با استفاده از فایل‌های محلی در حالت کلاینت، ویژگی‌های برنامه را به برنامه Spark منتقل کنید Pass Application Properties to Spark Application using local files in client mod

• با استفاده از فایل‌های محلی در cluster mo، ویژگی‌های برنامه را به Spark Application منتقل کنید Pass Application Properties to Spark Application using local files in cluster mo

• با استفاده از فایل های HDFS، ویژگی های برنامه را به برنامه Spark منتقل کنید Pass Application Properties to Spark Application using HDFS files

• مراحل ارسال کتابخانه های خارجی پایتون با استفاده از pyfiles Steps to pass external Python Libraries using pyfiles

• فایل YAML مورد نیاز را برای خارجی‌سازی ویژگی‌های برنامه ایجاد کنید Create required YAML File to externalize application properties

• PyYAML را در پوشه خاصی نصب کنید و zip بسازید Install PyYAML into specific folder and build zip

• API ها را برای پردازش داده های YAML با استفاده از Pyspark کاوش کنید Explore APIs to process YAML Data using Pyspark

• برای استفاده از ویژگی های YAML، کد برنامه Spark را دوباره فاکتور کنید Refactor the Spark Application Code to use properties from YAML

• با استفاده از فایل‌های محلی در حالت کلاینت، وابستگی‌های خارجی را به برنامه Spark منتقل کنید Pass External Dependencies to Spark Application using local files in client mode

• با استفاده از فایل‌های محلی در حالت خوشه، وابستگی‌های خارجی را به Spark Apps منتقل کنید Pass External Dependencies to Spark Apps using local files in cluster mode

• با استفاده از فایل های HDFS، وابستگی های خارجی را به برنامه Spark منتقل کنید Pass External Dependencies to Spark Application using HDFS files

ارسال فایل های ویژگی های برنامه و وابستگی های خارجی Passing Application Properties Files and External Dependencies

• ارسال فایل های ویژگی های برنامه و وابستگی های خارجی - مقدمه Passing Application Properties Files and External Dependencies - Introduction

• مراحل انتقال ویژگی های برنامه با استفاده از JSON Steps to pass application properties using JSON

• راه اندازی دایرکتوری کاری برای انتقال ویژگی های برنامه با استفاده از JSON Setup Working Directory to pass application properties using JSON

• JSON را با ویژگی های برنامه بسازید Build the JSON with Application Properties

• API ها را برای پردازش داده های JSON با استفاده از Pyspark کاوش کنید Explore APIs to process JSON Data using Pyspark

• برای استفاده از ویژگی های JSON، کد برنامه Spark را تغییر دهید Refactor the Spark Application Code to use properties from JSON

• با استفاده از فایل‌های محلی در حالت کلاینت، ویژگی‌های برنامه را به برنامه Spark منتقل کنید Pass Application Properties to Spark Application using local files in client mod

• با استفاده از فایل‌های محلی در cluster mo، ویژگی‌های برنامه را به Spark Application منتقل کنید Pass Application Properties to Spark Application using local files in cluster mo

• با استفاده از فایل های HDFS، ویژگی های برنامه را به برنامه Spark منتقل کنید Pass Application Properties to Spark Application using HDFS files

• مراحل ارسال کتابخانه های خارجی پایتون با استفاده از pyfiles Steps to pass external Python Libraries using pyfiles

• فایل YAML مورد نیاز را برای خارجی‌سازی ویژگی‌های برنامه ایجاد کنید Create required YAML File to externalize application properties

• PyYAML را در پوشه خاصی نصب کنید و zip بسازید Install PyYAML into specific folder and build zip

• API ها را برای پردازش داده های YAML با استفاده از Pyspark کاوش کنید Explore APIs to process YAML Data using Pyspark

• برای استفاده از ویژگی های YAML، کد برنامه Spark را دوباره فاکتور کنید Refactor the Spark Application Code to use properties from YAML

• با استفاده از فایل‌های محلی در حالت کلاینت، وابستگی‌های خارجی را به برنامه Spark منتقل کنید Pass External Dependencies to Spark Application using local files in client mode

• با استفاده از فایل‌های محلی در حالت خوشه، وابستگی‌های خارجی را به Spark Apps منتقل کنید Pass External Dependencies to Spark Apps using local files in cluster mode

• با استفاده از فایل های HDFS، وابستگی های خارجی را به برنامه Spark منتقل کنید Pass External Dependencies to Spark Application using HDFS files