آموزش Spark SQL و Spark 3 با استفاده از Scala Hands-On with Labs

سرفصل ها و درس ها

معرفی Introduction

• CCA 175 Spark and Hadoop Developer - برنامه درسی CCA 175 Spark and Hadoop Developer - Curriculum

معرفی Introduction

• CCA 175 Spark and Hadoop Developer - برنامه درسی CCA 175 Spark and Hadoop Developer - Curriculum

راه اندازی محیط با استفاده از AWS Cloud9 Setting up Environment using AWS Cloud9

• شروع کار با Cloud9 Getting Started with Cloud9

• ایجاد محیط Cloud9 Creating Cloud9 Environment

• گرم کردن با Cloud9 IDE Warming up with Cloud9 IDE

• مروری بر EC2 مربوط به Cloud9 Overview of EC2 related to Cloud9

• باز کردن پورت ها برای Cloud9 Instance Opening ports for Cloud9 Instance

• مرتبط کردن IP های الاستیک به نمونه Cloud9 Associating Elastic IPs to Cloud9 Instance

• اندازه حجم EBS نمونه Cloud9 را افزایش دهید Increase EBS Volume Size of Cloud9 Instance

• نصب Jupyter Lab در Cloud9 Setup Jupyter Lab on Cloud9

• [فرمان ها] راه اندازی آزمایشگاه Jupyter در Cloud9 [Commands] Setup Jupyter Lab on Cloud9

راه اندازی محیط با استفاده از AWS Cloud9 Setting up Environment using AWS Cloud9

• شروع کار با Cloud9 Getting Started with Cloud9

• ایجاد محیط Cloud9 Creating Cloud9 Environment

• گرم کردن با Cloud9 IDE Warming up with Cloud9 IDE

• مروری بر EC2 مربوط به Cloud9 Overview of EC2 related to Cloud9

• باز کردن پورت ها برای Cloud9 Instance Opening ports for Cloud9 Instance

• مرتبط کردن IP های الاستیک به نمونه Cloud9 Associating Elastic IPs to Cloud9 Instance

• اندازه حجم EBS نمونه Cloud9 را افزایش دهید Increase EBS Volume Size of Cloud9 Instance

• نصب Jupyter Lab در Cloud9 Setup Jupyter Lab on Cloud9

• [فرمان ها] راه اندازی آزمایشگاه Jupyter در Cloud9 [Commands] Setup Jupyter Lab on Cloud9

راه اندازی محیط - مروری بر GCP و Provision Ubuntu VM Setting up Environment - Overview of GCP and Provision Ubuntu VM

• ثبت نام برای GCP Signing up for GCP

• نمای کلی کنسول وب GCP Overview of GCP Web Console

• مروری بر قیمت گذاری GCP Overview of GCP Pricing

• VM اوبونتو را از GCP تهیه کنید Provision Ubuntu VM from GCP

• راه اندازی Docker Setup Docker

• چرا ما در حال راه‌اندازی آزمایشگاه Python و Jupyter برای دوره مرتبط با Scala هستیم؟ Why we are setting up Python and Jupyter Lab for Scala related course?

• اعتبار سنجی پایتون Validating Python

• راه اندازی آزمایشگاه Jupyter Setup Jupyter Lab

راه اندازی محیط - مروری بر GCP و Provision Ubuntu VM Setting up Environment - Overview of GCP and Provision Ubuntu VM

• ثبت نام برای GCP Signing up for GCP

• نمای کلی کنسول وب GCP Overview of GCP Web Console

• مروری بر قیمت گذاری GCP Overview of GCP Pricing

• VM اوبونتو را از GCP تهیه کنید Provision Ubuntu VM from GCP

• راه اندازی Docker Setup Docker

• چرا ما در حال راه‌اندازی آزمایشگاه Python و Jupyter برای دوره مرتبط با Scala هستیم؟ Why we are setting up Python and Jupyter Lab for Scala related course?

• اعتبار سنجی پایتون Validating Python

• راه اندازی آزمایشگاه Jupyter Setup Jupyter Lab

راه اندازی Hadoop در Single Node Cluster Setup Hadoop on Single Node Cluster

• مقدمه ای بر Single Node Hadoop Cluster Introduction to Single Node Hadoop Cluster

• پیش نیازهای راه اندازی Setup Prerequisties

• [فرمان ها] - پیش نیازهای راه اندازی [Commands] - Setup Prerequisites

• تنظیم رمز ورود کمتر Setup Password less login

• [فرمان ها] - راه اندازی رمز عبور کمتر ورود [Commands] - Setup Password less login

• Hadoop را دانلود و نصب کنید Download and Install Hadoop

• [فرمان ها] - دانلود و نصب Hadoop [Commands] - Download and Install Hadoop

• پیکربندی Hadoop HDFS Configure Hadoop HDFS

• [دستورات] - پیکربندی Hadoop HDFS [Commands] - Configure Hadoop HDFS

• HDFS را شروع و اعتبار سنجی کنید Start and Validate HDFS

• [دستورات] - HDFS را شروع و اعتبار سنجی کنید [Commands] - Start and Validate HDFS

• پیکربندی Hadoop YARN Configure Hadoop YARN

• [فرمان ها] - پیکربندی Hadoop YARN [Commands] - Configure Hadoop YARN

• YARN را شروع و اعتبار سنجی کنید Start and Validate YARN

• [فرمان‌ها] - YARN را شروع و اعتبار سنجی کنید [Commands] - Start and Validate YARN

• مدیریت Hadoop گره واحد Managing Single Node Hadoop

• [فرمان‌ها] - مدیریت Hadoop تک گره [Commands] - Managing Single Node Hadoop

راه اندازی Hadoop در Single Node Cluster Setup Hadoop on Single Node Cluster

• مقدمه ای بر Single Node Hadoop Cluster Introduction to Single Node Hadoop Cluster

• پیش نیازهای راه اندازی Setup Prerequisties

• [فرمان ها] - پیش نیازهای راه اندازی [Commands] - Setup Prerequisites

• تنظیم رمز ورود کمتر Setup Password less login

• [فرمان ها] - راه اندازی رمز عبور کمتر ورود [Commands] - Setup Password less login

• Hadoop را دانلود و نصب کنید Download and Install Hadoop

• [فرمان ها] - دانلود و نصب Hadoop [Commands] - Download and Install Hadoop

• پیکربندی Hadoop HDFS Configure Hadoop HDFS

• [دستورات] - پیکربندی Hadoop HDFS [Commands] - Configure Hadoop HDFS

• HDFS را شروع و اعتبار سنجی کنید Start and Validate HDFS

• [دستورات] - HDFS را شروع و اعتبار سنجی کنید [Commands] - Start and Validate HDFS

• پیکربندی Hadoop YARN Configure Hadoop YARN

• [فرمان ها] - پیکربندی Hadoop YARN [Commands] - Configure Hadoop YARN

• YARN را شروع و اعتبار سنجی کنید Start and Validate YARN

• [فرمان‌ها] - YARN را شروع و اعتبار سنجی کنید [Commands] - Start and Validate YARN

• مدیریت Hadoop گره واحد Managing Single Node Hadoop

• [فرمان‌ها] - مدیریت Hadoop تک گره [Commands] - Managing Single Node Hadoop

Hive and Spark را روی Single Node Cluster راه اندازی کنید Setup Hive and Spark on Single Node Cluster

• مجموعه داده ها را برای تمرین تنظیم کنید Setup Data Sets for Practice

• [فرمان‌ها] - مجموعه‌های داده را برای تمرین تنظیم کنید [Commands] - Setup Data Sets for Practice

• Hive را دانلود و نصب کنید Download and Install Hive

• [Commands] - Hive را دانلود و نصب کنید [Commands] - Download and Install Hive

• راه اندازی پایگاه داده برای Hive Metastore Setup Database for Hive Metastore

• [فرمان‌ها] - پایگاه داده را برای Hive Metastore تنظیم کنید [Commands] - Setup Database for Hive Metastore

• Hive Metastore را پیکربندی و راه اندازی کنید Configure and Setup Hive Metastore

• [فرمان‌ها] - Hive Metastore را پیکربندی و راه‌اندازی کنید [Commands] - Configure and Setup Hive Metastore

• Hive را راه اندازی و اعتبار سنجی کنید Launch and Validate Hive

• [فرمان‌ها] - Hive را راه‌اندازی و اعتبارسنجی کنید [Commands] - Launch and Validate Hive

• اسکریپت هایی برای مدیریت کلاستر تک گره Scripts to Manage Single Node Cluster

• [فرمان‌ها] - اسکریپت‌هایی برای مدیریت خوشه گره واحد [Commands] - Scripts to Manage Single Node Cluster

• Spark 2 را دانلود و نصب کنید Download and Install Spark 2

• [Commands] - Spark 2 را دانلود و نصب کنید [Commands] - Download and Install Spark 2

• Spark 2 را پیکربندی کنید Configure Spark 2

• [فرمان ها] - Spark 2 را پیکربندی کنید [Commands] - Configure Spark 2

• Spark 2 را با استفاده از CLI ها اعتبار سنجی کنید Validate Spark 2 using CLIs

• [فرمان‌ها] - Spark 2 را با استفاده از CLI تأیید کنید [Commands] - Validate Spark 2 using CLIs

• اعتبار سنجی راه اندازی آزمایشگاه Jupyter Validate Jupyter Lab Setup

• [فرمان‌ها] - راه‌اندازی آزمایشگاه Jupyter را تأیید کنید [Commands] - Validate Jupyter Lab Setup

• Spark 2 را با Jupyter Lab ادغام کنید Intergrate Spark 2 with Jupyter Lab

• [فرمان‌ها] - Spark 2 را با آزمایشگاه Jupyter ادغام کنید [Commands] - Intergrate Spark 2 with Jupyter Lab

• Spark 3 را دانلود و نصب کنید Download and Install Spark 3

• [Commands] - Spark 3 را دانلود و نصب کنید [Commands] - Download and Install Spark 3

• Spark 3 را پیکربندی کنید Configure Spark 3

• [فرمان‌ها] - Spark 3 را پیکربندی کنید [Commands] - Configure Spark 3

• با استفاده از CLI ها، Spark 3 را اعتبارسنجی کنید Validate Spark 3 using CLIs

• [فرمان‌ها] - Spark 3 را با استفاده از CLI تأیید کنید [Commands] - Validate Spark 3 using CLIs

• Spark 3 را با Jupyter Lab ادغام کنید Intergrate Spark 3 with Jupyter Lab

• [فرمان‌ها] - Spark 3 را با آزمایشگاه Jupyter ادغام کنید [Commands] - Intergrate Spark 3 with Jupyter Lab

Hive and Spark را روی Single Node Cluster راه اندازی کنید Setup Hive and Spark on Single Node Cluster

• مجموعه داده ها را برای تمرین تنظیم کنید Setup Data Sets for Practice

• [فرمان‌ها] - مجموعه‌های داده را برای تمرین تنظیم کنید [Commands] - Setup Data Sets for Practice

• Hive را دانلود و نصب کنید Download and Install Hive

• [Commands] - Hive را دانلود و نصب کنید [Commands] - Download and Install Hive

• راه اندازی پایگاه داده برای Hive Metastore Setup Database for Hive Metastore

• [فرمان‌ها] - پایگاه داده را برای Hive Metastore تنظیم کنید [Commands] - Setup Database for Hive Metastore

• Hive Metastore را پیکربندی و راه اندازی کنید Configure and Setup Hive Metastore

• [فرمان‌ها] - Hive Metastore را پیکربندی و راه‌اندازی کنید [Commands] - Configure and Setup Hive Metastore

• Hive را راه اندازی و اعتبار سنجی کنید Launch and Validate Hive

• [فرمان‌ها] - Hive را راه‌اندازی و اعتبارسنجی کنید [Commands] - Launch and Validate Hive

• اسکریپت هایی برای مدیریت کلاستر تک گره Scripts to Manage Single Node Cluster

• [فرمان‌ها] - اسکریپت‌هایی برای مدیریت خوشه گره واحد [Commands] - Scripts to Manage Single Node Cluster

• Spark 2 را دانلود و نصب کنید Download and Install Spark 2

• [Commands] - Spark 2 را دانلود و نصب کنید [Commands] - Download and Install Spark 2

• Spark 2 را پیکربندی کنید Configure Spark 2

• [فرمان ها] - Spark 2 را پیکربندی کنید [Commands] - Configure Spark 2

• Spark 2 را با استفاده از CLI ها اعتبار سنجی کنید Validate Spark 2 using CLIs

• [فرمان‌ها] - Spark 2 را با استفاده از CLI تأیید کنید [Commands] - Validate Spark 2 using CLIs

• اعتبار سنجی راه اندازی آزمایشگاه Jupyter Validate Jupyter Lab Setup

• [فرمان‌ها] - راه‌اندازی آزمایشگاه Jupyter را تأیید کنید [Commands] - Validate Jupyter Lab Setup

• Spark 2 را با Jupyter Lab ادغام کنید Intergrate Spark 2 with Jupyter Lab

• [فرمان‌ها] - Spark 2 را با آزمایشگاه Jupyter ادغام کنید [Commands] - Intergrate Spark 2 with Jupyter Lab

• Spark 3 را دانلود و نصب کنید Download and Install Spark 3

• [Commands] - Spark 3 را دانلود و نصب کنید [Commands] - Download and Install Spark 3

• Spark 3 را پیکربندی کنید Configure Spark 3

• [فرمان‌ها] - Spark 3 را پیکربندی کنید [Commands] - Configure Spark 3

• با استفاده از CLI ها، Spark 3 را اعتبارسنجی کنید Validate Spark 3 using CLIs

• [فرمان‌ها] - Spark 3 را با استفاده از CLI تأیید کنید [Commands] - Validate Spark 3 using CLIs

• Spark 3 را با Jupyter Lab ادغام کنید Intergrate Spark 3 with Jupyter Lab

• [فرمان‌ها] - Spark 3 را با آزمایشگاه Jupyter ادغام کنید [Commands] - Intergrate Spark 3 with Jupyter Lab

Scala Fundamentals Scala Fundamentals

• معرفی و راه اندازی Scala Introduction and Setting up of Scala

• Scala را در ویندوز راه اندازی کنید Setup Scala on Windows

• سازه های اصلی برنامه نویسی Basic Programming Constructs

• کارکرد Functions

• مفاهیم شی گرا - کلاس ها Object Oriented Concepts - Classes

• مفاهیم شی گرا - اشیاء Object Oriented Concepts - Objects

• مفاهیم شی گرا - کلاس های موردی Object Oriented Concepts - Case Classes

• مجموعه ها - Seq، Set و Map Collections - Seq, Set and Map

• عملیات کاهش نقشه اولیه Basic Map Reduce Operations

• تنظیم مجموعه داده‌ها برای عملیات ورودی/خروجی اولیه Setting up Data Sets for Basic I/O Operations

• عملیات ورودی/خروجی اولیه و استفاده از APIهای مجموعه Scala Basic I/O Operations and using Scala Collections APIs

• تاپل ها Tuples

• چرخه توسعه - ایجاد فایل برنامه Development Cycle - Create Program File

• چرخه توسعه - کد منبع را با استفاده از SBT در jar کامپایل کنید Development Cycle - Compile source code to jar using SBT

• چرخه توسعه - راه اندازی SBT در ویندوز Development Cycle - Setup SBT on Windows

• چرخه توسعه - تغییرات را کامپایل کنید و jar را با آرگومان اجرا کنید Development Cycle - Compile changes and run jar with arguments

• چرخه توسعه - راه اندازی IntelliJ با Scala Development Cycle - Setup IntelliJ with Scala

• چرخه توسعه - برنامه Scala را با استفاده از SBT در IntelliJ توسعه دهید Development Cycle - Develop Scala application using SBT in IntelliJ

Scala Fundamentals Scala Fundamentals

• معرفی و راه اندازی Scala Introduction and Setting up of Scala

• Scala را در ویندوز راه اندازی کنید Setup Scala on Windows

• سازه های اصلی برنامه نویسی Basic Programming Constructs

• کارکرد Functions

• مفاهیم شی گرا - کلاس ها Object Oriented Concepts - Classes

• مفاهیم شی گرا - اشیاء Object Oriented Concepts - Objects

• مفاهیم شی گرا - کلاس های موردی Object Oriented Concepts - Case Classes

• مجموعه ها - Seq، Set و Map Collections - Seq, Set and Map

• عملیات کاهش نقشه اولیه Basic Map Reduce Operations

• تنظیم مجموعه داده‌ها برای عملیات ورودی/خروجی اولیه Setting up Data Sets for Basic I/O Operations

• عملیات ورودی/خروجی اولیه و استفاده از APIهای مجموعه Scala Basic I/O Operations and using Scala Collections APIs

• تاپل ها Tuples

• چرخه توسعه - ایجاد فایل برنامه Development Cycle - Create Program File

• چرخه توسعه - کد منبع را با استفاده از SBT در jar کامپایل کنید Development Cycle - Compile source code to jar using SBT

• چرخه توسعه - راه اندازی SBT در ویندوز Development Cycle - Setup SBT on Windows

• چرخه توسعه - تغییرات را کامپایل کنید و jar را با آرگومان اجرا کنید Development Cycle - Compile changes and run jar with arguments

• چرخه توسعه - راه اندازی IntelliJ با Scala Development Cycle - Setup IntelliJ with Scala

• چرخه توسعه - برنامه Scala را با استفاده از SBT در IntelliJ توسعه دهید Development Cycle - Develop Scala application using SBT in IntelliJ

مروری بر دستورات Hadoop HDFS Overview of Hadoop HDFS Commands

• دریافت کمک یا استفاده از دستورات HDFS Getting help or usage of HDFS Commands

• لیست کردن فایل های HDFS Listing HDFS Files

• مدیریت دایرکتوری های HDFS Managing HDFS Directories

• کپی فایل ها از محلی به HDFS Copying files from local to HDFS

• کپی فایل ها از HDFS به محلی Copying files from HDFS to local

• دریافت فراداده فایل Getting File Metadata

• پیش نمایش داده ها در فایل HDFS Previewing Data in HDFS File

• اندازه بلوک HDFS HDFS Block Size

• ضریب تکرار HDFS HDFS Replication Factor

• دریافت استفاده از فضای ذخیره سازی HDFS Getting HDFS Storage Usage

• با استفاده از دستورات آماری HDFS Using HDFS Stat Commands

• مجوزهای فایل HDFS HDFS File Permissions

• ویژگی های فراگیر Overriding Properties

مروری بر دستورات Hadoop HDFS Overview of Hadoop HDFS Commands

• دریافت کمک یا استفاده از دستورات HDFS Getting help or usage of HDFS Commands

• لیست کردن فایل های HDFS Listing HDFS Files

• مدیریت دایرکتوری های HDFS Managing HDFS Directories

• کپی فایل ها از محلی به HDFS Copying files from local to HDFS

• کپی فایل ها از HDFS به محلی Copying files from HDFS to local

• دریافت فراداده فایل Getting File Metadata

• پیش نمایش داده ها در فایل HDFS Previewing Data in HDFS File

• اندازه بلوک HDFS HDFS Block Size

• ضریب تکرار HDFS HDFS Replication Factor

• دریافت استفاده از فضای ذخیره سازی HDFS Getting HDFS Storage Usage

• با استفاده از دستورات آماری HDFS Using HDFS Stat Commands

• مجوزهای فایل HDFS HDFS File Permissions

• ویژگی های فراگیر Overriding Properties

آپاچی اسپارک 2 با استفاده از اسکالا - پردازش داده - مرور کلی Apache Spark 2 using Scala - Data Processing - Overview

• معرفی ماژول Introduction for the module

• شروع Spark Context با استفاده از spark-shell Starting Spark Context using spark-shell

• مروری بر Spark read API Overview of Spark read APIs

• پیش نمایش Schema و Data با استفاده از Spark API Previewing Schema and Data using Spark APIs

• مروری بر APIهای Spark Data Frame Overview of Spark Data Frame APIs

• مروری بر توابع برای دستکاری داده ها در Spark Data Frames Overview of Functions to Manipulate Data in Spark Data Frames

• مروری بر Spark Write APIs Overview of Spark Write APIs

آپاچی اسپارک 2 با استفاده از اسکالا - پردازش داده - مرور کلی Apache Spark 2 using Scala - Data Processing - Overview

• معرفی ماژول Introduction for the module

• شروع Spark Context با استفاده از spark-shell Starting Spark Context using spark-shell

• مروری بر Spark read API Overview of Spark read APIs

• پیش نمایش Schema و Data با استفاده از Spark API Previewing Schema and Data using Spark APIs

• مروری بر APIهای Spark Data Frame Overview of Spark Data Frame APIs

• مروری بر توابع برای دستکاری داده ها در Spark Data Frames Overview of Functions to Manipulate Data in Spark Data Frames

• مروری بر Spark Write APIs Overview of Spark Write APIs

Apache Spark 2 با استفاده از Scala - پردازش داده های ستون با استفاده از توابع از پیش تعریف شده Apache Spark 2 using Scala - Processing Column Data using Pre-defined Functions

• مقدمه ای بر توابع از پیش تعریف شده Introduction to Pre-defined Functions

• ایجاد Object Spark Session در Notebook Creating Spark Session Object in Notebook

• برای تمرین فریم های داده ساختگی ایجاد کنید Create Dummy Data Frames for Practice

• دسته بندی توابع در ستون های قاب داده Spark Categories of Functions on Spark DAta Frame Columns

• استفاده از توابع ویژه Spark - col Using Spark Special Functions - col

• استفاده از توابع ویژه Spark - روشن شد Using Spark Special Functions - lit

• دستکاری ستون های رشته با استفاده از توابع Spark - تبدیل مورد و طول Manipulating String Columns using Spark Functions - Case Conversion and Length

• دستکاری ستون های رشته با استفاده از توابع Spark - زیر رشته Manipulating String Columns using Spark Functions - substring

• دستکاری ستون های رشته با استفاده از توابع Spark - تقسیم Manipulating String Columns using Spark Functions - split

• دستکاری ستون های رشته با استفاده از توابع Spark - رشته های پیوسته Manipulating String Columns using Spark Functions - Concatenating Strings

• دستکاری ستون های رشته با استفاده از توابع Spark - رشته های بالشتک Manipulating String Columns using Spark Functions - Padding Strings

• دستکاری ستون های رشته با استفاده از توابع Spark - برش کاراکترهای ناخواسته Manipulating String Columns using Spark Functions - Trimming unwanted characters

• توابع تاریخ و زمان در Spark - نمای کلی Date and Time Functions in Spark - Overview

• توابع تاریخ و زمان در Spark - حساب تاریخ Date and Time Functions in Spark - Date Arithmetic

• توابع تاریخ و زمان در Spark - با استفاده از trunc و date_trunc Date and Time Functions in Spark - Using trunc and date_trunc

• توابع تاریخ و زمان در Spark - استفاده از date_format و توابع دیگر Date and Time Functions in Spark - Using date_format and other functions

• توابع تاریخ و زمان در Spark - با برچسب زمانی یونیکس سروکار دارد Date and Time Functions in Spark - dealing with unix timestamp

• توابع از پیش تعریف شده در Spark - نتیجه گیری Pre-defined Functions in Spark - Conclusion

Apache Spark 2 با استفاده از Scala - پردازش داده های ستون با استفاده از توابع از پیش تعریف شده Apache Spark 2 using Scala - Processing Column Data using Pre-defined Functions

• مقدمه ای بر توابع از پیش تعریف شده Introduction to Pre-defined Functions

• ایجاد Object Spark Session در Notebook Creating Spark Session Object in Notebook

• برای تمرین فریم های داده ساختگی ایجاد کنید Create Dummy Data Frames for Practice

• دسته بندی توابع در ستون های قاب داده Spark Categories of Functions on Spark DAta Frame Columns

• استفاده از توابع ویژه Spark - col Using Spark Special Functions - col

• استفاده از توابع ویژه Spark - روشن شد Using Spark Special Functions - lit

• دستکاری ستون های رشته با استفاده از توابع Spark - تبدیل مورد و طول Manipulating String Columns using Spark Functions - Case Conversion and Length

• دستکاری ستون های رشته با استفاده از توابع Spark - زیر رشته Manipulating String Columns using Spark Functions - substring

• دستکاری ستون های رشته با استفاده از توابع Spark - تقسیم Manipulating String Columns using Spark Functions - split

• دستکاری ستون های رشته با استفاده از توابع Spark - رشته های پیوسته Manipulating String Columns using Spark Functions - Concatenating Strings

• دستکاری ستون های رشته با استفاده از توابع Spark - رشته های بالشتک Manipulating String Columns using Spark Functions - Padding Strings

• دستکاری ستون های رشته با استفاده از توابع Spark - برش کاراکترهای ناخواسته Manipulating String Columns using Spark Functions - Trimming unwanted characters

• توابع تاریخ و زمان در Spark - نمای کلی Date and Time Functions in Spark - Overview

• توابع تاریخ و زمان در Spark - حساب تاریخ Date and Time Functions in Spark - Date Arithmetic

• توابع تاریخ و زمان در Spark - با استفاده از trunc و date_trunc Date and Time Functions in Spark - Using trunc and date_trunc

• توابع تاریخ و زمان در Spark - استفاده از date_format و توابع دیگر Date and Time Functions in Spark - Using date_format and other functions

• توابع تاریخ و زمان در Spark - با برچسب زمانی یونیکس سروکار دارد Date and Time Functions in Spark - dealing with unix timestamp

• توابع از پیش تعریف شده در Spark - نتیجه گیری Pre-defined Functions in Spark - Conclusion

آپاچی اسپارک 2 با استفاده از اسکالا - تبدیل های اساسی با استفاده از فریم های داده Apache Spark 2 using Scala - Basic Transformations using Data Frames

• مقدمه‌ای بر تبدیل‌های اساسی با استفاده از APIهای چارچوب داده Introduction to Basic Transformations using Data Frame APIs

• شروع Spark Context Starting Spark Context

• مروری بر فیلتر کردن با استفاده از Spark Data Frame APIs Overview of Filtering using Spark Data Frame APIs

• فیلتر کردن داده ها از Spark Data Frames - خواندن داده ها و درک طرحواره Filtering Data from Spark Data Frames - Reading Data and Understanding Schema

• فیلتر کردن داده ها از Spark Data Frames - Task 1 - Equal Operator Filtering Data from Spark Data Frames - Task 1 - Equal Operator

• فیلتر کردن داده ها از Spark Data Frames - Task 2 - Comparison Operators Filtering Data from Spark Data Frames - Task 2 - Comparison Operators

• فیلتر کردن داده ها از Spark Data Frames - Task 3 - Boolean AND Filtering Data from Spark Data Frames - Task 3 - Boolean AND

• فیلتر کردن داده ها از Spark Data Frames - Task 4 - IN Operator Filtering Data from Spark Data Frames - Task 4 - IN Operator

• فیلتر کردن داده ها از Spark Data Frames - Task 5 - Between and Like Filtering Data from Spark Data Frames - Task 5 - Between and Like

• فیلتر کردن داده ها از Spark Data Frames - وظیفه 6 - استفاده از توابع در فیلتر Filtering Data from Spark Data Frames - Task 6 - Using functions in Filter

• بررسی اجمالی تجمعات با استفاده از Spark Data Frame API Overview of Aggregations using Spark Data Frame APIs

• مروری بر مرتب سازی با استفاده از Spark Data Frame APIs Overview of Sorting using Spark Data Frame APIs

• راه حل - با استفاده از Spark Data Frame APIs - قسمت 1، شمارش های تاخیری را دریافت کنید Solution - Get Delayed Counts using Spark Data Frame APIs - Part 1

• راه حل - با استفاده از Spark Data Frame APIs - قسمت 2، شمارش های تاخیری را دریافت کنید Solution - Get Delayed Counts using Spark Data Frame APIs - Part 2

• راه حل - دریافت شمارش تاخیری بر اساس تاریخ با استفاده از APIهای Spark Data Frame Solution - Getting Delayed Counts By Date using Spark Data Frame APIs

آپاچی اسپارک 2 با استفاده از اسکالا - تبدیل های اساسی با استفاده از فریم های داده Apache Spark 2 using Scala - Basic Transformations using Data Frames

• مقدمه‌ای بر تبدیل‌های اساسی با استفاده از APIهای چارچوب داده Introduction to Basic Transformations using Data Frame APIs

• شروع Spark Context Starting Spark Context

• مروری بر فیلتر کردن با استفاده از Spark Data Frame APIs Overview of Filtering using Spark Data Frame APIs

• فیلتر کردن داده ها از Spark Data Frames - خواندن داده ها و درک طرحواره Filtering Data from Spark Data Frames - Reading Data and Understanding Schema

• فیلتر کردن داده ها از Spark Data Frames - Task 1 - Equal Operator Filtering Data from Spark Data Frames - Task 1 - Equal Operator

• فیلتر کردن داده ها از Spark Data Frames - Task 2 - Comparison Operators Filtering Data from Spark Data Frames - Task 2 - Comparison Operators

• فیلتر کردن داده ها از Spark Data Frames - Task 3 - Boolean AND Filtering Data from Spark Data Frames - Task 3 - Boolean AND

• فیلتر کردن داده ها از Spark Data Frames - Task 4 - IN Operator Filtering Data from Spark Data Frames - Task 4 - IN Operator

• فیلتر کردن داده ها از Spark Data Frames - Task 5 - Between and Like Filtering Data from Spark Data Frames - Task 5 - Between and Like

• فیلتر کردن داده ها از Spark Data Frames - وظیفه 6 - استفاده از توابع در فیلتر Filtering Data from Spark Data Frames - Task 6 - Using functions in Filter

• بررسی اجمالی تجمعات با استفاده از Spark Data Frame API Overview of Aggregations using Spark Data Frame APIs

• مروری بر مرتب سازی با استفاده از Spark Data Frame APIs Overview of Sorting using Spark Data Frame APIs

• راه حل - با استفاده از Spark Data Frame APIs - قسمت 1، شمارش های تاخیری را دریافت کنید Solution - Get Delayed Counts using Spark Data Frame APIs - Part 1

• راه حل - با استفاده از Spark Data Frame APIs - قسمت 2، شمارش های تاخیری را دریافت کنید Solution - Get Delayed Counts using Spark Data Frame APIs - Part 2

• راه حل - دریافت شمارش تاخیری بر اساس تاریخ با استفاده از APIهای Spark Data Frame Solution - Getting Delayed Counts By Date using Spark Data Frame APIs

Apache Spark 2 با استفاده از Scala - Joining Data Sets Apache Spark 2 using Scala - Joining Data Sets

• مجموعه داده ها را آماده و اعتبار سنجی کنید Prepare and Validate Data Sets

• شروع Spark Session یا Spark Context Starting Spark Session or Spark Context

• تجزیه و تحلیل مجموعه داده ها برای اتصال با استفاده از Spark Data Frame API Analyze Data Sets for Joins using Spark Data Frame APIs

• حذف رکوردهای تکراری از Data Frame با استفاده از Spark Data Frame APIs Eliminate Duplicate records from Data Frame using Spark Data Frame APIs

• خلاصه تحولات اساسی با استفاده از Spark Data Frame API Recap of Basic Transformations using Spark Data Frame APIs

• پیوستن به مجموعه داده‌ها با استفاده از Spark Data Frame API - بیانیه‌های مشکل Joining Data Sets using Spark Data Frame APIs - Problem Statements

• بررسی اجمالی Join ها با استفاده از Spark Data Frame API Overview of Joins using Spark Data Frame APIs

• Inner Join با استفاده از Spark Data Fr - دریافت تعداد پروازهای خارج شده از فرودگاه های ایالات متحده Inner Join using Spark Data Fr - Get number of flights departed from US airports

• عضویت داخلی با استفاده از Spark Data Fram - تعداد پروازهای خارج شده از ایالات متحده را دریافت کنید Inner Join using Spark Data Fram - Get number of flights departed from US States

• Join Outer با استفاده از Spark Data Frame API - دریافت Aiports - Never Used Outer Join using Spark Data Frame APIs - Get Aiports - Never Used

Apache Spark 2 با استفاده از Scala - Joining Data Sets Apache Spark 2 using Scala - Joining Data Sets

• مجموعه داده ها را آماده و اعتبار سنجی کنید Prepare and Validate Data Sets

• شروع Spark Session یا Spark Context Starting Spark Session or Spark Context

• تجزیه و تحلیل مجموعه داده ها برای اتصال با استفاده از Spark Data Frame API Analyze Data Sets for Joins using Spark Data Frame APIs

• حذف رکوردهای تکراری از Data Frame با استفاده از Spark Data Frame APIs Eliminate Duplicate records from Data Frame using Spark Data Frame APIs

• خلاصه تحولات اساسی با استفاده از Spark Data Frame API Recap of Basic Transformations using Spark Data Frame APIs

• پیوستن به مجموعه داده‌ها با استفاده از Spark Data Frame API - بیانیه‌های مشکل Joining Data Sets using Spark Data Frame APIs - Problem Statements

• بررسی اجمالی Join ها با استفاده از Spark Data Frame API Overview of Joins using Spark Data Frame APIs

• Inner Join با استفاده از Spark Data Fr - دریافت تعداد پروازهای خارج شده از فرودگاه های ایالات متحده Inner Join using Spark Data Fr - Get number of flights departed from US airports

• عضویت داخلی با استفاده از Spark Data Fram - تعداد پروازهای خارج شده از ایالات متحده را دریافت کنید Inner Join using Spark Data Fram - Get number of flights departed from US States

• Join Outer با استفاده از Spark Data Frame API - دریافت Aiports - Never Used Outer Join using Spark Data Frame APIs - Get Aiports - Never Used

Apache Spark با استفاده از SQL - شروع به کار Apache Spark using SQL - Getting Started

• شروع کار با Spark SQL - نمای کلی Getting Started with Spark SQL - Overview

• مروری بر مستندات Spark Overview of Spark Documentation

• راه اندازی و استفاده از Spark SQL CLI Launching and using Spark SQL CLI

• مروری بر ویژگی های Spark SQL Overview of Spark SQL Properties

• اجرای دستورات سیستم عامل با استفاده از Spark SQL Running OS Commands using Spark SQL

• آشنایی با فهرست Spark Metastore Warehouse Understanding Spark Metastore Warehouse Directory

• مدیریت پایگاه های داده Spark Metastore Managing Spark Metastore Databases

• مدیریت جداول Spark Metastore Managing Spark Metastore Tables

• فراداده جداول Spark Metastore را بازیابی کنید Retrieve Metadata of Spark Metastore Tables

• نقش Spark Metastore یا Hive Metastore Role of Spark Metastore or Hive Metastore

• تمرین - شروع کار با Spark SQL Exercise - Getting Started with Spark SQL

Apache Spark با استفاده از SQL - شروع به کار Apache Spark using SQL - Getting Started

• شروع کار با Spark SQL - نمای کلی Getting Started with Spark SQL - Overview

• مروری بر مستندات Spark Overview of Spark Documentation

• راه اندازی و استفاده از Spark SQL CLI Launching and using Spark SQL CLI

• مروری بر ویژگی های Spark SQL Overview of Spark SQL Properties

• اجرای دستورات سیستم عامل با استفاده از Spark SQL Running OS Commands using Spark SQL

• آشنایی با فهرست Spark Metastore Warehouse Understanding Spark Metastore Warehouse Directory

• مدیریت پایگاه های داده Spark Metastore Managing Spark Metastore Databases

• مدیریت جداول Spark Metastore Managing Spark Metastore Tables

• فراداده جداول Spark Metastore را بازیابی کنید Retrieve Metadata of Spark Metastore Tables

• نقش Spark Metastore یا Hive Metastore Role of Spark Metastore or Hive Metastore

• تمرین - شروع کار با Spark SQL Exercise - Getting Started with Spark SQL

Apache Spark با استفاده از SQL - Basic Transformations Apache Spark using SQL - Basic Transformations

• تبدیل اولیه با استفاده از Spark SQL - مقدمه Basic Transformation using Spark SQL - Introduction

• Spark SQL - بررسی اجمالی Spark SQL - Overview

• با استفاده از Spark SQL بیان مسئله را برای تبدیل های پایه تعریف کنید Define Problem Statement for Basic Transformations using Spark SQL

• با استفاده از Spark SQL جداول را آماده یا ایجاد کنید Prepare or Create Tables using Spark SQL

• طراحی یا انتخاب داده با استفاده از Spark SQL Projecting or Selecting Data using Spark SQL

• فیلتر کردن داده ها با استفاده از Spark SQL Filtering Data using Spark SQL

• پیوستن به جداول با استفاده از Spark SQL - Inner Joining Tables using Spark SQL - Inner

• پیوستن به جداول با استفاده از Spark SQL - Outer Joining Tables using Spark SQL - Outer

• جمع آوری داده ها با استفاده از Spark SQL Aggregating Data using Spark SQL

• مرتب سازی داده ها با استفاده از Spark SQL Sorting Data using Spark SQL

• نتیجه گیری - راه حل نهایی با استفاده از Spark SQL Conclusion - Final Solution using Spark SQL

Apache Spark با استفاده از SQL - Basic Transformations Apache Spark using SQL - Basic Transformations

• تبدیل اولیه با استفاده از Spark SQL - مقدمه Basic Transformation using Spark SQL - Introduction

• Spark SQL - بررسی اجمالی Spark SQL - Overview

• با استفاده از Spark SQL بیان مسئله را برای تبدیل های پایه تعریف کنید Define Problem Statement for Basic Transformations using Spark SQL

• با استفاده از Spark SQL جداول را آماده یا ایجاد کنید Prepare or Create Tables using Spark SQL

• طراحی یا انتخاب داده با استفاده از Spark SQL Projecting or Selecting Data using Spark SQL

• فیلتر کردن داده ها با استفاده از Spark SQL Filtering Data using Spark SQL

• پیوستن به جداول با استفاده از Spark SQL - Inner Joining Tables using Spark SQL - Inner

• پیوستن به جداول با استفاده از Spark SQL - Outer Joining Tables using Spark SQL - Outer

• جمع آوری داده ها با استفاده از Spark SQL Aggregating Data using Spark SQL

• مرتب سازی داده ها با استفاده از Spark SQL Sorting Data using Spark SQL

• نتیجه گیری - راه حل نهایی با استفاده از Spark SQL Conclusion - Final Solution using Spark SQL

Apache Spark با استفاده از SQL - Basic DDL و DML Apache Spark using SQL - Basic DDL and DML

• مقدمه ای بر پایه DDL و DML با استفاده از Spark SQL Introduction to Basic DDL and DML using Spark SQL

• جداول Spark Metastore را با استفاده از Spark SQL ایجاد کنید Create Spark Metastore Tables using Spark SQL

• مروری بر انواع داده ها برای ستون های جدول Spark Metastore Overview of Data Types for Spark Metastore Table Columns

• افزودن نظرات به جداول Spark Metastore با استفاده از Spark SQL Adding Comments to Spark Metastore Tables using Spark SQL

• بارگیری داده ها در جداول Spark Metastore با استفاده از Spark SQL - Local Loading Data Into Spark Metastore Tables using Spark SQL - Local

• بارگیری داده ها در جداول Spark Metastore با استفاده از Spark SQL - HDFS Loading Data Into Spark Metastore Tables using Spark SQL - HDFS

• بارگیری داده ها در جداول Spark Metastore با استفاده از Spark SQL - Append و Overwrite Loading Data into Spark Metastore Tables using Spark SQL - Append and Overwrite

• ایجاد جداول خارجی در Spark Metastore با استفاده از Spark SQL Creating External Tables in Spark Metastore using Spark SQL

• جداول متاستور اسپارک مدیریت شده در مقابل جداول متاستور اسپارک خارجی Managed Spark Metastore Tables vs External Spark Metastore Tables

• مروری بر قالب‌های فایل جدول Spark Metastore Overview of Spark Metastore Table File Formats

• جداول و پایگاه‌های داده Spark Metastore را رها کنید Drop Spark Metastore Tables and Databases

• جداسازی Spark Metastore Truncating Spark Metastore Tables

• تمرین - جداول متاستور اسپارک مدیریت شده Exercise - Managed Spark Metastore Tables

Apache Spark با استفاده از SQL - Basic DDL و DML Apache Spark using SQL - Basic DDL and DML

• مقدمه ای بر پایه DDL و DML با استفاده از Spark SQL Introduction to Basic DDL and DML using Spark SQL

• جداول Spark Metastore را با استفاده از Spark SQL ایجاد کنید Create Spark Metastore Tables using Spark SQL

• مروری بر انواع داده ها برای ستون های جدول Spark Metastore Overview of Data Types for Spark Metastore Table Columns

• افزودن نظرات به جداول Spark Metastore با استفاده از Spark SQL Adding Comments to Spark Metastore Tables using Spark SQL

• بارگیری داده ها در جداول Spark Metastore با استفاده از Spark SQL - Local Loading Data Into Spark Metastore Tables using Spark SQL - Local

• بارگیری داده ها در جداول Spark Metastore با استفاده از Spark SQL - HDFS Loading Data Into Spark Metastore Tables using Spark SQL - HDFS

• بارگیری داده ها در جداول Spark Metastore با استفاده از Spark SQL - Append و Overwrite Loading Data into Spark Metastore Tables using Spark SQL - Append and Overwrite

• ایجاد جداول خارجی در Spark Metastore با استفاده از Spark SQL Creating External Tables in Spark Metastore using Spark SQL

• جداول متاستور اسپارک مدیریت شده در مقابل جداول متاستور اسپارک خارجی Managed Spark Metastore Tables vs External Spark Metastore Tables

• مروری بر قالب‌های فایل جدول Spark Metastore Overview of Spark Metastore Table File Formats

• جداول و پایگاه‌های داده Spark Metastore را رها کنید Drop Spark Metastore Tables and Databases

• جداسازی Spark Metastore Truncating Spark Metastore Tables

• تمرین - جداول متاستور اسپارک مدیریت شده Exercise - Managed Spark Metastore Tables

Apache Spark با استفاده از SQL - DML و پارتیشن بندی Apache Spark using SQL - DML and Partitioning

• مقدمه ای بر DML و پارتیشن بندی جداول متاستور Spark با استفاده از Spark SQL Introduction to DML and Partitioning of Spark Metastore Tables using Spark SQL

• مقدمه ای بر پارتیشن بندی جداول متاستور Spark با استفاده از Spark SQL Introduction to Partitioning of Spark Metastore Tables using Spark SQL

• ایجاد جداول Spark Metastore با استفاده از قالب فایل پارکت Creating Spark Metastore Tables using Parquet File Format

• بارگذاری در مقابل درج در جداول متاستور Spark با استفاده از Spark SQL Load vs. Insert into Spark Metastore Tables using Spark SQL

• درج داده با استفاده از Stage Spark Metastore Table با استفاده از Spark SQL Inserting Data using Stage Spark Metastore Table using Spark SQL

• ایجاد جداول Spark Metastore Partitioned با استفاده از Spark SQL Creating Partitioned Spark Metastore Tables using Spark SQL

• افزودن پارتیشن به جداول Spark Metastore با استفاده از Spark SQL Adding Partitions to Spark Metastore Tables using Spark SQL

• بارگذاری داده ها در جداول متاستور Spark پارتیشن بندی شده با استفاده از Spark SQL Loading Data into Partitioned Spark Metastore Tables using Spark SQL

• درج داده ها در پارتیشن های جداول Spark Metastore با استفاده از Spark SQL Inserting Data into Partitions of Spark Metastore Tables using Spark SQL

• استفاده از حالت پارتیشن پویا برای درج داده ها در جداول متاستور Spark Using Dynamic Partition Mode to insert data into Spark Metastore Tables

• تمرین - جداول متاستور Spark با استفاده از Spark SQL پارتیشن بندی شده Exercise - Partitioned Spark Metastore Tables using Spark SQL

Apache Spark با استفاده از SQL - DML و پارتیشن بندی Apache Spark using SQL - DML and Partitioning

• مقدمه ای بر DML و پارتیشن بندی جداول متاستور Spark با استفاده از Spark SQL Introduction to DML and Partitioning of Spark Metastore Tables using Spark SQL

• مقدمه ای بر پارتیشن بندی جداول متاستور Spark با استفاده از Spark SQL Introduction to Partitioning of Spark Metastore Tables using Spark SQL

• ایجاد جداول Spark Metastore با استفاده از قالب فایل پارکت Creating Spark Metastore Tables using Parquet File Format

• بارگذاری در مقابل درج در جداول متاستور Spark با استفاده از Spark SQL Load vs. Insert into Spark Metastore Tables using Spark SQL

• درج داده با استفاده از Stage Spark Metastore Table با استفاده از Spark SQL Inserting Data using Stage Spark Metastore Table using Spark SQL

• ایجاد جداول Spark Metastore Partitioned با استفاده از Spark SQL Creating Partitioned Spark Metastore Tables using Spark SQL

• افزودن پارتیشن به جداول Spark Metastore با استفاده از Spark SQL Adding Partitions to Spark Metastore Tables using Spark SQL

• بارگذاری داده ها در جداول متاستور Spark پارتیشن بندی شده با استفاده از Spark SQL Loading Data into Partitioned Spark Metastore Tables using Spark SQL

• درج داده ها در پارتیشن های جداول Spark Metastore با استفاده از Spark SQL Inserting Data into Partitions of Spark Metastore Tables using Spark SQL

• استفاده از حالت پارتیشن پویا برای درج داده ها در جداول متاستور Spark Using Dynamic Partition Mode to insert data into Spark Metastore Tables

• تمرین - جداول متاستور Spark با استفاده از Spark SQL پارتیشن بندی شده Exercise - Partitioned Spark Metastore Tables using Spark SQL

Apache Spark با استفاده از SQL - توابع از پیش تعریف شده Apache Spark using SQL - Pre-defined Functions

• مقدمه - مروری بر توابع Spark SQL Introduction - Overview of Spark SQL Functions

• نمای کلی توابع از پیش تعریف شده با استفاده از Spark SQL Overview of Pre-defined Functions using Spark SQL

• اعتبارسنجی توابع با استفاده از Spark SQL Validating Functions using Spark SQL

• توابع دستکاری رشته با استفاده از Spark SQL String Manipulation Functions using Spark SQL

• توابع دستکاری تاریخ با استفاده از Spark SQL Date Manipulation Functions using Spark SQL

• مروری بر توابع عددی با استفاده از Spark SQL Overview of Numeric Functions using Spark SQL

• تبدیل نوع داده با استفاده از Spark SQL Data Type Conversion using Spark SQL

• مقابله با Nulls با استفاده از Spark SQL Dealing with Nulls using Spark SQL

• استفاده از CASE و WHEN با استفاده از Spark SQL Using CASE and WHEN using Spark SQL

• مثال پرس و جو - تعداد کلمات با استفاده از Spark SQL Query Example - Word Count using Spark SQL

Apache Spark با استفاده از SQL - توابع از پیش تعریف شده Apache Spark using SQL - Pre-defined Functions

• مقدمه - مروری بر توابع Spark SQL Introduction - Overview of Spark SQL Functions

• نمای کلی توابع از پیش تعریف شده با استفاده از Spark SQL Overview of Pre-defined Functions using Spark SQL

• اعتبارسنجی توابع با استفاده از Spark SQL Validating Functions using Spark SQL

• توابع دستکاری رشته با استفاده از Spark SQL String Manipulation Functions using Spark SQL

• توابع دستکاری تاریخ با استفاده از Spark SQL Date Manipulation Functions using Spark SQL

• مروری بر توابع عددی با استفاده از Spark SQL Overview of Numeric Functions using Spark SQL

• تبدیل نوع داده با استفاده از Spark SQL Data Type Conversion using Spark SQL

• مقابله با Nulls با استفاده از Spark SQL Dealing with Nulls using Spark SQL

• استفاده از CASE و WHEN با استفاده از Spark SQL Using CASE and WHEN using Spark SQL

• مثال پرس و جو - تعداد کلمات با استفاده از Spark SQL Query Example - Word Count using Spark SQL

Apache Spark با استفاده از SQL - توابع از پیش تعریف شده - تمرینات Apache Spark using SQL - Pre-defined Functions - Exercises

• جدول کاربران را با استفاده از Spark SQL آماده کنید Prepare Users Table using Spark SQL

• تمرین 1 - تعداد کاربران ایجاد شده در سال را دریافت کنید Exercise 1 - Get number of users created per year

• تمرین 2 - نام روز تولد کاربران را دریافت کنید Exercise 2 - Get the day name of the birth days of users

• تمرین 3 - نام و شناسه ایمیل کاربران اضافه شده در سال 2019 را دریافت کنید Exercise 3 - Get the names and email ids of users added in the year 2019

• تمرین 4 - تعداد کاربران را بر اساس جنسیت بدست آورید Exercise 4 - Get the number of users by gender

• تمرین 5 - 4 رقم آخر شناسه های منحصر به فرد را دریافت کنید Exercise 5 - Get last 4 digits of unique ids

• تمرین 6 - تعداد کاربران را بر اساس کد کشور دریافت کنید Exercise 6 - Get the count of users based up on country code

Apache Spark با استفاده از SQL - توابع از پیش تعریف شده - تمرینات Apache Spark using SQL - Pre-defined Functions - Exercises

• جدول کاربران را با استفاده از Spark SQL آماده کنید Prepare Users Table using Spark SQL

• تمرین 1 - تعداد کاربران ایجاد شده در سال را دریافت کنید Exercise 1 - Get number of users created per year

• تمرین 2 - نام روز تولد کاربران را دریافت کنید Exercise 2 - Get the day name of the birth days of users

• تمرین 3 - نام و شناسه ایمیل کاربران اضافه شده در سال 2019 را دریافت کنید Exercise 3 - Get the names and email ids of users added in the year 2019

• تمرین 4 - تعداد کاربران را بر اساس جنسیت بدست آورید Exercise 4 - Get the number of users by gender

• تمرین 5 - 4 رقم آخر شناسه های منحصر به فرد را دریافت کنید Exercise 5 - Get last 4 digits of unique ids

• تمرین 6 - تعداد کاربران را بر اساس کد کشور دریافت کنید Exercise 6 - Get the count of users based up on country code

Apache Spark با استفاده از SQL - Windowing Functions Apache Spark using SQL - Windowing Functions

• مقدمه ای بر توابع پنجره سازی با استفاده از Spark SQL Introduction to Windowing Functions using Spark SQL

• پایگاه داده منابع انسانی را در Spark Metastore با استفاده از Spark SQL آماده کنید Prepare HR Database in Spark Metastore using Spark SQL

• مروری بر توابع Windowing با استفاده از Spark SQL Overview of Windowing Functions using Spark SQL

• تجمیع با استفاده از توابع Windowing با استفاده از Spark SQL Aggregations using Windowing Functions using Spark SQL

• توابع LEAD یا LAG با استفاده از Spark SQL LEAD or LAG Functions using Spark SQL

• دریافت اولین و آخرین مقادیر با استفاده از Spark SQL Getting first and last values using Spark SQL

• رتبه بندی با استفاده از توابع Windowing در Spark SQL Ranking using Windowing Functions in Spark SQL

• ترتیب اجرای Spark SQL Queries Order of execution of Spark SQL Queries

• مروری بر سوالات فرعی با استفاده از Spark SQL Overview of Subqueries using Spark SQL

• فیلتر کردن نتایج تابع پنجره با استفاده از Spark SQL Filtering Window Function Results using Spark SQL

Apache Spark با استفاده از SQL - Windowing Functions Apache Spark using SQL - Windowing Functions

• مقدمه ای بر توابع پنجره سازی با استفاده از Spark SQL Introduction to Windowing Functions using Spark SQL

• پایگاه داده منابع انسانی را در Spark Metastore با استفاده از Spark SQL آماده کنید Prepare HR Database in Spark Metastore using Spark SQL

• مروری بر توابع Windowing با استفاده از Spark SQL Overview of Windowing Functions using Spark SQL

• تجمیع با استفاده از توابع Windowing با استفاده از Spark SQL Aggregations using Windowing Functions using Spark SQL

• توابع LEAD یا LAG با استفاده از Spark SQL LEAD or LAG Functions using Spark SQL

• دریافت اولین و آخرین مقادیر با استفاده از Spark SQL Getting first and last values using Spark SQL

• رتبه بندی با استفاده از توابع Windowing در Spark SQL Ranking using Windowing Functions in Spark SQL

• ترتیب اجرای Spark SQL Queries Order of execution of Spark SQL Queries

• مروری بر سوالات فرعی با استفاده از Spark SQL Overview of Subqueries using Spark SQL

• فیلتر کردن نتایج تابع پنجره با استفاده از Spark SQL Filtering Window Function Results using Spark SQL

سناریوهای نمونه با راه حل Sample scenarios with solutions

• مقدمه ای بر نمونه سناریوها و راه حل ها Introduction to Sample Scenarios and Solutions

• بیان مسئله - دستورالعمل های عمومی Problem Statements - General Guidelines

• راه اندازی کار - دستورالعمل های عمومی Initializing the job - General Guidelines

• دریافت تعداد جرم در هر نوع در ماه - درک داده ها Getting crime count per type per month - Understanding Data

• دریافت تعداد جرم در هر نوع در ماه - پیاده سازی منطق - Core API Getting crime count per type per month - Implementing the logic - Core API

• دریافت تعداد جرم به ازای هر نوع در ماه - اجرای منطق - فریم های داده Getting crime count per type per month - Implementing the logic - Data Frames

• دریافت تعداد جرم در هر نوع در ماه - اعتبارسنجی خروجی Getting crime count per type per month - Validating Output

• دریافت مشتریان غیرفعال - با استفاده از Core Spark API (leftOuterJoin) Get inactive customers - using Core Spark API (leftOuterJoin)

• مشتریان غیرفعال را با استفاده از Data Frames و SQL دریافت کنید Get inactive customers - using Data Frames and SQL

• با استفاده از Core Spark API، 3 جرم برتر را در RESIDENCE دریافت کنید Get top 3 crimes in RESIDENCE - using Core Spark API

• با استفاده از Data Frame و SQL 3 جرم برتر را در RESIDENCE دریافت کنید Get top 3 crimes in RESIDENCE - using Data Frame and SQL

• داده های NYSE را از فرمت فایل متنی به فرمت فایل پارکت تبدیل کنید Convert NYSE data from text file format to parquet file format

• دریافت تعداد کلمات - با آرگومان های کنترلی سفارشی، کلیدهای num و فرمت فایل Get word count - with custom control arguments, num keys and file format

سناریوهای نمونه با راه حل Sample scenarios with solutions

• مقدمه ای بر نمونه سناریوها و راه حل ها Introduction to Sample Scenarios and Solutions

• بیان مسئله - دستورالعمل های عمومی Problem Statements - General Guidelines

• راه اندازی کار - دستورالعمل های عمومی Initializing the job - General Guidelines

• دریافت تعداد جرم در هر نوع در ماه - درک داده ها Getting crime count per type per month - Understanding Data

• دریافت تعداد جرم در هر نوع در ماه - پیاده سازی منطق - Core API Getting crime count per type per month - Implementing the logic - Core API

• دریافت تعداد جرم به ازای هر نوع در ماه - اجرای منطق - فریم های داده Getting crime count per type per month - Implementing the logic - Data Frames

• دریافت تعداد جرم در هر نوع در ماه - اعتبارسنجی خروجی Getting crime count per type per month - Validating Output

• دریافت مشتریان غیرفعال - با استفاده از Core Spark API (leftOuterJoin) Get inactive customers - using Core Spark API (leftOuterJoin)

• مشتریان غیرفعال را با استفاده از Data Frames و SQL دریافت کنید Get inactive customers - using Data Frames and SQL

• با استفاده از Core Spark API، 3 جرم برتر را در RESIDENCE دریافت کنید Get top 3 crimes in RESIDENCE - using Core Spark API

• با استفاده از Data Frame و SQL 3 جرم برتر را در RESIDENCE دریافت کنید Get top 3 crimes in RESIDENCE - using Data Frame and SQL

• داده های NYSE را از فرمت فایل متنی به فرمت فایل پارکت تبدیل کنید Convert NYSE data from text file format to parquet file format

• دریافت تعداد کلمات - با آرگومان های کنترلی سفارشی، کلیدهای num و فرمت فایل Get word count - with custom control arguments, num keys and file format