آموزش Databricks Fundamentals & Apache Spark Core

سرفصل ها و درس ها

برپایی Setup

• معرفی Introduction

• یک حساب انجمن Databricks ایجاد کنید Create a Databricks community account

• Dataset را نصب کنید Install the Dataset

• Dataset را نصب کنید Install the Dataset

• نمای کلی مجموعه داده Overview of the dataset

• نوت بوک ها را نصب کنید Install the notebooks

• نوت بوک ها را نصب کنید Install the notebooks

برپایی Setup

• معرفی Introduction

• یک حساب انجمن Databricks ایجاد کنید Create a Databricks community account

• نمای کلی مجموعه داده Overview of the dataset

مقدمه ای بر Databricks و Apache Spark Introduction to Databricks and Apache Spark

• مقدمه ای بر Databricks Introduction to databricks

• مقدمه ای بر Databricks Introduction to databricks

• اولین کد اسپارک آپاچی خود را بنویسید Write your first Apache Spark Code

• Apache Spark Architecture: چگونه Apache Spark روی یک خوشه اجرا می شود Apache Spark Architecture: How Apache Spark runs on a cluster

• Apache Spark Architecture: چگونه Apache Spark روی یک خوشه اجرا می شود Apache Spark Architecture: How Apache Spark runs on a cluster

• تمرین: مشتری با تولدی مشابه خود پیدا کنید Practice: Find customer with the same birthday as you

مقدمه ای بر Databricks و Apache Spark Introduction to Databricks and Apache Spark

• اولین کد اسپارک آپاچی خود را بنویسید Write your first Apache Spark Code

• تمرین: مشتری با تولدی مشابه خود پیدا کنید Practice: Find customer with the same birthday as you

API DataFrame: اصول The DataFrame API: Basics

• یک DataFrame از یک فایل CSV ایجاد کنید Create a DataFrame from a CSV file

• یک DataFrame از یک فایل CSV ایجاد کنید Create a DataFrame from a CSV file

• گزینه ها را برای خواندن یک فایل CSV پیکربندی کنید Configure options to read a CSV file

• نحوه انتخاب ستون ها از DataFrame How to select columns from a DataFrame

• نحوه ارجاع ستون های DataFrame How to reference columns of a DataFrame

• درک طرحواره DataFrame: قسمت 1 Understand the DataFrame Schema: Part 1

• درک طرحواره DataFrame: قسمت 2 Understand the DataFrame Schema: Part 2

• یک طرحواره DataFrame را با استفاده از یک رشته با فرمت DDL مشخص کنید: قسمت 1 Specify a DataFrame Schema using a DDL-formatted string : Part 1

• یک طرحواره DataFrame را با استفاده از یک رشته با فرمت DDL مشخص کنید: قسمت 2 Specify a DataFrame Schema using a DDL-formatted string : Part 2

• Spark Architecture: سازماندهی یک DataFrame Spark Architecture: The Organization of a DataFrame

API DataFrame: اصول The DataFrame API: Basics

• گزینه ها را برای خواندن یک فایل CSV پیکربندی کنید Configure options to read a CSV file

• نحوه انتخاب ستون ها از DataFrame How to select columns from a DataFrame

• نحوه ارجاع ستون های DataFrame How to reference columns of a DataFrame

• درک طرحواره DataFrame: قسمت 1 Understand the DataFrame Schema: Part 1

• درک طرحواره DataFrame: قسمت 2 Understand the DataFrame Schema: Part 2

• یک طرحواره DataFrame را با استفاده از یک رشته با فرمت DDL مشخص کنید: قسمت 1 Specify a DataFrame Schema using a DDL-formatted string : Part 1

• یک طرحواره DataFrame را با استفاده از یک رشته با فرمت DDL مشخص کنید: قسمت 2 Specify a DataFrame Schema using a DDL-formatted string : Part 2

• Spark Architecture: سازماندهی یک DataFrame Spark Architecture: The Organization of a DataFrame

DataFrame API: Transforming Data The DataFrame API: Transforming Data

• اضافه کردن ستون به DataFrame Adding columns to a DataFrame

• تغییر نام ستون های DataFrame Renaming columns of a DataFrame

• تغییر نام ستون های DataFrame Renaming columns of a DataFrame

• حذف ستون ها از DataFrame Removing columns from a DataFrame

• فیلتر کردن ردیف ها از یک DataFrame Filtering rows from a DataFrame

• پیوستن به چندین DataFrame: قسمت 1 Joining multiple DataFrames: Part 1

• پیوستن به چندین DataFrame: قسمت 1 Joining multiple DataFrames: Part 1

• پیوستن به چندین DataFrame: قسمت 2 Joining multiple DataFrames: Part 2

• تجمع: شمارش Aggregation: Count

• تجمع: تعداد متمایز Aggregation: Count Distinct

• Aggregation: مقدار Min را دریافت کنید Aggregation: Get the Min value

• Aggregation: مقدار حداکثر را دریافت کنید Aggregation: Get the Max value

• Aggregation: جمع و SumDistinct را بدست آورید Aggregation: Get the Sum and SumDistinct

• تجمع: متوسط ​​و متوسط Aggregation: Average and Mean

• تجمع: متوسط ​​و متوسط Aggregation: Average and Mean

• تجمع: گروه بندی داده ها - قسمت 1 Aggregation: Grouping data - Part 1

• تجمع: گروه بندی داده ها - قسمت 1 Aggregation: Grouping data - Part 1

• تجمع: گروه بندی داده ها - قسمت 2 Aggregation: Grouping data - Part 2

• تجمع: گروه بندی داده ها - قسمت 2 Aggregation: Grouping data - Part 2

• تمرین: پرس و جو تجاری 1 Practice: Business Query 1

• تمرین: پرس و جو تجاری 1 Practice: Business Query 1

• تمرین: پرس و جو تجاری 2 Practice: Business Query 2

• تمرین: پرس و جو تجاری 2 Practice: Business Query 2

• معماری اسپارک آپاچی: چگونه آپاچی اسپارک داده ها را به صورت داخلی تغییر می دهد Apache Spark Architecture: How Apache Spark Transforms data Internally

• معماری اسپارک آپاچی: چگونه آپاچی اسپارک داده ها را به صورت داخلی تغییر می دهد Apache Spark Architecture: How Apache Spark Transforms data Internally

• تابع تعریف شده توسط کاربر User Defined Function

• تابع تعریف شده توسط کاربر User Defined Function

DataFrame API: Transforming Data The DataFrame API: Transforming Data

• اضافه کردن ستون به DataFrame Adding columns to a DataFrame

• حذف ستون ها از DataFrame Removing columns from a DataFrame

• فیلتر کردن ردیف ها از یک DataFrame Filtering rows from a DataFrame

• پیوستن به چندین DataFrame: قسمت 2 Joining multiple DataFrames: Part 2

• تجمع: شمارش Aggregation: Count

• تجمع: تعداد متمایز Aggregation: Count Distinct

• Aggregation: مقدار Min را دریافت کنید Aggregation: Get the Min value

• Aggregation: مقدار حداکثر را دریافت کنید Aggregation: Get the Max value

• Aggregation: جمع و SumDistinct را بدست آورید Aggregation: Get the Sum and SumDistinct

Spark SQL & SQL Fundamentals Spark SQL & SQL Fundamentals

• SQL را روی DataFrame اجرا کنید: TempView Run SQL on a DataFrame: TempView

• SQL را روی DataFrame اجرا کنید: TempView Run SQL on a DataFrame: TempView

• SQL را روی DataFrame اجرا کنید: GlobalView Run SQL on a DataFrame: GlobalView

• پایگاه های داده: فهرست، ایجاد، حذف، انتخاب Databases: List, Create, Delete, Select

• پایگاه های داده: فهرست، ایجاد، حذف، انتخاب Databases: List, Create, Delete, Select

• جداول: مدیریت نشده Tables: Unmanaged

• جداول: مدیریت نشده Tables: Unmanaged

• جداول: مدیریت شده Tables: Managed

• SQL Fundamentals: Clause و Select Expression را انتخاب کنید SQL Fundamentals: Select Clause & Select Expression

• SQL Fundamentals: Where Clause، Equality Checks SQL Fundamentals: Where Clause, Equality Checks

• اصول SQL: مدیریت NULL ها در بند Where SQL Fundamentals: Handling NULLs in Where Clause

• SQL Fundamentals: Aggregations - Sum, Count, AVG, Mean SQL Fundamentals: Aggregations - Sum, Count, AVG, Mean

• SQL Fundamentals: Aggregations - Sum, Count, AVG, Mean SQL Fundamentals: Aggregations - Sum, Count, AVG, Mean

• SQL Fundamentals: Group By Clause SQL Fundamentals: Group By Clause

• SQL Fundamentals: Group By Clause SQL Fundamentals: Group By Clause

• اصول SQL: داشتن بند SQL Fundamentals: Having Clause

• SQL Fundamentals: Order By Clause SQL Fundamentals: Order By Clause

• SQL Fundamentals: Inner Joins SQL Fundamentals: Inner Joins

• SQL Fundamentals: Inner Joins SQL Fundamentals: Inner Joins

• SQL Fundamentals: Left Outer Joins SQL Fundamentals: Left Outer Joins

• SQL Fundamentals: Left Outer Joins SQL Fundamentals: Left Outer Joins

• SQL Fundamentals: Right Outer Joins SQL Fundamentals: Right Outer Joins

• مبانی SQL: محمولات و عملگرها، مانند محمول SQL Fundamentals: Predicates and Operators, like predicate

• SQL Fundamentals: Case Expressions SQL Fundamentals: Case Expressions

• تمرین: پرس و جو تجاری 3 Practice : Business Query 3

• تمرین: پرس و جو تجاری 4 Practice: Business Query 4

• تمرین: پرس و جو تجاری 4 Practice: Business Query 4

• تمرین: پرس و جو کسب و کار 5 Practice: Business Query 5

• تمرین: پرس و جو کسب و کار 5 Practice: Business Query 5

Spark SQL & SQL Fundamentals Spark SQL & SQL Fundamentals

• SQL را روی DataFrame اجرا کنید: GlobalView Run SQL on a DataFrame: GlobalView

• جداول: مدیریت شده Tables: Managed

• SQL Fundamentals: Clause و Select Expression را انتخاب کنید SQL Fundamentals: Select Clause & Select Expression

• SQL Fundamentals: Where Clause، Equality Checks SQL Fundamentals: Where Clause, Equality Checks

• اصول SQL: مدیریت NULL ها در بند Where SQL Fundamentals: Handling NULLs in Where Clause

• اصول SQL: داشتن بند SQL Fundamentals: Having Clause

• SQL Fundamentals: Order By Clause SQL Fundamentals: Order By Clause

• SQL Fundamentals: Right Outer Joins SQL Fundamentals: Right Outer Joins

• مبانی SQL: محمولات و عملگرها، مانند محمول SQL Fundamentals: Predicates and Operators, like predicate

• SQL Fundamentals: Case Expressions SQL Fundamentals: Case Expressions

• تمرین: پرس و جو تجاری 3 Practice : Business Query 3

کار با انواع مختلف داده Working with different type of data

• Schema یک DataFrame را با StructType مشخص کنید Specify the Schema of a DataFrame with StructType

• Schema یک DataFrame را با StructType مشخص کنید Specify the Schema of a DataFrame with StructType

• تبدیل حرف به انواع جرقه: تابع روشن Converting literals to Spark Types: The lit function

• کار با Booleans Working with booleans

• کار با اعداد Working with numbers

• کار با اعداد Working with numbers

• کار با رشته ها Working with strings

• کار با تاریخ و مهر زمان Working with dates and timestamps

• انواع پیچیده: سازه Complex Types: Structs

• انواع پیچیده: سازه Complex Types: Structs

• انواع پیچیده: آرایه ها Complex Types: Arrays

• انواع پیچیده: نقشه ها Complex Types: Maps

• انواع پیچیده: نقشه ها Complex Types: Maps

• مدیریت مقادیر NULL: مقادیر NULL را رها کنید Handling NULL Values: Drop NULL Values

• مدیریت مقادیر NULL: جایگزین مقادیر NULL Handling NULL Values: Replace NULL Values

• مدیریت مقادیر NULL: جایگزین مقادیر NULL Handling NULL Values: Replace NULL Values

کار با انواع مختلف داده Working with different type of data

• تبدیل حرف به انواع جرقه: تابع روشن Converting literals to Spark Types: The lit function

• کار با Booleans Working with booleans

• کار با رشته ها Working with strings

• کار با تاریخ و مهر زمان Working with dates and timestamps

• انواع پیچیده: آرایه ها Complex Types: Arrays

• مدیریت مقادیر NULL: مقادیر NULL را رها کنید Handling NULL Values: Drop NULL Values

منابع اطلاعات Data Sources

• DataFrameReader: خواندن فایل های CSV DataFrameReader: Read CSV Files

• DataFrameReader: فایل های JSON را بخوانید DataFrameReader: Read JSON Files

• DataFrameWriter: داده ها را بنویسید DataFrameWriter: Write Data

• DataFrame را به صورت دستی ایجاد کنید Create DataFrame manually

منابع اطلاعات Data Sources

• DataFrameReader: خواندن فایل های CSV DataFrameReader: Read CSV Files

• DataFrameReader: فایل های JSON را بخوانید DataFrameReader: Read JSON Files

• DataFrameWriter: داده ها را بنویسید DataFrameWriter: Write Data

• DataFrame را به صورت دستی ایجاد کنید Create DataFrame manually