آموزش تسلط بر دستکاری و آماده سازی داده ها با پای‌اسپارک (PySpark) در دیتابریکس (Databricks) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مروری بر دوره Course Overview

• نوت‌بوک‌ها Notebooks

شروع کار با PySpark و Databricks Getting Started with PySpark and Databricks

• مقدمه‌ای بر PySpark و Databricks Introduction to PySpark and Databricks

• راه‌اندازی محیط Databricks Setting up Your Databricks Environment

• درون Databricks Inside Databricks

• تبدیل‌ها در مقابل اقدامات Transformations vs Actions

مبانی PySpark Basics of PySpark

• ساختارهای داده PySpark PySpark Data Structures

• ساختارهای داده Pyspark Pyspark Data Structures

• اسکیما و انواع داده Schema and data types

• ایجاد DataFrames Creating DataFrames

• ایجاد DataFrames - قسمت 2 Creating DataFrames - Part 2

• وارد کردن توابع PySpark در Databricks Importing PySpark Functions in Databricks

• چه چیزی را به یک جلسه PySpark وارد کنیم What to import to a PySpark Session

• بارگیری و نمایش داده در Databricks Loading and Displaying Data in Databricks

• استنتاج اسکیما Infer Schema

• نحوه بارگذاری داده در Databricks How to Load data to Databricks

داده‌کاوی با PySpark Data Wrangling With PySpark

• دستکاری داده با PySpark Data Manipulation with PySpark

• انتخاب، اضافه کردن و حذف ستون‌ها Selecting, Adding and Removing Columns

• تغییر نام ستون‌ها Renaming Columns

• شمارش، شمارش متمایز، مرتب‌سازی، ریخته‌گری Count, Count Distinct, Sort, Cast

• فیلتر کردن داده Filtering Data

• فیلتر کردن شامل و مانند Filtering Contains and Like

• بین و isin Between and isin

• مقادیر پر کردن و جایگزینی، مدیریت داده‌های گمشده Fill and Replace Values, Handling Missing Data

• مدیریت داده‌های گمشده 2 Handling Missing Data 2

• بررسی محتوا Content Check

• Case When Case When

• تجمیع داده Aggregating Data

• جدول Pivot Pivot Table

• پرداختن به تاریخ و زمان Dealing with Date and Time

• Window Window

• بررسی محتوا Content Check

• پیوستن به مجموعه داده‌ها Joining Datasets

• درصدک Percentile

• میانه (به‌روزرسانی) Median (Update)

• سایر توابع مفید Other Useful Functions

• سایر توابع مفید قسمت 2 Other Useful Functions Part 2

• ذخیره‌سازی داده Data Caching

• ذخیره داده در CSV Saving Data to CSV

• ذخیره داده در سیستم فایل Databricks Saving Data to Databricks File System

• تمرین‌ها Exercises

• راه‌حل‌های تمرین‌ها Exercises Solutions

بهینه‌سازی پرس‌وجو Query Optimization

• بهینه‌سازی پرس‌وجو Query Optimization

• Cache و Persist Cache and Persist

• بهترین شیوه‌ها برای مدیریت مجموعه‌های داده بزرگ Best practices for handling large datasets

Databricks SQL Databricks SQL

• DataFrame API در مقابل SQL API DataFrame API vs. SQL API

• کار با SQL Working with SQL

• پرس‌وجوهای SQL پایه Basic SQL Queries

یادگیری ماشین با PySpark Machine Learning with PySpark

• مقدمه‌ای بر یادگیری ماشین با Pyspark Introduction to Machine Learning with Pyspark

• رگرسیون MLlib: قیمت الماس MLlib Regression: Diamonds Prices

• رگرسیون MLlib: قیمت الماس (2) MLlib Regression: Diamonds Prices (2)

• رگرسیون MLlib: قیمت الماس (3) MLlib Regression: Diamonds Prices (3)

• مورد ML 2 - رگرسیون لجستیک ML Case 2 - Logistic Regression

• مهندسی ویژگی Feature engineering

• آماده‌سازی داده برای مدل‌سازی Preparing Data for Modeling

• آموزش و ارزیابی مدل‌های یادگیری ماشین Training and Evaluating Machine Learning Models

• تنظیم مدل Model Tunning

نتیجه‌گیری Conclusion

• نتیجه‌گیری دوره Course Conclusion

• گاف‌ها Bloppers

• مطالب جایزه Bonus Materials

• مقدمه‌ای بر Polars Introduction to Polars