آموزش راهنمای جامع Databricks برای مهندسی داده - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• معرفی دوره Course introduction

• پیش‌نیازها و دانستنی‌ها What you should know

1. معرفی Databricks 1. Introduction to Databricks

• ایجاد کلاستر تک‌گره‌ای برای تمرین Create a single-node cluster for practice

• پلتفرم Databricks چیست؟ What is Databricks?

• کار با محیط کاربری Databricks Navigating the Databricks interface

• آشنایی با نوت‌بوک‌های Databricks Introduction to Databricks notebooks

• راه‌اندازی محیط کاری (Workspace) در Databricks Setting up a Databricks workspace

2. شروع کار با Databricks 2. Getting Started with Databricks

• درک سیستم فایل Databricks (DBFS) Understanding the Databricks File System (DBFS)

• مرور و بررسی داده‌ها در DBFS Browse and explore data in DBFS

• بارگذاری داده‌های نمونه در DBFS Load sample data in DBFS

3. خواندن داده‌ها با Databricks 3. Read Data with Databricks

• مدیریت داده‌های JSON تو در تو در Databricks Handle nested JSON data in Databricks

• استفاده از Schema برای خواندن فایل در Databricks Use a schema to read a file in Databricks

• درک مفهوم DataFrameها Understand DataFrames

• خواندن فایل Parquet در Databricks Read a Parquet file in Databricks

• خواندن فایل JSON در Databricks Read a JSON file in Databricks

• خواندن فایل CSV در Databricks Read a CSV file in Databricks

4. ترنسفورمیشن PySpark در Databricks 4. PySpark Transformation in Databricks

• افزودن یا حذف ستون‌ها در PySpark Add or remove columns in PySpark

• مدیریت Timestampها در PySpark Handle timestamp manipulation in PySpark

• استفاده از UNION و DISTINCT در PySpark Use UNION and DISTINCT in PySpark

• مدیریت مقادیر Null در PySpark Handle nulls in PySpark

• دستکاری رشته‌ها (Strings) در PySpark Manipulate strings in PySpark

• استفاده از تابع select در PySpark Use the select function in PySpark

• استفاده از ترنسفورمیشن‌های filter و where در PySpark Use filter and where transformations in PySpark

• استفاده از sortBy و orderBy در PySpark Use sortBy and orderBy in PySpark

• مدیریت تاریخ‌ها در PySpark Handle date manipulation in PySpark

• استفاده از groupBy و Aggregation در PySpark Use groupBy and aggregation in PySpark

5. نوشتن DataFrame در Databricks 5. Write a DataFrame in Databricks

• نوشتن DataFrame به صورت فایل در DBFS Write a DataFrame as a file in DBFS

• نوشتن DataFrame با استفاده از Partitioning Write a DataFrame as using partitioning

6. استفاده از Spark SQL در Databricks 6. Spark SQL in Databricks

• اسپارک SQL چیست؟ What is Spark SQL?

• استفاده از ترنسفورمیشن‌های Spark SQL Use Spark SQL transformations

• نوشتن DataFrame به عنوان جداول Managed در PySpark Write DataFrames as managed tables in PySpark

• ایجاد Viewهای موقت در Databricks Create temporary views in Databricks

• ایجاد Viewهای موقت سراسری (Global Temp) در Databricks Create global temp views in Databricks

• نوشتن DataFrame به عنوان جدول External در PySpark Write a DataFrame as external table in PySpark

7. مفهوم Delta Lake و جداول Delta در Databricks 7. Delta Lake and Delta Tables in Databricks

• سفر در زمان (Time Travel) با استفاده از Delta Lake Time travel using Delta Lake

• Delta Lake چیست و چه مزایایی دارد؟ What is Delta Lake and its benefits?

• ایجاد جداول Delta Create Delta tables

• مدیریت عملیات DML در جداول Delta Handle DML operations in Delta tables

8. بهینه‌سازی Joinها در Databricks 8. Join Optimizations in Databricks

• مفهوم Bucketing در PySpark Bucketing in PySpark

• مدیریت انواع مختلف Join Handle multiple types of join

• بررسی Broadcast Join Broadcast join

9. زمان‌بندی نوت‌بوک (Scheduling) 9. Scheduling the Notebook

• زمان‌بندی اجرای نوت‌بوک‌ها Notebook job scheduling

10. مدیریت کلاستر در Databricks 10. Cluster Management in Databricks

• بررسی پیکربندی کلاستر و رابط کاربری Explore cluster configuration and the UI

• درک Job Clusters Understand job clusters

• درک Interactive Cluster Understand the interactive cluster

11. جریان‌های کاری (Workflows) در Databricks 11. Workflows in Databricks

• درک جریان‌های کاری (Workflows) در Databricks Understand workflows in Databricks

• ایجاد یک Workflow در Databricks Create a workflow in Databricks

12. آشنایی با dbutils در Databricks 12. dbutils in Databricks

• dbutils در Databricks چیست؟ What is dbutils in Databricks?

• استفاده از dbutils برای نوت‌بوک dbutils notebook

• اتصال (Mounting) با dbutils dbutils mounting

• دستورات fs در dbutils dbutils fs commands

13. کاتالوگ Unity در Databricks 13. Unity Catalog in Databricks

• درک Unity Catalog Understand the Unity Catalog

14. پروژه نهایی 14. Capstone Project

• بررسی مورد پژوهی پروژه Project use case

• پیاده‌سازی راهکار Solution

جمع‌بندی Conclusion

• گام‌های بعدی Next steps