آمادگی آزمون تحلیلگر داده رسمی Databricks - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مروری کلی بر Databricks Databricks: A high-level overview

• دیلتای لیک (Delta Lake) چیست؟ What is Delta Lake?

• معرفی دوره Course introduction

• داستان داده (انبار داده، دریاچه داده، لیک‌هاوس داده) Data story (data warehouse, data lake, data lakehouse)

1. شروع کار با Databricks 1. Getting Started with Databricks

• ثبت‌نام در پلتفرم Databricks Sign up on Databricks platform

• آشنایی با کنسول حساب کاربری Databricks Understand Databricks account console

• حساب‌ها و محیط‌های کاری Databricks Databricks account and workspaces

• تامین‌کننده خدمات ابری Cloud service provider

• کاتالوگ یونیتی (Unity Catalog) Unity Catalog

• گشت‌وگذار در رابط کاربری محیط کاری Workspace UI walkthrough

2. وارد کردن داده‌ها 2. Importing Data

• نوشتن کوئری‌های پایه در Databricks Writing basic queries in Databricks

• ایجاد جدول Delta از یک فایل CSV با استفاده از read_files() Creating a Delta table from a CSV file using read_files()

• جداول مدیریت‌شده در مقابل جداول خارجی Managed vs. external tables

• بررسی عملی ویژگی‌های جدول Delta Exploring Delta table features in practice

• آپلود فایل CSV محلی به یک Volume از طریق UI Upload a local CSV file to a volume using the UI

• وارد کردن داده‌ها از Amazon S3 به Databricks Ingesting data from Amazon S3 into Databricks

• بازارچه Databricks Marketplace Databricks Marketplace

• اشتراک‌گذاری دلتا (Delta Sharing) Delta Sharing

• انتقال جدول Delta به یک اسکیمای دیگر Moving Delta table to another schema

• بارگذاری داده‌ها در جدول Delta با استفاده از COPY INTO Loading data into a Delta table using COPY INTO

• استفاده از INSERT INTO برای افزودن داده به جدول Delta Using INSERT INTO to add data to a Delta table

• آپلود فایل محلی به عنوان جدول از طریق UI Upload a local file as a table using the UI

3. تسلط بر SQL در Databricks 3. Master SQL in Databricks

• عبارات جدولی مشترک (CTE) در Databricks SQL Common table expressions (CTE) in Databricks SQL

• ترکیب مجموعه‌ نتایج با استفاده از عملگرهای Set در Databricks SQL Combining result sets using set operators in Databricks SQL

• کار با توابع رشته‌ای، تاریخ و تبدیل داده‌ها Working with string, date, and data conversion functions

• استفاده از زیر-کوئری‌ها در Databricks SQL Using subqueries in Databricks SQL

• توابع پنجره‌ای (Window functions) در Databricks SQL Window functions in Databricks SQL

• گروه‌بندی و فیلتر کردن داده‌ها با GROUP BY و HAVING Grouping and filtering data using GROUP BY and HAVING

• مدیریت مقادیر NULL با استفاده از IS NULL، COALESCE و IFNULL Handling NULL values using IS NULL, COALESCE, and IFNULL

• ترکیب جداول با استفاده از Joins در Databricks SQL Combining tables using joins in Databricks SQL

• کار با توابع تجمیعی: به‌روزرسانی برای افزودن STDEV Working with aggregate functions: Update to add STDEV

• مرتب‌سازی نتایج کوئری با استفاده از ORDER BY Sorting query results using ORDER BY

• استفاده از عبارت CASE برای منطق شرطی Using CASE expression for conditional logic

4. ویوها در Databricks 4. Views in Databricks

• ویوهای استاندارد Standard views

• ویوهای پویا (Dynamic views) Dynamic views

• ویوهای متریالیزه (Materialized views) Materialized views

• ویوهای موقت Temporary views

5. توسعه مدرن SQL با هوش مصنوعی در Databricks 5. Modern SQL Development with AI in Databricks

• عیب‌یابی و بهینه‌سازی با هوش مصنوعی Debugging and optimization with AI

• بونوس: استفاده از AI برای تبدیل SQL به PySpark Bonus: Using AI to convert SQL to PySpark

• بهترین روش‌ها: جریان کاری تحلیلگر + هوش مصنوعی Best practices: AI + analyst workflow

• هوش مصنوعی برای نوشتن و توضیح SQL AI for writing and explaining SQL

6. مدیریت و امنیت داده‌ها (Unity Catalog) 6. Managing & Securing Data (Unity Catalog)

• امنیت Unity Catalog: نقش‌ها، مجوزها، اشتراک‌گذاری و بهترین روش‌ها Unity Catalog security: Roles, permissions, sharing, and best practices

• اعمال و شناسایی تگ‌ها در Unity Catalog با استفاده از SQL Applying and discovering tags in Unity Catalog using SQL

• اعمال تگ‌ها در Unity Catalog از طریق UI Applying tags in Unity Catalog using the UI

• درک و مشاهده تبار داده‌ها (Data Lineage) در Unity Catalog Understanding and viewing data lineage in Unity Catalog

• مبانی Unity Catalog: توضیح به زبان ساده Unity Catalog fundamentals: Explained simply

• کاربرد عملی Unity Catalog: اتصال محیط کاری و مجوزها Unity Catalog in practice: Workspace binding and permissions

7. کار با داشبوردها و بصری‌سازی در Databricks 7. Working with Dashboards and Visualizations in Databricks

• اشتراک‌گذاری و مدیریت مجوزهای داشبورد در Databricks Sharing and managing dashboard permissions in Databricks

• کار با انواع بصری‌سازی در داشبوردهای Databricks SQL - بخش دوم Working with visualization types in Databricks SQL dashboards, part 2

• ویژگی‌های ارتقایافته با هوش مصنوعی AI enhanced features

• کار با انواع بصری‌سازی در داشبوردهای Databricks SQL - بخش اول Working with visualization types in Databricks SQL dashboards, part 1

• ایجاد بصری‌سازی‌ها در نوت‌بوک‌ها و ویرایشگر SQL Create visualizations in notebooks and the SQL editor

• کار با پارامترها در کوئری‌های SQL و داشبوردها Working with parameters in SQL queries and dashboards

• طراحی مجموعه‌ داده‌ها برای داشبوردها Designing datasets for dashboards

• داشبورد AI/BI چیست؟ What is an AI/BI dashboard?

• فیلتر کردن داشبورد: فیلترهای محلی، جهانی و متقاطع Dashboard filtering: Local, global, and cross-filtering

• بهبود داشبوردهای Databricks با شمارنده‌ها، ویجت‌های متنی و تصاویر Enhancing Databricks dashboards with counters, text widget, and image

• زمان‌بندی به‌روزرسانی خودکار داشبورد Schedule an automatic dashboard refresh

• ایجاد و پیکربندی هشدارها در Databricks SQL Creating and configuring alerts in Databricks SQL

8. توسعه، اشتراک‌گذاری و نگهداری فضاهای AI/BI Genie 8. Developing, Sharing, and Maintaining AI/BI Genie spaces

• ایجاد فضای AI/BI Genie در Databricks Creating an AI/BI Genie Space in Databricks

• بهینه‌سازی فضاهای AI/BI Genie: نظارت، بازخورد، دستورالعمل‌ها و بنچ‌مارک‌ها Optimizing AI/BI Genie Spaces: Monitoring, feedback, instructions, benchmarks

• مدیریت مجوزها و اشتراک‌گذاری فضاهای AI/BI Genie Managing permissions and sharing AI/BI Genie Spaces

• معرفی AI/BI Genie و فضاهای Genie Introduction to AI/BI Genie and Genie Spaces

9. مدل‌سازی داده‌ها با Databricks SQL 9. Data Modeling with Databricks SQL

• طراحی اسکیمای ستاره‌ای (Star) و دانه برفی (Snowflake) Designing star and snowflake schemas

• توضیح مفهوم Last mile ETL Last mile ETL explained

• ساخت جداول استریمینگ با معماری Medallion Building streaming tables with the Medallion architecture

• مدل‌سازی Data Vault: هاب‌ها، لینک‌ها و ماهواره‌ها Data vault modeling: hubs, links, and satellites

• درک جداول Fact و Dimension در مدل‌سازی داده‌ها Understanding fact and dimension tables in data modeling

• معماری Medallion: لایه‌های برنزی، نقره‌ای و طلایی Medallion architecture: bronze, silver, and gold layers

10. تحلیل کوئری‌ها 10. Analyzing Queries

• معرفی Photon در Databricks Introduction to Photon in Databricks

• دستور VACUUM در Delta Lake: حذف فایل‌های داده قدیمی Delta Lake VACUUM: Removing obsolete data files

• درک مفهوم CACHE TABLE در Databricks Understanding CACHE TABLE in Databricks

• تحلیل عملکرد کوئری با تاریخچه و پروفایل کوئری Analyzing query performance with query history and query profile

• توضیح بهبودهای داده‌ای (Data enhancements) Data enhancements explained

• خوشه‌بندی مایع (Liquid clustering) در Databricks Liquid clustering in Databricks

11. جمع‌بندی 11. Summary

• جمع‌بندی Summary