آمادگی آزمون DP-750: متخصص مهندسی داده Azure Databricks - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

مبانی Databricks Databricks Foundations

• آشنایی با Azure Databricks Introduction to Azure Databricks

• معماری یکپارچه‌سازی Azure و Databricks Azure and Databricks Integration Architecture

• آزمایشگاه: استقرار فضای کاری Databricks (عملی) Lab: Deploying a Databricks Workspace (Hands-On Lab)

• درک مفهوم انبار داده، دریاچه داده و Lakehouse Understanding Data Warehouse, Data Lake and Data Lakehouse

• درک Spark: مقدمه و تکامل از Hadoop Understanding Spark: Introduction and Evolution from Hadoop

• درک Spark: بررسی عمیق و کاربردها Understanding Spark: Deep Dive and Usage

• آزمایشگاه: استقرار یک نمونه Compute مدیریت شده (عملی) Lab: Deploying a Managed Compute Instance (Hands-On Lab)

• تصمیم معماری: انتخاب هدف Compute مناسب Architectural Decision: Choosing an Appropriate Compute Target

• آزمایشگاه: راه‌اندازی مخزن GitHub برای آزمایشگاه‌ها (عملی) Lab: Setting Up the GitHub Repo for the Labs (Hands-On Lab)

تحلیل داده‌ها با استفاده از Apache Spark، SQL و Unity Catalog Data Analytics using Apache Spark, SQL and Unity Catalog

• Unity Catalog: شمایت‌ها، جداول و Volumeها Unity Catalog: Schemas, Tables and Volumes

• آزمایشگاه: تسلط بر Spark (عملی) Lab: Getting Comfortable with Spark (Hands-On Lab)

• آزمایشگاه: عملیات پیشرفته Apache Spark (عملی) Lab: Advanced Apache Spark Operations (Hands-On Lab)

• آزمایشگاه: عملیات جداول Delta (عملی) Lab: Delta Table Operations (Hands-On Lab)

• مقدمه‌ای بر معماری مدالین (Medallion Architecture) Introduction to the Medallion Architecture

• آزمایشگاه: پیاده‌سازی معماری مدالین با Spark (عملی) Lab: Implementing the Medallion Architecture with Spark (Hands-On Lab)

• Viewها: Materialized در مقابل غیر Materialized Views: Materialized v/s non-materialized

• آزمایشگاه: ایجاد Viewهای Materialized و غیر Materialized (عملی) Lab: Creating Materialized and Non-Materialized Views (Hands-On Lab)

• مقدمه‌ای بر AI/BI Genie برای تحلیل داده‌ها Introduction to AI/BI Genie for Data Analysis

• آزمایشگاه: کار با AI/BI Genie (عملی) Lab: Working with AI/BI Genie (Hands-On Lab)

امنیت و حاکمیت اشیاء Unity Catalog Secure and Govern Unity Catalog Objects

• مقدمه‌ای بر احراز هویت Managed Identity برای Databricks Introduction to Managed Identity Auth for Databricks

• آزمایشگاه: ایجاد اتصال خارجی برای ADLS (عملی) Lab: Creating an External Connection for ADLS (Hands-On Lab)

• آزمایشگاه: ایجاد Unity Catalog جدید روی مکان خارجی ADLS (عملی) Lab: Creating a New Unity Catalog on External Location ADLS (Hands-On Lab)

• درک Azure Key Vault Understanding Azure Key Vault

• آزمایشگاه: یکپارچه‌سازی Key Vault با Azure Databricks (عملی) Lab: Key Vault integration with Azure Databricks (Hands-On Lab)

• درک امنیت و دسترسی در سطح جدول، ستون و ردیف Understanding Table, Column and row-level access and security

• آزمایشگاه: امنیت سطح ردیف و ستون برای جداول (عملی) Lab: Row-level and Column-level Security for Tables (Hands-On Lab)

• آزمایشگاه: امنیت سطح ردیف و ستون برای Viewها (عملی) Lab: Row-level and Column-level Security for Views (Hands-On Lab)

طراحی و پیاده‌سازی مدل‌سازی داده‌ها Design and Implement Data Modelling

• انتخاب فرمت جدول داده: Parquet، Delta، CSV، JSON، Iceberg و غیره Choose a Data Table Format: Parquet, Delta, CSV, JSON, Icerberg etc

• جداول مدیریت شده (Managed) در مقابل خارجی (External) Managed v/s External Tables

• آزمایشگاه: کار با جداول مدیریت شده و خارجی (عملی) Lab: Working with Managed and External Tables (Hands-On Lab)

• طراحی طرح پارتیشن‌بندی داده‌ها Design Data Partitioning Scheme

• آزمایشگاه: بهینه‌سازی عملکرد با پارتیشن‌بندی داده‌ها (عملی) Lab: Performance Tuning with Data Partitioning (Hands-On Lab)

• درک دستور OPTIMIZE Understanding OPTIMIZE Command

• درک دستور VACUUM Understanding the VACUUM Command

• آزمایشگاه: بهینه‌سازی عملکرد با OPTIMIZE و VACUUM (عملی) Lab: Performance Tuning with OPTIMIZE and VACUUM (Hands-On Lab)

• درک Z-Ordering و Liquid Clustering Understand Z-Ordering and Liquid Clustering

• آزمایشگاه: بهینه‌سازی عملکرد با Z-Ordering و Liquid Clustering (عملی) Lab: Performance Tuning with Z-Ordering and Liquid Clustering (Hands-On Lab)

• درک مدل Star Schema برای مدل‌سازی داده‌ها Understanding the Star-Schema Model for Data Modelling

• مقدمه‌ای بر SCD: نوع ۱، نوع ۲ و نوع ۳ Introduction to SCD: Type 1, Type 2 and Type 3

• مقدمه‌ای بر پروژه کوچک «گزارش مالی FCA» Introduction to our mini "FCA Financial Reporting" project

• آزمایشگاه: پیاده‌سازی SCD نوع ۲ (عملی) Lab: Implementing SCD Type 2 (Hands-On Lab)

• آزمایشگاه: پیاده‌سازی Change Data Feed و ردپای حسابرسی (Audit Trail) (عملی) Lab: Implementing Change Data Feed and Audit Trail (Hands-On Lab)

جذب داده‌ها در Unity Catalog Ingest Data into Unity Catalog

• نمای کلی جذب داده‌ها در Databricks The Databricks Data Ingestion Landscape

• مقدمه‌ای بر جذب داده‌ها با Lakeflow Connect Introduction to Ingesting Data with Lakeflow Connect

• آزمایشگاه: جذب داده‌ها با استفاده از کانکتورها (عملی) Lab: Ingest Data using Connectors (Hands-On Lab)

• مقدمه‌ای بر جذب داده‌ها با Notebookها Introduction to Data Ingestion with Notebooks

• آزمایشگاه: جذب داده‌ها با Notebookها (عملی) Lab: Ingest Data with Notebooks (Hands-On Lab)

• مقدمه‌ای بر جذب داده‌ها با کوئری CTAS Introduction to Data Ingestion with CTAS Query

• آزمایشگاه: جذب داده‌ها با CTAS (عملی) Lab: Ingest Data with CTAS (Hands-On Lab)

• مقدمه‌ای بر جذب داده‌ها با کوئری COPY INTO Introduction to Data Ingestion with COPY INTO Query

• آزمایشگاه: جذب داده‌ها با COPY INTO (عملی) Lab: Ingest data with "COPY INTO" (Hands-On Lab)

• مقدمه‌ای بر Spark Structured Streaming Introduction to Spark Structured Streaming

• آزمایشگاه: جذب داده‌ها با Spark Structured Streaming (عملی) Lab: Ingest Data with Spark Structured Streaming (Hands-On Lab)

• مقدمه‌ای بر جذب داده‌ها با Auto Loader Introduction to Data Ingestion with Auto Loader

• مقایسه Auto Loader در مقابل COPY INTO Auto Loader v/s COPY INTO

• آزمایشگاه: جذب داده‌ها با Auto Loader (عملی) Lab: Ingest Data with Auto Loader (Hands-On Lab)

• اعمال چارچوب تصمیم‌گیری برای جذب داده‌ها Apply a Data Ingestion Decision Framework

پاکسازی، تبدیل و بارگذاری داده‌ها در Unity Catalog Cleanse, Transform and Load Data into Unity Catalog

• مقدمه‌ای بر پروفایلینگ داده‌ها و بینش‌های آماری Introduction to Data Profiling and Statistical Insights

• آزمایشگاه: پروفایلینگ داده‌ها برای تولید بینش‌های آماری (عملی) Lab: Profile Data to Generate Statistical Insights (Hands-On Lab)

• درک انواع داده‌ها، مدیریت مقادیر Null و حذف داده‌های تکراری Understanding Data Types, Null Handling and Deduplication

• آزمایشگاه: انواع داده‌ها، مدیریت Null و حذف تکراری‌ها (عملی) Lab: Data Types, Null Handling and Deduplication (Hands-On Lab)

• آزمایشگاه: مکانیزم‌های تجمیع (Aggregates)، فیلتر و گروه‌بندی (عملی) Lab: Aggregates, Filters and Grouping Mechanisms (Hands-On Lab)

• مقدمه‌ای بر JOINS Introduction to JOINS

• آزمایشگاه: کار با JOINS (عملی) Lab: Working with JOINS (Hands-On Lab)

• درک نرمال‌سازی و Pivot کردن داده‌های جدول Understanding Normalization and Table Data Pivoting

• آزمایشگاه: Pivot و Un-Pivot کردن داده‌ها (عملی) Lab: Pivot and Un-Pivoting Data (Hands-On Lab)

طراحی و پیاده‌سازی خط لوله‌های داده Design and Implement Data Pipelines

• مقدمه‌ای بر خط لوله‌های داده با Notebookها و SDPها Introduction to Data Pipelines with Notebooks and SDPs

• آزمایشگاه: ایجاد خط لوله با استفاده از Notebookها (عملی) Lab: Create a Pipeline using Notebooks (Hands-On Lab)

• آزمایشگاه: افزودن پارامترهای خط لوله (عملی) Lab: add pipeline parameters (Hands-On Lab)

• آزمایشگاه: ایجاد خط لوله با استفاده از رویکرد SDP (عملی) Lab: Create a Pipeline using the SDP approach (Hands-On Lab)

اعمال کنترل نسخه و فرآیندهای چرخه توسعه Apply Version Control and Development Lifecycle Processes

• مقدمه‌ای بر Git برای Azure Databricks Introduction to Git for Azure Databricks

• برخی از اصطلاحات Git و GitHub Some Git and GitHub Jargons

• آزمایشگاه: ارسال PRها و مدیریت تداخل‌ها (عملی) Lab: Raising PRs and managing conflicts (Hands-On Lab)

• مقدمه‌ای بر Declarative Automation Bundles (DABs) Introduction to Declarative Automation Bundles (DABs)

• آزمایشگاه: راه‌اندازی یک DAB در فضای کاری شما (عملی) Lab: Setup a DAB in your workspace (Hands-On Lab)