آمادگی نهایی برای آزمون دیتا اینجینیر اسوشیت دیتابریکس (Databricks Certified Data Engineer Associate) - آخرین آپدیت

سرفصل ها و درس ها

معرفی دوره Course Introduction

• سلب مسئولیت دوره Course Disclaimer

• معرفی دوره Course Introduction

• ساختار دوره Course Structure

• دانلود اسلایدهای دوره Course Slides Download

• دانلود نوت‌بوک‌های دوره Course Notebooks Download

• دانلود داده‌های دوره Course Data Download

اشتراک Azure Azure Subscription

• ایجاد حساب رایگان Azure Creating Azure Free Account

• مروری بر پورتال Azure Azure Portal Overview

معرفی پلتفرم Databricks Lakehouse Introduction to Databricks Lakehouse Platform

• مروری بر Data Lakehouse Data Lakehouse Overview

• معرفی معماری Medallion Introduction to Medallion Architecture

• مروری بر Databricks Databricks Overview

• ایجاد سرویس Azure Databricks Creating Azure Databricks Service

• مروری بر رابط کاربری Databricks Databricks User Interface Overview

اجزای فضای کاری Databricks Databricks Workspace Components

• مروری بر معماری Databricks Databricks Architecture Overview

• معرفی Databricks Compute Introduction to Databricks Compute

• پیکربندی کلاستر Databricks Databricks Cluster Configuration

• ایجاد کلاستر Databricks Create Databricks Cluster

• نوت‌بوک‌های Databricks Databricks Notebooks

• دستورات جادویی Databricks Databricks Magic Commands

• ابزارهای Databricks Databricks Utilities

• پوشه‌های Git Databricks (Repos) Databricks Git Folders (Repos)

• پوشه‌های Git Databricks (Repos) - دمو Databricks Git Folders (Repos) - Demo

معرفی Unity Catalog Introduction to Unity Catalog

• معرفی Unity Catalog Introduction to Unity Catalog

• مدل شیء Databricks Unity Catalog / Hive Metastore Databricks Unity Catalog / Hive Metastore Object Model

• ایجاد Unity Catalog Metastore Create Unity Catalog Metastore

• پیکربندی‌های کلاستر برای Unity Catalog Cluster Configurations For Unity Catalog

• پیکربندی دسترسی به فضای ذخیره‌سازی ابری - سخنرانی Configure Access to Cloud Storage - Lecture

• پیکربندی دسترسی به فضای ذخیره‌سازی ابری - دمو Configure Access to Cloud Storage - Demo

ETL با Apache Spark - مروری ETL With Apache Spark - Overview

• ETL با Apache Spark - مروری ETL With Apache Spark - Overview

• مروری بر پروژه ETL ETL Project Overview

• راه‌اندازی محیط پروژه Data Lake Set-up Data Lake Project Environment

• راه‌اندازی محیط پروژه Unity Catalog Set-up Unity Catalog Project Environment

ETL با Apache Spark - پرس‌وجو از داده‌ها ETL With Apache Spark - Querying Data

• استخراج داده‌های مشتریان - JSON ساده Extract Customers Data - Simple JSON

• ایجاد View Create Views

• ایجاد View موقت Create Temporary Views

• استخراج داده‌های سفارشات - JSON پیچیده به عنوان متن Extract Orders Data - Complex JSON as Text

• استخراج داده‌های عضویت‌ها - فایل باینری Extract Memberships Data - Binary File

• استخراج داده‌های آدرس‌ها با استفاده از تابع read_files - TSV Extract Addresses Data using read_files Function - TSV

• استخراج داده‌های پرداخت‌ها - CSV از طریق جدول خارجی Extract Payments Data - CSV via External Table

• استخراج داده‌های بازپرداخت‌ها - جدول SQL از طریق جدول خارجی Extract Refunds Data - SQL Table via External Table

• پرس‌وجو از فایل‌ها از طریق PySpark Querying Files via PySpark

ETL با Apache Spark - تبدیل داده‌ها ETL With Apache Spark - Transforming Data

• پروفایل‌بندی داده‌ها در Databricks Data Profiling in Databricks

• تبدیل داده‌های مشتریان Transform Customers Data

• تبدیل داده‌های پرداخت‌ها Transform Payments Data

• تبدیل داده‌های بازپرداخت‌ها Transform Refunds Data

• تبدیل داده‌های عضویت‌ها Transform Memberships Data

• تبدیل داده‌های آدرس‌ها Transform Addresses Data

• پرس‌وجو از داده‌های سفارشات - رشته‌های JSON Query Orders Data - JSON Strings

• تبدیل داده‌های سفارشات - تبدیل رشته به JSON Transform Orders Data - Convert String to JSON

• تبدیل داده‌های سفارشات - باز کردن آرایه‌ها Transform Orders Data - Explode Arrays

• ایجاد آدرس مشتری - JOIN Create Customer Address - JOINs

• ایجاد خلاصه سفارش ماهانه - تجمیع Create Month Order Summary - Aggregations

• توابع تعریف شده توسط کاربر Spark (UDFs) Spark User Defined Functions (UDFs)

• توابع مرتبه بالاتر (آرایه) Higher Order Functions (Array)

• توابع مرتبه بالاتر (Map) Higher Order Functions (Map)

Spark Structured Streaming Spark Structured Streaming

• Structured Streaming - معرفی Structured Streaming - Introduction

• Structured Streaming - دمو Structured Streaming - Demo

• Trigger & OutputMode Trigger & OutputMode

• Checkpointing Checkpointing

• Auto Loader Auto Loader

Delta Lake Delta Lake

• معرفی Delta Lake Introduction to Delta Lake

• Delta Transaction Log Delta Transaction Log

• Delta Lake Version History Delta Lake Version History

• پشتیبانی از تراکنش‌های ACID Support for ACID Transactions

• ایجاد جدول Delta Lake - مروری Create Delta Lake Table - Overview

• ویژگی‌های جدول و ستون Delta Lake Delta Lake Table & Column Properties

• دستورات Create or Replace & CTAS Create or Replace & CTAS Statements

• Insert Overwrite & Partitioning Insert Overwrite & Partitioning

• دستور COPY INTO و MERGE COPY INTO and MERGE Command

• Compaction - OPTIMIZE و ZORDER Compaction - OPTIMIZE and ZORDER

• حذف فایل‌های استفاده نشده - VACUUM Remove Unused Files - VACUUM

مروری بر Delta Live Tables (DLT) Delta Live Tables (DLT) Overview

• معرفی Delta Live Tables Introduction to Delta Live Tables

• معماری DLT DLT Architecture

• برنامه‌نویسی با DLT Programming with DLT

پایپ‌لاین‌ها و نوت‌بوک‌های Delta Live Tables (DLT) Delta Live Tables (DLT) Pipelines & Notebooks

• مروری بر پروژه DLT DLT Project Overview

• پیکربندی کلاستر و سهمیه Azure VM Cluster Configuration & Azure VM Quota

• راه‌اندازی محیط پروژه DLT DLT Project Environment Set-up

• معرفی جداول Streaming - دریافت داده‌های مشتری (SQL) Introduction to Streaming Tables - Ingest Customer Data (SQL)

• معرفی پایپ‌لاین‌های DLT - ایجاد پایپ‌لاین CircuitBox DLT Introduction to DLT Pipelines - Create CircuitBox DLT Pipeline

• معرفی انتظارات DLT - اعتبارسنجی داده‌های مشتریان (SQL) Introduction to DLT Expectations - Validate Customers Data (SQL)

• معرفی Apply Changes - جدول SCD نوع 1 مشتریان (SQL) Introduction to Apply Changes - Customers Type 1 SCD Table (SQL)

• ایجاد مجموعه داده‌های DLT - دریافت داده‌های آدرس‌ها (Python) Creating DLT Datasets - Ingest Addresses Data (Python)

• پیاده‌سازی انتظارات DLT - اعتبارسنجی داده‌های آدرس‌ها (Python) Implementing DLT Expectations - Validate Addresses Data (Python)

• پیاده‌سازی ابعاد با تغییر آهسته - جدول SCD نوع 2 آدرس‌ها (Python) Implementing Slowly Changing Dimensions - Addresses Type 2 SCD Table (Python)

• پردازش داده‌های سفارشات - تکلیف Process Orders Data - Assigment

• معرفی Materialized Views - ایجاد خلاصه سفارش مشتری Introduction to Materialized Views - Create Customer Order Summary

• نحو قدیمی Delta Live Tables Delta Live Tables Legacy Syntax

Databricks Jobs Databricks Jobs

• معرفی Databricks Jobs Introduction to Databricks Jobs

• معرفی Tasks Introduction to Tasks

• ایجاد یک Databricks Job Create a Databricks Job

• اجرا و نظارت بر Jobs Running & Monitoring Jobs

• زمان‌بندی و Event Triggers Schedule & Event Triggers

• اشکال‌زدایی یک job ناموفق Debug a failed job

• تریگرهای پیچیده با استفاده از CRON Complex Triggers using CRON

Databricks SQL Databricks SQL

• مروری بر Databricks SQL Databricks SQL Overview

• ایجاد SQL Warehouse Create SQL Warehouse

• Databricks SQL - پرس‌وجو و تجسم Databricks SQL - Query & Visualization

• Databricks - SQL Alerts Databricks - SQL Alerts

حاکمیت داده Data Governance

• معرفی حاکمیت داده Introduction to Data Governance

• حاکمیت داده با استفاده از Unity Catalog Data Governance using Unity Catalog

• دموی کشف داده، ممیزی و Lineage Data Discovery, Audit & Lineage Demo

• کنترل دسترسی به داده و امنیت Data Access Control & Security

• مدل امتیاز قدیمی Legacy Privilege Model

راهنمای آزمون گواهینامه و آزمون تمرینی Certification Exam Guide & Practice Exam

• سلب مسئولیت و استفاده از آزمون‌های تمرینی Disclaimer & Use of Practice Exams

• مروری بر آزمون گواهینامه Certification Exam Overview

• آزمون تمرینی 1 - Databricks Certified Data Engineer Associate Practice Exam 1 - Databricks Certified Data Engineer Associate

گام‌های بعدی Next Steps

• موفق باشید Good Luck

• سخنرانی جایزه Bonus Lecture