آموزش بوت‌کمپ جامع مهندسی داده Databricks - گواهینامه Certified Data Engineer Associate - آخرین آپدیت

سرفصل ها و درس ها

معرفی دوره و منابع Course Introduction & Resources

• مقدمه Introduction

• محتوای دوره Course Content

• سلب مسئولیت Disclaimer

• منابع - پوشه زیپ شده (اصلی) Resources - Zipped_Folder (Main)

• منابع - داده‌های خام Resources - Raw Data

• منابع - اسلایدهای دوره Resources - Course Slides

• منابع - اسکریپت‌ها، نوت‌بوک‌ها و فایل‌ها Resources - Scripts, Notebook, & Files

• منابع - سورس کد Databricks Resources - Databricks Source Code

مبانی Databricks و Lakehouse Databricks & Lakehouse Fundamentals

• لیک هاوس (Lakehouse) چیست؟ What is Lakehouse?

• Delta Lake - ستون فقرات Lakehouse Delta Lake - Backbone of Lakehouse

• Databricks چیست و چرا از آن استفاده کنیم؟ What is Databricks? & Why Databricks?

• معماری Databricks Databricks Architecture

• معماری مدالین (Medallion) چیست؟ What is Medallion Architecture?

• کوییز Lakehouse Lakehouse Quiz

شروع کار با Databricks Get Started With Databricks

• نسخه رایگان Databricks - معرفی جدید Databricks Free Edition - Newly Announced

• مرور کلی Databricks Databricks Overview

• ارجاع به منابع در محیط Databricks Refer Resources Within Databricks

• انواع Compute در Databricks Databricks Compute - All The Types

راهنمای کامل Unity Catalog Unity Catalog - The Complete Guide

• Unity Catalog چیست؟ What is Unity Catalog?

• تکامل با Unity Catalog Evolution With Unity Catalog

• مقایسه جداول Managed و External Managed VS External Tables

• دموی جداول Managed Managed Tables Demo

• Unity Catalog Volumes Unity Catalog Volumes

• ولوم‌های Managed و External Managed and External Volumes

• DBUTILS - ماژول سیستم‌عامل Databricks DBUTILS - Databricks OS Module

• کوییز Unity Catalog Unity Catalog Quiz

کار با داده‌های حجیم با Apache Spark Big Data With Apache Spark

• تبدیلات PySpark - لایه Silver PySpark Transformations - Silver Layer

• کوئری‌های ساختاریافته با SparkSQL Structured Queries With SparkSQL

• استفاده از PySpark UDF برای توابع سفارشی PySpark UDF For Custom Functions

[جدید] Databricks Lakehouse Federation [NEW] Databricks Lakehouse Federation

• کار با فایل‌های Databricks Work with Databricks Files

• Databricks Lakehouse Federation Databricks Lakehouse Federation

• چرا Lakehouse Federation؟ Why Lakehouse Federation?

• کاتالوگ‌ها و جداول خارجی (Foreign) Foreign Catalogs and Foreign Tables

• کوییز Lakehouse Federation Databricks Lakehouse Federation Quiz

Databricks Lakeflow Connect - بخش اول Databricks Lakeflow Connect - Part:1

• Lakeflow Connect چیست؟ What is Lakeflow Connect?

• چرا Lakeflow Connect؟ Why Lakeflow Connect?

• Lakeflow Connect - آپلود فایل‌ها Lakeflow Connect - Upload Files

• Lakeflow Connect - کانکتور استاندارد Lakeflow Connect - Standard Connector

• Lakeflow Connect - کانکتور مدیریت شده Lakeflow Connect - Managed Connector

Databricks Lakeflow Connect - بخش دوم Databricks Lakeflow Connect - Part:2

• Spark Streaming چیست؟ What is Spark Streaming?

• Autoloader چیست؟ Autoloader - what's that?

• معماری کامل Autoloader Autoloader Complete Architecture

• قدرت Autoloader The power of Autoloader

• مفهوم Idempotency در Autoloader Idempotency with Autoloader

• تکامل شما در Autoloader - داده‌های نجات‌یافته Schema Evolution with Autoloader - Rescued Data

• تکامل شما در Autoloader - افزودن ستون‌های جدید Schema Evolution with Autoloader - AddNewColumns

• بارگذاری افزایشی با COPY INTO Incremental Load with COPY INTO

• قدرت دستور COPY INTO The power of COPY INTO

• کوییز Autoloader Autoloader Quiz

[جدید] Databricks SQL Warehouse [NEW] Databricks SQL Warehouse

• نگاهی سریع به Databricks SQL Databricks SQL : a sneak-peek

• Databricks SQL Warehouse چیست؟ What is Databricks SQL Warehouse?

• ویرایشگر Databricks SQL Databricks SQL Editor

• کوئری‌های پارامتری در Databricks SQL Parametrized Queries in Databricks SQL

• قطعه کدهای SQL - بازاستفاده از کد SQL Query Snippets - Reuse your code

• عبارات جدولی مشترک (CTEs) Common Table Expressions - CTEs

• زمان‌بندی کوئری‌ها Query Scheduling

• پروفایل کوئری برای مانیتورینگ Query Profile for Monitoring

• کش کوئری - افزایش سرعت اجرا Query Cache - Boost Query Performance

• هشدارهای SQL - تریگرها SQL Alerts - Triggers

• معرفی Databricks Genie Databricks Genie

• داشبوردهای Databricks SQL Databricks SQL Dashboards

• کوییز Databricks SQL Databricks SQL Quiz

[جدید] Databricks Lakeflow Jobs [NEW] Databricks Lakeflow Jobs

• Lakeflow Jobs چیست؟ What are Lakeflow Jobs?

• ساخت اولین Lakeflow Job Build your first Lakeflow Job

• شرط‌ها در Jobs Conditionals in Jobs

• کنترل جریان با استفاده از ForEach Task Control Flow using ForEach Task

• ارجاع به مقادیر دینامیک و مقادیر تسک‌ها Dynamic Value Reference and Tasks Values

• خطای فراتر رفتن از حد سهمیه (Quota Limit) Quota Limit Exceed Error

• تنظیم و دریافت مقادیر در Jobs Set and Get Values in Jobs

• خروجی به صورت سطرهای SQL SQL rows as output

• خروجی اولین سطر SQL SQL First Row as output

• استفاده از ForEach با سطرهای SQL ForEach with SQL Rows

• ارسال آرایه‌های بزرگ با نوت‌بوک Passing Large Array With Notebook

• آرایه‌های بزرگ با جدول SQL Large Array With SQL Table

• زمان‌بندی‌ها و تریگرها Schedules and Triggers

• Compute برای Jobs Computes For Jobs

• مانیتورینگ Jobs Jobs Monitoring

• اعلان‌های Jobs Jobs Notification

• کوییز Databricks Jobs Databricks Jobs Quiz

[جدید] Lakeflow Spark Declarative Pipelines [NEW] Lakeflow Spark Declarative Pipelines

• DLT یا Delta Live Tables چیست؟ What is DLT - Delta Live Tables?

• ویرایشگر کد DLT - محیط جدید DLT Code Editor - New Environment

• ایجاد Streaming Table Create Streaming Table

• ایجاد Materialized View Create Materialized View

• ایجاد Streaming Views Create Streaming Views

• ساخت اولین خط‌لوله DLT Build your first DLT pipeline

• استفاده از Delta Live Table با Autoloader Delta Live Table with Autoloader

• رابط برنامه‌نویسی (API) جریان Append در DLT DLT Append Flow API

• رابط برنامه‌نویسی (API) جریان Auto CDC در DLT DLT Auto CDC Flow API

• ابعاد به آرامی تغییر کننده (SCD) نوع ۱ Slowly Changing Dimension Type 1

• ابعاد به آرامی تغییر کننده (SCD) نوع ۲ Slowly Changing Dimension Type 2

• کیفیت داده با DLT Expectations Data Quality with DLT Expectations

• فیلتر کردن داده‌های فاسد Filter out Corrupted Data

• پارامتری کردن خط‌لوله‌های DLT Parametrize your DLT Pipelines

• پروژه جامع و کامل DLT DLT End-To-End Project

• حالت‌های اجرای خط‌لوله DLT DLT Pipeline Modes

• ارکستراسیون خط‌لوله‌های DLT Orchestrate your DLT Pipelines

• مانیتورینگ خط‌لوله‌های DLT Monitor your DLT pipelines

• به‌روزرسانی مهم - پکیج Declarative Pipeline Important Update - Declarative Pipeline Package

• خط‌لوله‌های اعلامی Databricks Lakeflow Databricks Lakeflow Declarative Pipelines

[جدید] توابع تعریف شده توسط کاربر در Unity Catalog [NEW] Unity Catalog User Defined Functions

• توابع Unity Catalog چیست؟ What are Unity Catalog Functions?

• توابع اسکالر (Scalar) چیست؟ What are Scalar Functions?

• توابع اسکالر با SQL Scalar Functions with SQL

• توابع اسکالر با پایتون Scalar Functions with Python

• توابع جدولی تعریف شده توسط کاربر (UDTFs) User Defined Table Functions - UDTFs

• ایجاد UDTFهای سفارشی Create custom UDTFs

[جدید] Delta Sharing [NEW] Delta Sharing

• Delta Sharing چیست؟ What is Delta Sharing?

• چرا Delta Sharing؟ Why Delta Sharing?

• انواع Delta Sharing Delta Sharing Types

• معماری Delta Sharing Delta Sharing Architecture

• اشتراک‌گذاری Delta بین محیط‌های Databricks Delta Sharing With Databricks [D2D]

[جدید] حاکمیت داده و امنیت [NEW] Governance & Security

• چرا به حاکمیت داده (Data Governance) نیاز داریم؟ Why do we need Data Governance?

• قابلیت کشف داده‌ها Data Discoverability

• ردیابی کیفیت داده‌ها Track Data Quality

• اشتراک‌گذاری داده‌ها با Delta Sharing Share your Data with Delta Sharing

• کنترل دسترسی به داده‌ها - الزامات حیاتی Data Access Control - Non negotiable

• ماسک کردن دینامیک داده‌ها (CLS) Dynamic Data Masking - CLS

• امنیت در سطح سطر (RLS) Row Level Security - RLS

• کاربران و گروه‌ها Users & Groups

• اطلاعات سریع Quick Info

• کنترل دسترسی به محیط کاری (Workspace) Workspace Access Control

• استفاده از GRANT و REVOKE در SQL GRANT & REVOKE With SQL

• کنترل دسترسی مبتنی بر ویژگی (ABAC) ABAC - Attribute Based Access Control

• تگ‌ها و سیاست‌های ABAC ABAC Tags & Policies

• سلسله مراتب ABAC ABAC Hierarchy

• ماسک کردن ستون‌ها و فیلترهای ABAC ABAC Column Masking & Filters

• حذف تگ‌ها (Unset TAGS) Unset TAGS

• حذف سیاست‌ها (DROP Policies) DROP Policies

• سیستم ABAC چند دامنه Multi Domain ABAC

• گروه‌ها، کاربران و دسترسی‌ها در ABAC ABAC - Groups, Users, & Access

• تگ‌ها و سیاست‌های چند دامنه Multi Domain Tags & Policies

• تست دسترسی‌ها Testing Access

• بایدها و نبایدها DOs & DON'Ts

• چه زمانی از ABAC استفاده کنیم؟ When to use ABAC?

• پاکسازی منابع Clean Resources

ساخت اپلیکیشن‌های Databricks Build Databricks Applications

• Databricks Apps چیست؟ What is Databricks Apps?

• شروع کار با اولین اپلیکیشن Databricks Get started with your first Databricks App

بهینه‌سازی Delta Lake Delta Lake Optimization

• بحث در مورد بهینه‌سازی Let's talk about this

• دستور OPTIMIZE - ادغام پارتیشن‌ها OPTIMIZE Command - Coalesce partitions

• ZORDERING - هم‌مکانی داده‌ها ZORDERING - Collocate your data

• Liquid Clustering - خداحافظی با پارتیشن‌ها Liquid Clustering - Say Good Bye To Partitions

• نسخه‌بندی داده‌ها با Delta Lake Data Versioning with Delta Lake

• سفر در زمان با Delta Lake - بازگشت (UNDO) Time Traveling with Delta Lake - UNDO

• دستور VACUUM - پاکسازی داده‌های اضافی VACUUM Command - Clear the MESS

• دستور CTAS - کپی جدول از طریق انتخاب CTAS - Copy Table As Select

• کلون عمیق (Deep Clone) داده‌ها Deep Clone Your Data

• مزایای کلون سطحی (Shallow Clone) Shallow Clone is also GOOD

[جدید] CI/CD و Databricks Asset Bundles [NEW] CI/CD - Databricks Asset Bundles (Automation Bundles)

• جریان CI/CD چیست؟ What is CI/CD Flow?

• ضروریات Git و شاخه‌ها (Branches) Git & Branches Essentials

• مخزن GitHub GitHub Repo

• Databricks Repos [Git Folders] Databricks Repos [Git Folders]

• Asset Bundles چیست؟ What are Asset Bundles?

• راه‌اندازی محیط (Environment Setup) Environment Setup

• مقداردهی اولیه Databricks Bundle Databricks Bundle Init

• پیکربندی YAML در Databricks Databricks YAML Configuration

• افزودن Jobs به Asset Bundle Adding Jobs In Asset Bundle

• افزودن خط‌لوله‌های DLT به Asset Bundle Adding DLT Pipelines In Asset Bundle

• اعتبارسنجی Asset Bundle Asset Bundle Validation

• استقرار Asset Bundle در محیط DEV Asset Bundle Deployment - DEV

• استقرار Asset Bundle در محیط PROD Asset Bundle Deployment - PROD

• حذف Asset Bundle Asset Bundle Destroy

• نحوه ردیابی تغییرات در Asset Bundles How Asset Bundles Track Changes?

[جدید] Lakeflow Connect - مباحث پیشرفته [NEW] Lakeflow Connect - Advanced

• مقدمه Introduction

• فایل‌های محلی Local Files

• کانکتور استاندارد Standard Connector

• راه‌اندازی AWS و S3 AWS Setup & S3

• موقعیت خارجی (External Location) External Location

• دسترسی به S3 bucket Access S3 bucket

• ورود داده‌های افزایشی از S3 Incremental S3 Ingest

• REST API REST API

• دریافت داده‌ها از APIها Fetch Data From APIs

• داده‌های JSON JSON Data

• رابط کاربری کانکتورها Connectors UI

• کانکتورهای مدیریت شده Managed Connectors

• AWS SQL Server AWS SQL Sercver

• اتصال با DBeaver DBeaver Connection

• ورود داده‌ها بر اساس کوئری (CDC) Query Based Ingestion - CDC

• JDBC PySpark JDBC PySpark

• پاکسازی کاتالوگ Clean Catalog

• چه زمانی از کدام روش استفاده کنیم؟ When To Use What?

گام‌های بعدی شما YOUR NEXT STEPS

• با آرزوی موفقیت All The Best