آموزش پلی‌بوک Databricks: مدیریت، حاکمیت و دفاع از Lakehouse - آخرین آپدیت

سرفصل ها و درس ها

خوش‌آمدگویی به Lakehouse: نقشه پلتفرم ۲۰۲۶ Welcome to the Lakehouse: The 2026 Platform Map

• پلتفرم در یک تصویر: Lakehouse، محیط‌های کاری و محل قرارگیری اجزا The Platform in One Picture: Lakehouse, Workspaces, and Where Everything Lives

• کالبدشکافی Compute: کلاستره‌ها، انبار‌های SQL و Serverless Compute Decoded: Clusters, SQL Warehouses, and Serverless

• آشنایی با SNOWMART: پلتفرم خرده‌فروشی که خواهید ساخت Meet SNOWMART: The Retail Platform You Will Build

• واقعیت استقرار در Azure: محیط‌های کاری، Entra ID و Landing Zones Azure Deployment Reality: Workspaces, Entra ID, and Landing Zones

پایه و اساس Delta Lake: ACID، سفر در زمان، بردارهای حذف، UniForm Delta Lake Foundation: ACID, Time Travel, Deletion Vectors, UniForm

• چرا فایل‌ها شکست می‌خورند: از هرج و مرج Data Lake تا جداول ACID Why Files Fail: From Data-Lake Chaos to ACID Tables

• لاگ دلتا: چگونه هر نوشتن به یک تراکنش تبدیل می‌شود The Delta Log: How Every Write Becomes a Transaction

• سفر در زمان و نسخه‌بندی در محیط عملیاتی Time Travel and Versioning in Production

• اجبار و تکامل Schema بدون ایجاد خرابی Schema Enforcement and Evolution Without Breakage

• بردارهای حذف و UniForm: دلتایی که با Iceberg صحبت می‌کند Deletion Vectors and UniForm: Delta That Speaks Iceberg

خط لوله مدالیون: برنز، نقره، طلا The Medallion Pipeline: Bronze, Silver, Gold

• برنز: ورود داده‌های خام با دقت کامل Bronze: Raw Ingestion with Full Fidelity

• نقره: پاکسازی، همسان‌سازی و طراحی قرنطینه Silver: Cleansing, Conforming, and Quarantine Design

• طلا: تجمیعات تجاری مورد اعتماد تحلیلگران Gold: Business Aggregates Analysts Trust

• آنتی-پترن‌های مدالیون و زمان شکستن قوانین Medallion Anti-Patterns and When to Break the Rules

• کلینیک خطا: بازسازی ایمن یک لایه فاسد شده Failure Clinic: Rebuilding a Corrupted Layer Safely

پیاده‌سازی‌های SCD در Delta Lake SCD Implementations on Delta Lake

• SCD نوع ۱: بازنویسی با اطمینان SCD Type 1: Overwrite with Confidence

• SCD نوع ۲ با MERGE: تاریخچه‌ای که از حسابرسی‌ها جان سالم به در می‌برد SCD Type 2 with MERGE: History That Survives Audits

• SCD در مقیاس بالا: عملکرد و ابعاد با ورود دیرهنگام SCD at Scale: Performance and Late-Arriving Dimensions

• دیدگاه معمار: انتخاب استراتژی SCD برای هر جدول Architect's Lens: Choosing an SCD Strategy per Table

تسلط بر PySpark DataFrame برای مهندسان Databricks PySpark DataFrame Mastery for Databricks Engineers

• کار درست با DataFrames: انتخاب، فیلتر و عبارات ستونی DataFrames Done Right: Select, Filter, and Column Expressions

• Joinها و تجمیع‌ها بدون درگیر شدن با Shuffle Joins and Aggregations Without the Shuffle Biting You

• توابع Window برای تحلیل‌های واقعی Window Functions for Real Analytics

• UDFها، Pandas UDFها و زمان برتری توابع Native UDFs, Pandas UDFs, and When Native Functions Win

• مدیریت JSON و داده‌های تو در تو (Nested) Handling JSON and Nested Data

• تست PySpark: تست‌های واحد برای شناسایی باگ‌های واقعی Testing PySpark: Unit Tests That Catch Real Bugs

ورود داده‌ها با Lakeflow Connect و Auto Loader Ingestion with Lakeflow Connect and Auto Loader

• ماتریس تصمیم‌گیری Ingestion: COPY INTO، Auto Loader و Lakeflow Connect The Ingestion Decision Matrix: COPY INTO, Auto Loader, Lakeflow Connect

• بررسی عمیق Auto Loader: استنتاج و تکامل Schema Auto Loader Deep Dive: Schema Inference and Evolution

• عملیات Auto Loader: چک‌پوینت‌ها، Backfillها و داده‌های نجات‌یافته Auto Loader Operations: Checkpoints, Backfills, and Rescued Data

• Lakeflow Connect: کانکتورهای مدیریت شده برای دیتابیس‌ها و SaaS Lakeflow Connect: Managed Connectors for Databases and SaaS

• فرمت‌های فایل و طراحی Landing Zone File Formats and Landing-Zone Design

• کلینیک خطا: حادثه ورود داده‌های تکراری Failure Clinic: The Duplicate-Ingestion Incident

بررسی عمیق Structured Streaming: واترمارک‌ها، وضعیت و Exactly Once Structured Streaming Deep Dive: Watermarks, State, Exactly-Once

• مدل ذهنی استریمینگ: میکرو-بچ‌ها و تریگرها The Streaming Mental Model: Micro-Batches and Triggers

• واترمارک‌ها و داده‌های دیرهنگام Watermarks and Late Data

• عملیات Stateful: تجمیع، حذف تکرار و Joinهای استریمی Stateful Operations: Aggregations, Dedup, Stream Joins

• Exactly Once: چک‌پوینت‌ها، سینک‌های Idempotent و foreachBatch Exactly-Once: Checkpoints, Idempotent Sinks, foreachBatch

• عملیات و مانیتورینگ استریمینگ Streaming Operations and Monitoring

اساسیات خط لوله‌های Declarative در Lakeflow Lakeflow Declarative Pipelines Essentials

• Declarative در مقابل Imperative: چرا Lakeflow DP وجود دارد Declarative vs Imperative: Why Lakeflow DP Exists

• اولین خط لوله شما: جداول استریمی و Viewهای Materialized Your First Pipeline: Streaming Tables and Materialized Views

• Expectations: کیفیت داده به عنوان کد Expectations: Data Quality as Code

• عملیات خط لوله و زمان ورود به جزئیات بیشتر Pipeline Operations, and When to Go Deeper

حاکمیت Unity Catalog: فضای نام، دسترسی، Lineage و ABAC Unity Catalog Governance: Namespace, Access, Lineage, ABAC

• فضای نام سه سطحی و طراحی Metastore The Three-Level Namespace and Metastore Design

• Grantها، امتیازات و مدل دسترسی‌ها Grants, Privileges, and the Permission Model

• Lineage، اکتشاف و داده‌های تایید شده Lineage, Discovery, and Certified Data

• ABAC، فیلترهای ردیفی و ماسک‌های ستونی: حاکمیت در مقیاس بالا ABAC, Row Filters, and Column Masks: Governance at Scale

• دیدگاه معمار: اجرای موفقیت‌آمیز حاکمیت داده Architect's Lens: A Governance Rollout That Sticks

Databricks SQL، انبارها، داشبوردهای AI/BI و Genie Databricks SQL, Warehouses, AI/BI Dashboards and Genie

• انبار‌های SQL: سایزینگ، مقیاس‌پذیری و Serverless SQL Warehouses: Sizing, Scaling, Serverless

• Databricks SQL برای کارهای روزمره: کوئری‌ها، هشدارها و تاریخچه Databricks SQL for Daily Work: Queries, Alerts, History

• داشبوردهای AI/BI: ساخت و انتشار AI/BI Dashboards: Build and Publish

• Genie: تحلیل‌های زبان طبیعی روی SNOWMART Genie: Natural-Language Analytics on SNOWMART

• اعتماد معنایی: متریک‌های تایید شده و حاکمیت BI Semantic Trust: Certified Metrics and BI Governance

• واقعیت هزینه: حادثه داشبورد خارج از کنترل Cost Reality: The Runaway-Dashboard Incident

بهینه‌سازی Delta ۱: خوشه‌بندی مایع و تصمیمات چیدمان Delta Optimization I: Liquid Clustering and Layout Decisions

• نحوه خواندن دلتا: فایل‌ها، آمارها و Pruning How Delta Reads: Files, Statistics, and Pruning

• خوشه‌بندی مایع: پایان حدس زدن پارتیشن‌ها Liquid Clustering: The End of Partition Guessing

• بهینه‌سازی پیش‌بینانه و نگهداری مدیریت شده Predictive Optimization and Managed Maintenance

• ماتریس تصمیم چیدمان: پارتیشن در مقابل کلاستر یا هیچ‌کدام The Layout Decision Matrix: Partition vs Cluster vs Nothing

بهینه‌سازی پیشرفته Delta: Photon، AQE، Skew و عیب‌یابی Advanced Delta Optimization: Photon, AQE, Skew, Diagnostics

• Photon: چه چیزهایی را سرعت می‌بخشد و چه چیزهایی را نه Photon: What It Accelerates and What It Doesn't

• اجرای تطبیقی کوئری (AQE) در عمل Adaptive Query Execution in Practice

• عیب‌یابی Skew و دردهای Shuffle Diagnosing Skew and Shuffle Pain

• پروفایل‌های کوئری: خواندن داستان اجرا Query Profiles: Reading the Execution Story

• کلینیک خطا: کوئری ۴ ساعتی که باید ۴ دقیقه طول می‌کشید Failure Clinic: The 4-Hour Query That Should Take 4 Minutes

جاب‌ها و گردش کارهای عملیاتی: زمان‌بندی، پارامترها و هشدارها Production Jobs and Workflows: Scheduling, Parameters, Alerts

• از نوت‌بوک تا Job: تغییر ذهنیت به سمت محیط عملیاتی From Notebook to Job: The Production Mindset Shift

• تسک‌ها، وابستگی‌ها و کلاسترهای Job Tasks, Dependencies, and Job Clusters

• پارامترها، تلاش‌های مجدد (Retries) و هشدارها Parameters, Retries, and Alerts

• الگوهای ارکستراسیون: Fan Out، شرط‌ها و Repair Runs Orchestration Patterns: Fan-Out, Conditionals, Repair Runs

• Jobs در مقابل ارکستراتورهای خارجی: تصمیم بین Airflow و ADF Jobs vs External Orchestrators: The Airflow/ADF Decision

CI/CD: Asset Bundles، Terraform و هرم تست CI/CD: Asset Bundles, Terraform, and the Testing Pyramid

• Repos و چرخه توسعه Repos and the Development Loop

• Databricks Asset Bundles: استقرار به صورت کد Databricks Asset Bundles: Deploy as Code

• Terraform برای تیم‌های پلتفرم Terraform for Platform Teams

• هرم تست برای مهندسی داده The Testing Pyramid for Data Engineering

قابلیت مشاهده با System Tables و مانیتورینگ Lakehouse Observability with System Tables and Lakehouse Monitoring

• System Tables: جعبه سیاه پلتفرم System Tables: The Platform's Flight Recorder

• مانیتورینگ Lakehouse: پروفایل و متریک‌های Drift Lakehouse Monitoring: Profile and Drift Metrics

• ساخت داشبورد قابلیت مشاهده (Observability) Building the Observability Dashboard

• طراحی هشدارها: سیگنال‌های حیاتی Alerting Design: Signals That Matter

• کلینیک خطا: یافتن فقدان داده‌های خام در System Tables Failure Clinic: Silent Data Loss Found in System Tables

بهینه‌سازی هزینه و تحلیل‌های FinOps Cost Optimization and FinOps Forensics

• کالبدشکافی صورت‌حساب Databricks: DBUs، SKUها و هزینه‌های ابری The Databricks Bill Decoded: DBUs, SKUs, and Cloud Costs

• تحلیل هزینه‌ها با System Tables Cost Forensics with System Tables

• هفت آنتی-پترن هزینه‌ای The Seven Cost Anti-Patterns

• تگ‌گذاری، بودجه‌بندی و Chargeback Tagging, Budgets, and Chargeback

• پروژه نهایی هزینه: کاهش ۴۰ درصدی صورت‌حساب SNOWMART Cost Reality Capstone: Cutting the SNOWMART Bill 40 Percent

امنیت، اشتراک‌گذاری و همکاری Security, Sharing and Collaboration

• Secrets، Service Principals و هویت Secrets, Service Principals, and Identity

• اساسیات امنیت شبکه: Private Link و لیست‌های دسترسی IP Network Security Essentials: Private Link, IP Access Lists

• Delta Sharing: محصولات داده‌ای فراتر از دیوارهای سازمان Delta Sharing: Data Products Beyond Your Walls

• اتاق‌های پاک (Clean Rooms) و Marketplace Clean Rooms and Marketplace

• دیدگاه معمار: بازبینی امنیتی که باید از آن عبور کنید Architect's Lens: The Security Review You Must Pass

Mosaic AI برای مهندسان داده: جستجوی برداری، سرویس‌دهی و ایجنت‌ها Mosaic AI for Data Engineers: Vector Search, Serving, Agents

• نقشه Mosaic AI: آنچه مهندسان داده واقعاً نیاز دارند The Mosaic AI Map: What Data Engineers Actually Need

• جستجوی برداری روی جداول Delta Vector Search on Delta Tables

• اندپوینت‌های سرویس‌دهی مدل: استقرار و کوئری Model Serving Endpoints: Deploy and Query

• ساخت یک خط لوله RAG روی نظرات کاربران SNOWMART Building a RAG Pipeline on SNOWMART Reviews

• الگوهای ایجنت و Genie برای تیم‌های داده Agents and Genie Patterns for Data Teams

MLflow در محیط عملیاتی MLflow in Production

• ردیابی آزمایش‌ها در مقیاسی فراتر از یک لپ‌تاپ Experiment Tracking That Scales Past One Laptop

• Model Registry و مدل‌های Unity Catalog The Model Registry and Unity Catalog Models

• الگوهای استقرار: امتیازدهی دسته‌ای در مقابل آنی (Real-time) Deployment Patterns: Batch Scoring vs Real-Time

• عملیات MLOps: مانیتورینگ و حلقه‌های بازآموزی MLOps Operations: Monitoring and Retraining Loops

دیدگاه معمار: تصمیمات، آنتی-پترن‌ها، Azure و تله‌های آزمون The Architect's Lens: Decisions, Anti-Patterns, Azure, Exam Traps

• چارچوب تصمیم‌گیری: از Workload تا معماری The Decision Framework: From Workload to Architecture

• گالری آنتی-پترن‌ها: ده طراحی که در محیط عملیاتی شکست می‌خورند Anti-Pattern Gallery: Ten Designs That Fail in Production

• معماری استقرار Azure Databricks Azure Databricks Deployment Architecture

• تسلط بر مصاحبه: دفاع از طراحی خود Interview Mastery: Defending Your Design

• تله‌های آزمون: کلاسترهای DE Associate و Professional Exam Traps: The DE Associate and Professional Cluster

پروژه نهایی پلی‌بوک: پلتفرم سازمانی SNOWMART Playbook Capstone: The SNOWMART Enterprise Platform

• شرح پروژه نهایی: پلتفرم سازمانی SNOWMART Capstone Brief: The SNOWMART Enterprise Platform

• فاز ساخت ۱: Ingestion و تبدیل برنز به طلا Build Phase 1: Ingestion and Bronze to Gold

• فاز ساخت ۲: حاکمیت، کیفیت و قابلیت مشاهده Build Phase 2: Governance, Quality, and Observability

• فاز ساخت ۳: ارکستراسیون و CI/CD Build Phase 3: Orchestration and CI/CD

• فاز ساخت ۴: تحلیل‌ها، AI و نرده‌های حفاظتی هزینه Build Phase 4: Analytics, AI, and Cost Guardrails

• انتشار: بازبینی، دفاع و بسته‌بندی برای پورتفولیو Ship It: Review, Defend, and Portfolio Packaging

کوییزهای هر بخش (مرور اختیاری) Module Quizzes (Optional Review)

• بررسی ماژول ۱ Module 1 Check

• بررسی ماژول ۲ Module 2 Check

• بررسی ماژول ۳ Module 3 Check

• بررسی ماژول ۴ Module 4 Check

• بررسی ماژول ۵ Module 5 Check

• بررسی ماژول ۶ Module 6 Check

• بررسی ماژول ۷ Module 7 Check

• بررسی ماژول ۸ Module 8 Check

• بررسی ماژول ۹ Module 9 Check

• بررسی ماژول ۱۰ Module 10 Check

• بررسی ماژول ۱۱ Module 11 Check

• بررسی ماژول ۱۲ Module 12 Check

• بررسی ماژول ۱۳ Module 13 Check

• بررسی ماژول ۱۴ Module 14 Check

• بررسی ماژول ۱۵ Module 15 Check

• بررسی ماژول ۱۶ Module 16 Check

• بررسی ماژول ۱۷ Module 17 Check

• بررسی ماژول ۱۸ Module 18 Check

• بررسی ماژول ۱۹ Module 19 Check

• بررسی ماژول ۲۰ Module 20 Check

• بررسی ماژول ۲۱ Module 21 Check