آموزش معمار مهاجرت Databricks: انتقال از EDW قدیمی به Lakehouse - آخرین آپدیت

سرفصل ها و درس ها

چرا مهاجرت‌های سازمانی شکست می‌خورند (و معماری که جلوی آن را می‌گیرد) Why Enterprise Migrations Fail (And the Architect Who Stops It)

• قبرستان مهاجرت: چرا ۱ مورد از هر ۳ مهاجرت EDW متوقف می‌شود The Migration Graveyard: Why 1 in 3 EDW Migrations Stall

• حقیقت ۸۰/۲۰: آنچه Lakebridge انجام می‌دهد و ۲۰ درصدی که هرگز نخواهد کرد The 80/20 Truth: What Lakebridge Does and the 20% It Never Will

• مدل عملیاتی معمار مهاجرت The Migration Architect's Operating Model

• نحوه کار این دوره و ابزارهای قابل دانلود شما How This Course Works and Your Downloadable Toolkit

کالبدشکافی: پروفایلینگ ساختارهای قدیمی یکپارچه The Autopsy: Profiling the Legacy Monolith

• ارزیابی کوه یخ: ۲۰٪ داده، ۸۰٪ هر چیز دیگر The Iceberg Assessment: 20% Data, 80% Everything Else

• تحلیل گزارش‌های AWR اوراکل برای یافتن گلوگاه‌های واقعی Reading Oracle AWR Reports to Find the Real Bottlenecks

• گزارشات DBQL تراداتا و Query Store اس‌کی‌ال سرور: یک هدف، گویش‌های متفاوت Teradata DBQL and SQL Server Query Store: Same Job, Different Dialect

• گراف‌های وابستگی Stored Procedure و نقشه‌های حرارتی جداول Stored-Procedure Dependency Graphs and Table Heat Maps

• سیاهه بار کاری: منبع حقیقت شما The Workload Inventory: Your Source of Truth

تصمیم‌گیری 3R و مدل TCO برای متقاعد کردن مدیر مالی The 3-R Decision and the TCO That Convinces the CFO

• مقایسه Rehost در برابر Re-platform و Re-architect: درخت تصمیم Rehost vs Re-platform vs Re-architect: The Decision Tree

• کارت امتیاز ارزیابی مهاجرت The Migration Assessment Scorecard

• ساخت ماشین‌حساب TCO سه ساله Building the 3-Year TCO Calculator

• الگوی غلط: انتقال مستقیم و بدون تغییر (Lift and Shift) همه چیز Anti-Pattern: Lift-and-Shift Everything

• ارائه TCO به هیئت مدیره: تک اسلایدی که پذیرفته می‌شود Presenting TCO to the Board: The One Slide That Lands

فدراسیون Lakehouse: مهاجرت بدون جابجایی Lakehouse Federation: Migrate Without Migrating

• فدراسیون Lakehouse واقعاً چه کاری انجام می‌دهد What Lakehouse Federation Actually Does

• پیکربندی اتصال فدراسیون به Oracle و SQL Server Configuring a Federated Connection to Oracle and SQL Server

• جریمه تأخیر و هزینه: زمانی که فدراسیون نتیجه عکس می‌دهد The Latency and Cost Penalty: When Federation Backfires

• ابتدا فدراسیون، سپس مهاجرت: الگوی مرحله‌ای Federate-then-Migrate: The Phased Pattern

ترجمه Schema با Lakebridge (و نقاط کور آن) Schema Translation with Lakebridge (and Its Blind Spots)

• ماتریس نگاشت انواع داده‌ها (Data Type Mapping) The Data Type Mapping Matrix

• اجرای تحلیل‌گر و تبدیل‌کننده Lakebridge روی DDL واقعی Running Lakebridge's Analyzer and Converter on Real DDL

• باگ پنهان کاهش دقت (Precision Loss) The Silent Precision-Loss Bug

• حسابرسی DDLهای تولید شده برای انحراف معنایی Auditing Generated DDL for Semantic Drift

• مهاجرت موارد دشوار: جداول ۲۰۰ ستونه تراداتا و داده‌های جغرافیایی Migrating the Hard Ones: 200-Column Teradata Tables and Geospatial

طراحی فیزیکی برای Delta: خوشه‌بندی مایع (Liquid Clustering) در برابر ایندکس‌ها Physical Design for Delta: Liquid Clustering Over Indexes

• اوراکل عضلات دارد، Delta سیستم عصبی دارد Oracle Has Muscles, Delta Has a Nervous System

• مقایسه Liquid Clustering در برابر Z-Ordering و Partitioning Liquid Clustering vs Z-Ordering vs Partitioning

• انتخاب کلیدهای کلاستر بر اساس الگوهای کوئری Choosing Cluster Keys from Query Patterns

• الگوی غلط: خوشه‌بندی بیش از حد برای هر جدول Anti-Pattern: Over-Clustering Every Table

• کارت تصمیم طراحی فیزیکی The Physical Design Decision Card

کالبدشکافی Procedureها: تجزیه PL/SQL The Procedure Autopsy: Decomposing PL/SQL

• استورد پروسیجرها SQL نیستند Stored Procedures Are Not SQL

• متد کالبدشکافی: کدگذاری رنگی هر بلوک The Autopsy Method: Color-Coding Every Block

• تنها منطق کسب‌وکار مهاجرت می‌کند Only the Business Logic Migrates

• نگاشت پکیج‌های Trigger زنجیره‌ای Mapping a Cascading-Trigger Package

• برگه کاری تجزیه (Decomposition Worksheet) The Decomposition Worksheet

ترجمه الگوها: Cursorها، Triggerها، جداول موقت و MERGE Pattern Translation: Cursors, Triggers, Temp Tables, MERGE

• تبدیل Cursorها به عملیات Set-based در DataFrame Cursor to Set-Based DataFrame Ops

• تبدیل Trigger به CDC و DBMS_SCHEDULER به Workflowها Trigger to CDC, DBMS_SCHEDULER to Workflows

• تبدیل جداول موقت به CTE یا Lakeflow Declarative Pipeline Temp Table to CTE or Lakeflow Declarative Pipeline

• تبدیل Oracle MERGE به Delta Lake MERGE INTO Oracle MERGE to Delta Lake MERGE INTO

• پیاده‌سازی SCD Type 2 به روش Lakehouse SCD Type 2 the Lakehouse Way

• گالری الگوهای غلط و کاربرد سریع الگوهای درست Anti-Pattern Gallery and Pattern Cheat Sheet

مهاجرت به کمک هوش مصنوعی: Lakebridge به همراه LLMها با نظارت انسانی AI-Assisted Migration: Lakebridge plus LLMs With a Human Gate

• مدل ترکیبی: ۸۰٪ سرعت AI به علاوه ۲۰٪ دقت انسانی The Hybrid Model: 80% AI Speed plus 20% Human Accuracy

• نوشتن پرامپت‌های مؤثر برای تبدیل PL/SQL به PySpark Writing Effective PL/SQL to PySpark Transpilation Prompts

• توهمات در توابع پنجره‌ای (Window Function Hallucination) The Window-Function Hallucination

• درست از نظر سینتکس، غلط از نظر معنایی Syntactically Valid, Semantically Wrong

• شکاف در معناشناسی تراکنش‌ها The Transaction-Semantics Gap

• کتابخانه پرامپت‌های LLM و چک‌لیست حسابرسی The LLM Prompt Library and Audit Checklist

درخت تصمیم‌گیری ورود داده‌ها (Ingestion) The Ingestion Decision Tree

• قایق داده: زمان‌بندی، ظرفیت و منیفست The Data Ferry: Schedule, Capacity, Manifest

• دسته‌ای در برابر استریم، Push در برابر Pull، Schema-on-Read در برابر Write Batch vs Streaming, Push vs Pull, Schema-on-Read vs Write

• مقایسه JDBC Bulk در برابر Auto Loader: تصمیم برای جداول ۱۰ ترابایتی JDBC Bulk vs Auto Loader: The 10TB Table Decision

• ابزارهای شریک: Fivetran، Qlik و Arcion برای CDC Partner Tools: Fivetran, Qlik, Arcion for CDC

• ماتریس الگوهای ورود داده The Ingestion Pattern Matrix

معماری CDC و Lakeflow Declarative Pipelines با قراردادهای داده CDC and Lakeflow Declarative Pipelines With Data Contracts

• معماری end-to-end برای CDC The CDC Architecture End to End

• Auto Loader با استنتاج و تکامل Schema Auto Loader With Schema Inference and Evolution

• استفاده از Lakeflow Declarative Pipelines برای SCD Type 2 Lakeflow Declarative Pipelines for SCD Type 2

• اجبار Schema در لایه Bronze: قراردادهای داده (Data Contracts) Enforcing Schema at Bronze: Data Contracts

• مارپیچ مرگ انحراف Schema The Schema-Drift Death Spiral

• الگوی غلط: ورود مستقیم به Silver و قالب قرارداد Anti-Pattern: Direct-to-Silver and the Contract Template

پشته تطبیق: اثبات برابری معنایی The Reconciliation Stack: Proving Semantic Parity

• تعداد ردیف‌ها دروغ می‌گویند: چرا برابری معنایی تنها حقیقت است Row Counts Lie: Why Semantic Parity Is the Only Truth

• پشته ۵ لایه: Count، Sum، Checksum، Hash و Semantic The 5-Layer Stack: Count, Sum, Checksum, Hash, Semantic

• باگ ۴ میلیون دلاری: تفاوت‌های ترتیب Sort در ROW_NUMBER The $4M Bug: ROW_NUMBER Sort-Order Differences

• واریانس اعداد اعشاری: SUM(DECIMAL) در اوراکل در برابر Spark Floating-Point Variance: SUM(DECIMAL) Oracle vs Spark

• آستانه‌های تحمل: واریانس قابل قبول در برابر واریانس واقعی Tolerance Thresholds: Acceptable vs Real Variance

ساخت موتور تطبیق (Reconciliation Engine) Building the Reconciliation Engine

• طراحی معماری Job تطبیق Architecting the Reconciliation Job

• پیاده‌سازی Hash Diff در PySpark The PySpark Hash-Diff Implementation

• داشبوردهای تطبیق: بصری‌سازی برابری داده‌ها Reconciliation Dashboards: Making Parity Visible

• شروع از روز صفر، نه در پایان پروژه Start at Day 0, Not End of Project

• کتابخانه اسکریپت‌های تطبیق The Reconciliation Script Library

اجرای موازی و انتقال بدون توقف (Zero Downtime) The Parallel Run and Zero-Downtime Cutover

• جهان موازی: ۳۰ روز خروجی یکسان The Parallel Universe: 30 Days of Identical Output

• اجرای همزمان اوراکل و Databricks در زمان بستن حساب‌های مالی Running Oracle and Databricks Through a Financial Close

• الگوهای انتقال: مرحله‌ای در برابر Big Bang Cutover Patterns: Phased vs Big Bang

• انتقال نرم: ابتدا Read-Only، سپس Read-Write و در نهایت خروج از مدار The Soft Cutover: Read-Only, Then Read-Write, Then Decommission

• تأییدیه کاربر تجاری و دروازه اعتماد Business-User Sign-Off and the Trust Gate

• پیش‌آزمونی برای Backfill و Rollback Backfill and Rollback Pre-Testing

Unity Catalog و مهاجرت سطح دسترسی‌ها Unity Catalog and the Privilege Migration

• معماری Unity Catalog Unity Catalog Architecture

• لایه‌های امنیتی (Security Layer Cake) The Security Layer Cake

• ماتریس مهاجرت امتیازات (Privilege Migration) The Privilege Migration Matrix

• تبدیل ۵۰۰ نقش به ۱۲ تگ بدون انفجار تعداد تگ‌ها 500 Roles to 12 Tags Without a Tagging Explosion

• الگوی غلط: کپی عین به عین سلسله‌مراتب نقش‌های اوراکل Anti-Pattern: Replicating Oracle's Role Hierarchy Verbatim

حاکمیت ABAC، ماسک کردن و دسترسی‌های متقاطع ABAC, Masking, and Cross-Engine Governance

• مدیریت ABAC با تگ‌های حاکمیتی: تگ در سطح Schema، نه Table ABAC With Governed Tags: Tag at Schema, Not Table

• ویوهای پویا و امنیت در سطح ردیف (RLS) Dynamic Views and Row-Level Security

• ماسک کردن داده‌های حساس (PII) بر اساس تگ Tag-Based PII Masking

• دسترسی متقاطع: Delta Sharing، Iceberg و Credential Vending Cross-Engine Access: Delta Sharing, Iceberg, Credential Vending

• تاکسونومی تگ‌های ABAC و بسته سیاست‌های ماسک کردن The ABAC Tag Taxonomy and Masking Policy Pack

کوه یخ هزینه‌ها و Arbitrage محاسباتی The Cost Iceberg and Compute Arbitrage

• کوه یخ هزینه: محاسبات قابل مشاهده در برابر هزینه‌های پنهان The Cost Iceberg: Visible Compute vs Hidden Everything

• Arbitrage محاسباتی: Jobs در برابر All Purpose در برابر Serverless Compute Arbitrage: Jobs vs All-Purpose vs Serverless

• سیاست‌های کلاستر برای اجبار به استفاده از Jobs Compute Cluster Policies That Enforce Jobs Compute

• پدیده Photon Spill The Photon Spill

• الگوی غلط: اجرای ETL روی All Purpose به دلیل سهولت در دیباگ Anti-Pattern: ETL on All-Purpose Because It's Easier to Debug

مهندسی FinOps: جداول سیستمی و Chargeback FinOps Engineering: System Tables and Chargeback

• بررسی عمیق system.billing.usage The system.billing.usage Deep Dive

• تاکسونومی انتساب هزینه و Chargeback Attribution and Chargeback Taxonomy

• ساخت داشبورد Chargeback Building the Chargeback Dashboard

• بهینه‌سازی پیش‌بینانه: اثبات صرفه‌جویی، نه فقط فضای ذخیره‌سازی Predictive Optimization: Proving Savings, Not Just Space

• Auto TTL: افق سال ۲۰۲۶ Auto-TTL: The 2026 Frontier

• بسته کوئری‌های جداول سیستمی و نرده‌های حاکمیتی The System-Table Query Pack and Governance Guardrails

دفترچه عملیات مهاجرت: ترتیب‌بندی کل فرآیند The Migration Playbook: Sequencing the Whole Thing

• دفترچه عملیات (Runbook) جامع مهاجرت The End-to-End Migration Runbook

• ترتیب‌بندی: چه چیزی اول، چه چیزی موازی و چه چیزی مانع دیگران است Sequencing: What Order, What Parallel, What Blocks What

• سیاهه ریسک: نام‌گذاری هر راهی که می‌تواند منجر به شکست شود The Risk Register: Naming Every Way It Can Fail

• ارتباط با ذینفعان و کمیته راهبری Stakeholder Communication and the Steering Committee

• پنجره ۷۲ ساعته برای Rollback The 72-Hour Rollback Window

اتاق جنگ (War Room): شبیه‌سازی نهایی The War Room: Capstone Simulation

• سناریو: ۵۰ ترابایت EDW اوراکل، ۵۰۰ پروسیجر، ۲۰۰ گزارش، بودجه ۵۰ میلیون دلاری The Scenario: 50TB Oracle EDW, 500 Procs, 200 Reports, $50M Line

• ماتریس تصمیم‌گیری Go یا No Go The Go or No-Go Decision Matrix

• اتاق جنگ ۴۸ ساعته: اجرای زنده، توقف یا بازگشت The 48-Hour War Room: Live, No-Go, or Rollback

• پانیک در زمان Rollback The Rollback Panic

• تحویل نهایی پروژه و جمع‌بندی دوره Your Capstone Deliverable and Course Wrap

کوییزهای هر ماژول (مرور اختیاری) Module Quizzes (Optional Review)

• بررسی ماژول ۱ Module 1 Check

• بررسی ماژول ۲ Module 2 Check

• بررسی ماژول ۳ Module 3 Check

• بررسی ماژول ۴ Module 4 Check

• بررسی ماژول ۵ Module 5 Check

• بررسی ماژول ۶ Module 6 Check

• بررسی ماژول ۷ Module 7 Check

• بررسی ماژول ۸ Module 8 Check

• بررسی ماژول ۹ Module 9 Check

• بررسی ماژول ۱۰ Module 10 Check

• بررسی ماژول ۱۱ Module 11 Check

• بررسی ماژول ۱۲ Module 12 Check

• بررسی ماژول ۱۳ Module 13 Check

• بررسی ماژول ۱۴ Module 14 Check

• بررسی ماژول ۱۵ Module 15 Check

• بررسی ماژول ۱۶ Module 16 Check

• بررسی ماژول ۱۷ Module 17 Check

• بررسی ماژول ۱۸ Module 18 Check

• بررسی ماژول ۱۹ Module 19 Check

• بررسی ماژول ۲۰ Module 20 Check