آموزش Apache Iceberg: از مشخصات فنی تا پیاده‌سازی Lakehouse چند موتور - آخرین آپدیت

سرفصل ها و درس ها

بیداری در دنیای Lakehouse The Lakehouse Wakeup Call

• بحران دوشنبه صبح در Lakehouse The Monday Morning Lakehouse Crisis

• چرا Hive Metastore به محدودیت‌های خود رسید Why Hive Metastore Hit Its Limits

• خاصیت ACID روی ذخیره‌سازهای Object — مسئله دشوار ACID on Object Storage — The Hard Problem

• معنای واقعی Open Lakehouse چیست What Open Lakehouse Actually Means

• ماتریس تصمیم‌گیری v1 — چه زمانی Iceberg مناسب است Decision Spine v1 — When Iceberg Fits

چرا Iceberg پیروز شد؟ تحلیل صادقانه جنگ فرمت‌ها Why Iceberg Won, Format Wars Honest

• داستان پیدایش Iceberg (نتفلیکس، ۲۰۱۷) Iceberg's Origin Story (Netflix, 2017)

• جنگ فرمت‌ها: Iceberg در مقابل Delta و Hudi Format Wars: Iceberg vs Delta vs Hudi

• نقاط چرخش سال‌های ۲۰۲۴ تا ۲۰۲۶ The 2024-2026 Inflection Points

• حکمرانی Apache در مقابل انشعابات تجاری (Vendor Forking) Apache Governance vs Vendor Forking

• مرور ماژول و پل ارتباطی به جزئیات فنی Module Recap and Bridge to Spec Internals

مشخصات Iceberg بخش اول — ساختار فایل‌ها Iceberg Spec Pt 1 — File Layout

• کالبدشکافی یک جدول Iceberg Anatomy of an Iceberg Table

• فایل‌های داده — انتخاب بین Parquet, ORC, Avro Data Files — Parquet, ORC, Avro Choices

• بررسی عمیق فایل‌های Manifest Manifest Files Deep Dive

• لیست‌های Manifest و اسنپ‌شات‌ها Manifest Lists and Snapshots

• آزمایشگاه — بررسی یک جدول واقعی Iceberg روی دیسک Lab — Inspect a Real Iceberg Table on Disk

مشخصات Iceberg بخش دوم — اشاره‌گر کاتالوگ Iceberg Spec Pt 2 — The Catalog Pointer

• فایل metadata.json — منبع حقیقت metadata.json — The Source of Truth

• کامیت‌های اتمیک از طریق کاتالوگ Atomic Commits via Catalog

• مشخصات v1 در مقابل v2 — چه تغییراتی رخ داد v1 vs v2 Spec — What Changed

• آزمایشگاه — ردیابی یک کامیت از Spark تا S3 Lab — Trace a Commit from Spark to S3

تکامل طرح‌واره (Schema) و پارتیشن‌بندی Schema and Partition Evolution

• تکامل طرح‌واره — افزودن، حذف و تغییر نام ایمن Schema Evolution — Add, Drop, Rename Safely

• پارتیشن‌بندی مخفی در مقابل پارتیشن‌بندی Hive Hidden Partitioning vs Hive Partitioning

• تکامل پارتیشن — تغییر بدون بازنویسی مجدد Partition Evolution — Change Without Rewrite

• ترتیب مرتب‌سازی و تاثیرات آن Sort Orders and Their Impact

• آزمایشگاه — تکامل طرح‌واره و ساختار پارتیشن Lab — Evolve a Schema and Partition Layout

بررسی عمیق REST Catalog REST Catalog Deep Dive

• چرا REST Catalog آینده است Why REST Catalog Is the Future

• بررسی نقاط انتهایی (Endpoints) در REST API REST API Endpoints Walkthrough

• عملیات هویت، فضای نام (Namespace) و جدول Identity, Namespace, Table Ops

• احراز هویت — OAuth و AWS Sigv4 Authentication — OAuth and AWS Sigv4

• آزمایشگاه — راه‌اندازی سرور REST Catalog Lab — Spin Up a REST Catalog Server

مقایسه پنج کاتالوگ برتر Catalog Big Five Comparison

• معماری Polaris (Snowflake) Polaris (Snowflake) Architecture

• کاتالوگ Unity OSS (Databricks) Unity Catalog OSS (Databricks)

• Nessie و شاخه‌بندی برای داده‌ها Nessie and Branching for Data

• کاتالوگ AWS Glue AWS Glue Catalog

• Hive Metastore — هنوز پابرجاست Hive Metastore — Still Standing

• ماتریس تصمیم‌گیری کاتالوگ (کارت مرجع v2) Catalog Decision Matrix (Reference Card v2)

نوشتن داده‌ها با Spark Writing with Spark

• نوشتن با Spark SQL — دستورات INSERT, MERGE, UPDATE Spark SQL Writes — INSERT, MERGE, UPDATE

• نوشتن با DataFrame API DataFrame API Writes

• الگوی WAP — نوشتن، حسابرسی و انتشار WAP — Write-Audit-Publish Pattern

• فشرده‌سازی در حین نوشتن Compaction During Writes

• آزمایشگاه — ساخت لایه برنز Lab — Build a Bronze Layer

نوشتاری استریمینگ — Flink و Kafka Connect Streaming Writes — Flink and Kafka Connect

• معماری Iceberg Sink در Flink Flink Iceberg Sink Architecture

• کانکتور Iceberg برای Kafka Connect Kafka Connect Iceberg Connector

• معناشناسی Exactly Once Exactly-Once Semantics

• مشکل فایل‌های کوچک و روش‌های کاهش آن Small Files Problem and Mitigation

• حذف‌های Equality در مقابل Position Equality vs Position Deletes

پیاده‌سازی CDC در Iceberg CDC into Iceberg

• خط لوله Debezium به Kafka و سپس Iceberg Debezium to Kafka to Iceberg Pipeline

• الگوهای Upsert با استفاده از MERGE Upsert Patterns with MERGE

• پیاده‌سازی SCD نوع ۲ روی Iceberg SCD Type 2 on Iceberg

• مدیریت رویدادهای خارج از ترتیب Out-of-Order Events Handling

خواندن داده‌ها — Spark و Trino Reading — Spark and Trino

• خواندن با Spark و قابلیت DataFrame Pushdown Spark Reads and DataFrame Pushdown

• فدراسیون Trino در میان کاتالوگ‌های مختلف Trino Federation Across Catalogs

• قابلیت Predicate و Projection Pushdown Predicate and Projection Pushdown

• خواندن اسنپ‌شات‌ها و سفر در زمان Snapshot Reads and Time Travel

• الگوهای درست و غلط در خواندن داده‌ها Reading Patterns and Anti-Patterns

خواندن داده‌ها — Snowflake, Databricks, Dremio Reading — Snowflake, Databricks, Dremio

• جداول خارجی Iceberg در Snowflake Snowflake External Iceberg Tables

• Iceberg مدیریت شده در Snowflake و Polaris Snowflake-Managed Iceberg and Polaris

• Iceberg در Unity Catalog دیتابریکس Databricks Unity Catalog Iceberg

• ترکیب Dremio و Nessie Dremio and Nessie Combo

• مقایسه عملکرد موتورهای مختلف Multi-Engine Performance Compared

• الگوهای درست و غلط در موتورهای تجاری Vendor Engine Patterns and Anti-Patterns

خواندن داده‌ها — DuckDB و ClickHouse Reading — DuckDB and ClickHouse

• افزونه Iceberg در DuckDB DuckDB Iceberg Extension

• موتور Iceberg در ClickHouse ClickHouse Iceberg Engine

• الگوی تحلیل‌های محلی (Local Analytics) The Local Analytics Pattern

• چه زمانی از موتورهای بزرگ استفاده نکنیم When Not to Use the Big Engines

• تحلیل‌های داخلی و خواندن بهینه از نظر هزینه Embedded Analytics and Cost-Conscious Reads

نگهداری بخش اول — فشرده‌سازی (Compaction) و مرتب‌سازی Maintenance Pt 1 — Compaction and Sort

• مشکل فایل‌های کوچک The Small Files Problem

• رویه rewriteDataFiles rewriteDataFiles Procedure

• ترتیب Z-Order در Iceberg Z-Order on Iceberg

• تکامل ترتیب مرتب‌سازی Sort Order Evolution

• آزمایشگاه — تنظیم بهینه Job فشرده‌سازی Lab — Compaction Job Tuning

• الگوهای درست و غلط در فشرده‌سازی Compaction Patterns and Anti-Patterns

نگهداری بخش دوم — اسنپ‌شات‌ها و پاکسازی Maintenance Pt 2 — Snapshots and Cleanup

• رویه Expire Snapshots (انقضای اسنپ‌شات‌ها) Expire Snapshots Procedure

• حذف فایل‌های یتیم (Orphan Files) Remove Orphan Files

• بازنویسی Manifestها Rewrite Manifests

• اقتصاد هزینه ذخیره‌سازی — اعداد واقعی Storage Cost Economics — Real Numbers

• الگوهای هزینه و نگهداری مطابق با قوانین (Compliance) Compliance Retention and Cost Patterns

سفر در زمان، شاخه‌بندی و تگ‌گذاری Time Travel, Branching, Tagging

• خواندن اسنپ‌شات‌ها در عمل Snapshot Reads in Practice

• شاخه‌بندی — محیط‌های Dev, Audit, WAP Branching — Dev, Audit, WAP

• تگ‌ها — تثبیت نسخه‌های انتشار Tags — Release Pinning

• الگوهای بازگشت (Rollback) Rollback Patterns

• الگوهای پیشرفته شاخه‌بندی و سفر در زمان Branching and Time Travel Patterns

امنیت — RBAC و امنیت در سطح ردیف/ستون Security — RBAC and Row/Column-Level

• کنترل دسترسی RBAC در سطح کاتالوگ (Polaris, Unity) Catalog-Level RBAC (Polaris, Unity)

• الگوهای رمزنگاری در سطح فایل File-Level Encryption Patterns

• امنیت در سطح ردیف و ستون در Iceberg Row and Column-Level Security on Iceberg

• لاگ‌های حسابرسی و انطباق قانونی Audit Logs and Compliance

• الگوهای امنیتی و دفاع در عمق Security Patterns and Defense in Depth

حکمرانی داده‌ها و مانیفست کاتالوگ باز Governance and the Open Catalog Manifesto

• تگ‌های حساسیت داده در موتورهای مختلف Sensitivity Tags Across Engines

• استخراج Lineage از متادیتای Iceberg Lineage Capture from Iceberg Metadata

• داستان‌های حکمرانی داده‌ها در موتورهای متقاطع Cross-Engine Governance Stories

• الگوهای حذف داده‌ها مطابق GDPR در Iceberg GDPR Delete Patterns on Iceberg

• قراردادهای داده (Data Contracts) و الگوهای حکمرانی Data Contracts and Governance Patterns

اقتصاد هزینه‌ها Cost Economics

• استراتژی لایه‌بندی ذخیره‌سازی (Storage Tier) Storage Tier Strategy

• تعادل بین هزینه فشرده‌سازی و هزینه پرس‌وجو Compaction Cost vs Query Cost Tradeoff

• مقایسه هزینه موتورهای مختلف Multi-Engine Cost Comparison

• ماتریس تصمیم‌گیری — بعد نهایی هزینه‌ها Decision Spine — Cost Dimension Final

• الگوهای مانیتورینگ و بهینه‌سازی هزینه Cost Monitoring and Optimization Patterns

دستورالعمل عیب‌یابی (Troubleshooting) Troubleshooting Playbook

• چرا جدول من فشرده (Compact) نمی‌شود My Table Will Not Compact

• رشد بی‌رویه اسنپ‌شات‌ها Snapshots Growing Without Bound

• خواننده داده‌های قدیمی را می‌بیند Reader Sees Old Data

• تداخل در کامیت هنگام نوشتن همزمان Commit Conflict on Concurrent Write

• جریان تشخیص کلی ۱۰ مرحله‌ای The 10-Step General Diagnosis Flow

مهاجرت — انتقال Hive, Delta, Parquet به Iceberg Migration — Hive, Delta, Parquet to Iceberg

• مهاجرت از Hive — استراتژی درجا (In-Place) Migrate from Hive — In-Place Strategy

• مهاجرت از Delta Lake Migrate from Delta Lake

• انتقال Parquet خام به Iceberg Bare Parquet to Iceberg

• تصمیم‌گیری بین تغییر درجا یا بازنویسی کامل In-Place vs Rewrite Decision

• داستان‌ها و الگوهای غلط در مهاجرت Migration Anti-Patterns and Stories

تعامل‌پذیری — XTable, UniForm و فرمت‌های متقاطع Interop — XTable, UniForm, Cross-Format

• معماری Apache XTable Apache XTable Architecture

• قابلیت Delta UniForm — خواندن Iceberg از Delta Delta UniForm — Read Iceberg from Delta

• چه زمانی بین فرمت‌ها پل بزنیم When to Bridge Formats

• الگوی یک ذخیره‌ساز با چندین کاتالوگ One Storage Many Catalogs Pattern

• داستان‌های فرمت‌های متقاطع و الگوهای آینده Cross-Format Stories and Future Patterns

پروژه نهایی — Lakehouse عملیاتی ContosoLogix Capstone — ContosoLogix Production Lakehouse

• بررسی معماری پروژه نهایی Capstone Architecture Walkthrough

• لایه برنز — انتقال Kafka CDC به Iceberg Bronze Layer — Kafka CDC into Iceberg

• لایه سیلور — استفاده از Spark MERGE و WAP Silver Layer — Spark MERGE plus WAP

• لایه گلد — خواندن با Trino, Snowflake, DuckDB Gold Layer — Trino, Snowflake, DuckDB Reads

• معیارهای ارزیابی ۸ بعدی پروژه نهایی 8-Dimension Capstone Rubric

آزمون‌های هر ماژول (مرور اختیاری) Module Quizzes (Optional Review)

• بررسی ماژول ۱: بیداری در دنیای Lakehouse Module 1 Check: The Lakehouse Wakeup Call

• بررسی ماژول ۲: چرا Iceberg پیروز شد، جنگ فرمت‌ها Module 2 Check: Why Iceberg Won, Format Wars Honest

• بررسی ماژول ۳: مشخصات Iceberg بخش اول — ساختار فایل‌ها Module 3 Check: Iceberg Spec Pt 1 — File Layout

• بررسی ماژول ۴: مشخصات Iceberg بخش دوم — اشاره‌گر کاتالوگ Module 4 Check: Iceberg Spec Pt 2 — The Catalog Pointer

• بررسی ماژول ۵: تکامل طرح‌واره و پارتیشن‌بندی Module 5 Check: Schema and Partition Evolution

• بررسی ماژول ۶: بررسی عمیق REST Catalog Module 6 Check: REST Catalog Deep Dive

• بررسی ماژول ۷: مقایسه پنج کاتالوگ برتر Module 7 Check: Catalog Big Five Comparison

• بررسی ماژول ۸: نوشتن داده‌ها با Spark Module 8 Check: Writing with Spark

• بررسی ماژول ۹: نوشتاری استریمینگ — Flink و Kafka Connect Module 9 Check: Streaming Writes — Flink and Kafka Connect

• بررسی ماژول ۱۰: پیاده‌سازی CDC در Iceberg Module 10 Check: CDC into Iceberg

• بررسی ماژول ۱۱: خواندن داده‌ها — Spark و Trino Module 11 Check: Reading — Spark and Trino

• بررسی ماژول ۱۲: خواندن داده‌ها — Snowflake, Databricks, Dremio Module 12 Check: Reading — Snowflake, Databricks, Dremio

• بررسی ماژول ۱۳: خواندن داده‌ها — DuckDB و ClickHouse Module 13 Check: Reading — DuckDB and ClickHouse

• بررسی ماژول ۱۴: نگهداری بخش اول — فشرده‌سازی و مرتب‌سازی Module 14 Check: Maintenance Pt 1 — Compaction and Sort

• بررسی ماژول ۱۵: نگهداری بخش دوم — اسنپ‌شات‌ها و پاکسازی Module 15 Check: Maintenance Pt 2 — Snapshots and Cleanup

• بررسی ماژول ۱۶: سفر در زمان، شاخه‌بندی و تگ‌گذاری Module 16 Check: Time Travel, Branching, Tagging

• بررسی ماژول ۱۷: امنیت — RBAC و سطح ردیف/ستون Module 17 Check: Security — RBAC and Row/Column-Level

• بررسی ماژول ۱۸: حکمرانی و مانیفست کاتالوگ باز Module 18 Check: Governance and the Open Catalog Manifesto

• بررسی ماژول ۱۹: اقتصاد هزینه‌ها Module 19 Check: Cost Economics

• بررسی ماژول ۲۰: دستورالعمل عیب‌یابی Module 20 Check: Troubleshooting Playbook

• بررسی ماژول ۲۱: مهاجرت — Hive, Delta, Parquet به Iceberg Module 21 Check: Migration — Hive, Delta, Parquet to Iceberg

• بررسی ماژول ۲۲: تعامل‌پذیری — XTable, UniForm, Cross Format Module 22 Check: Interop — XTable, UniForm, Cross-Format

• بررسی ماژول ۲۳: پروژه نهایی — Lakehouse عملیاتی ContosoLogix Module 23 Check: Capstone — ContosoLogix Production Lakehouse