آموزش راهنمای جامع Apache Iceberg و Snowflake: پیاده‌سازی End-to-End دیتا لیک - آخرین آپدیت

سرفصل ها و درس ها

قبل از شروع Before we start

• کدهای منبع دوره Course code base

چرا Iceberg Why Iceberg

• مقدمه Introduction

• آشنایی با OLTP Introduction - OLTP

• مشکلات سیستم‌های OLTP Problems with OLTP

• سیستم OLAP OLAP system

• ذخیره‌سازی در OLAP OLAP- Storage

• فرمت فایل در OLAP OLAP- Fileformat

• فرمت جدول در OLAP OLAP- Tableformat

• موتور ذخیره‌سازی و پردازش OLAP OLAP- Storage and compute engine

• کاتالوگ در OLAP OLAP- Catalog

• مروری بر انبار داده (Data Warehouse) Datawarehouse overview

• مزایا و معایب انبار داده Datawarehouse advantage and disadvantage

• معماری بسته (Closed Architecture) Closed architecture

• دیتالیک (Data Lake) Datalake

• دیتالیک‌هاوس (Data Lakehouse) Datalakehouse

راه‌اندازی محیط Iceberg Iceberg environment setup

• راه‌اندازی Codespaces codespaces setup

• عملیات پایه در Iceberg Basic iceberg operations

فرمت فایل Parquet Parquet file format

• مقدمه Introduction

• مقایسه فرمت‌های سطری و ستونی Row wise vs columnar formats

• ساختار فایل Parquet Parquet file structure

• نصب Parquet CLI Install parquet cli

• تحلیل فایل Parquet Analyse parquet file

• متادیتای Parquet Parquet metadata

• معماری Iceberg Iceberg architecture

ویژگی‌های Iceberg Iceberg features

• مقدمه Introduction

• پارتیشن پنهان (Hidden Partition) Hidden partition

• دموی پارتیشن پنهان - بخش اول Hidden partiton demo - P1

• دموی پارتیشن پنهان - بخش دوم Hidden partition demo - P2

• پارتیشن پنهان: گزینه Truncate Hidden partition: Truncate option

• پارتیشن پنهان: Bucket Hidden partition: Bucket

• پارتیشن پنهان: تکامل پارتیشن (Partition Evolution) Hidden partition : partition evolution

• سفر در زمان (Time Travel) Time travel

مفاهیم Iceberg Iceberg concepts

• جداسازی اسنپ‌شات در Iceberg Iceberg snapshot isolation

• بررسی COW و MOR COW & MOR

• دموی COW COW : Demo

• دموی MOR MOR : Demo

استفاده از Iceberg در Snowflake Iceberg with snowflake

• منابع این بخش Section resources.

• مقدمه Introduction

• پیکربندی Iceberg در Snowflake Configure iceberg in snowflake

• ایجاد جدول Iceberg در Snowflake Create iceberg table in snowflake

• عملیات درج داده (Insert) Insert operation

• کش Snowflake در جداول Iceberg Snowflake cache with iceberg table

• عملیات به‌روزرسانی (Update) Update operation

• عملیات حذف (Delete) Delete operation

• خوشه‌بندی (Cluster by) در جداول Snowflake Iceberg Cluster by with snowflake iceberg table.

ساخت دیتالیک با Snowflake Iceberg Datalake with snowflake iceberg

• منابع این بخش Section resources

• معماری دیتالیک Data lake architecture

• دموی دیتالیک Data lake demo

• قابلیت همکاری بین پلتفرم‌ها Interoperability

• کاتالوگ‌ها Catalogs