آموزش آپاچی آیس‌برگ (Apache Iceberg): راهنمای جامع برای مبتدیان - آخرین آپدیت

سرفصل ها و درس ها

مقدمه‌ای بر Apache Iceberg Introduction to Apache Iceberg

• مقایسه انبار داده، دیتا لیک و دیتا لیک‌هاوس Data Warehouse Vs. Data Lake Vs. Data Lakehouse

• مسیر تبدیل انبار داده به دیتا لیک‌هاوس Data Warehouse to Data Lakehouse

• تکامل صنعت و نقش Iceberg Iceberg & Industry Evolution

• Apache Iceberg چیست؟ What is Apache Iceberg?

• محدودیت‌های فرمت‌های سنتی جدول (Hive, Parquet و غیره) Limitations of traditional table formats (Hive, Parquet-only, etc.)

• ویژگی‌های کلیدی Iceberg (تکامل شما، ACID، پارتیشن‌بندی و غیره) Key Features of Iceberg (schema evolution, ACID, partitioning, etc.)

• پرسش و پاسخ Questions

معماری و طراحی Iceberg Iceberg Architecture and Design

• پیش‌زمینه و تاریخچه Iceberg Iceberg Background

• پرسش و پاسخ Questions

شروع کار با Iceberg Getting Start with Iceberg

• نصب پایتون ۳.۱۰ در لینوکس Python 3.10 Linux Installation

• نصب پایتون ۳.۱۰ در MacOS Python 3.10 MacOS Installation

• نصب با استفاده از ترمینال Installation using Terminal

• نصب Jupyter Notebook Jupyter Notebook Installation

• نصب کتابخانه‌ها (PyIceberg, Polars, DuckDB) Libraries Installation (PyIceberg, Polars, DuckDB)

• منابع آموزشی دوره Course Materials

• درک مفهوم کاتالوگ‌ها Understanding of Catalogs

• ایجاد و انتخاب رکوردها در PyIceberg PyIceberg Creating and Selecting Records

• راه‌اندازی اولین کاتالوگ محلی در PyIceberg PyIceberg First Local Catalog Setup

• فیلتر کردن رکوردها در کاتالوگ محلی PyIceberg PyIceberg Filtering Records on Local Catalog

استفاده از PyIceberg با Polars PyIceberg with Polars

• مقدمه‌ای بر Polars Polars Introduction

• مقایسه Pandas و Polars Pandas Vs. Polars

• معماری Polars و Iceberg Polars and Iceberg Architecture

• کار با Polars و کاتالوگ محلی Polars and Local Catalog

• فیلتر کردن داده‌ها در Polars و کاتالوگ محلی Polars Filtering and Local Catalog

• پرسش و پاسخ Questions

استفاده از PyIceberg با Spark PyIceberg with Spark

• نصب جاوا ۱۷ در لینوکس Install: Java 17 on Linux

• نصب جاوا ۱۷ در MacOS Install: Java 17 on MacOS

• معماری Spark و Iceberg Spark and Iceberg Architecture

• نصب PySpark به صورت محلی Install PySpark on Local

• ایجاد کاتالوگ محلی در Spark Spark create Local Catalog

• ایجاد جدول در کاتالوگ محلی Spark Spark Create Table in Local Catalog

• ایجاد کاتالوگ محلی PyIceberg توسط PySpark PySpark Create Local Catalog on PyIceberg

• ایجاد جدول در PySpark با استفاده از کوئری PySpark Create Table using Query

• ایجاد جدول در PySpark با استفاده از کد PySpark Create Table using Code

• انتخاب رکوردها از کاتالوگ محلی در PySpark PySpark Select Records from Local Catalog

• توابع Aggregate در PySpark PySpark Aggregate Functions

• فیلترهای PySpark روی کاتالوگ PySpark Filters on Catalog

• پرسش و پاسخ Questions

• پرسش و پاسخ Questions

استفاده از PyIceberg با DuckDB PyIceberg with DuckDB

• مقدمه‌ای بر DuckDB Introduction of DuckDB

• ویژگی‌های کلیدی DuckDB Key Features of DuckDB

• خواندن جدول در DuckDB با استفاده از کاتالوگ DuckDB read Table using Catalog

• اعمال فیلترها روی جداول کاتالوگ در DuckDB DuckDB applying Filters on Catalog Tables

• پرسش و پاسخ Questions

استفاده از PyIceberg با PostgreSQL یا JDBC PyIceberg with PostgreSQL or JDBC

• کاتالوگ PyIceberg با PostgreSQL PyIceberg Catalog with PostgreSQL

• جداول متادیتای کاتالوگ Postgres Postgres Catalog Metadata Tables

استفاده از PyIceberg با ابر AWS (S3, Glue) PyIceberg with AWS Cloud (S3, Glue)

• ساخت کاربر در AWS AWS User Creation

• استفاده از PyIceberg با کاتالوگ S3 PyIceberg with S3 Catalog

• استفاده از PyIceberg با Spark و کاتالوگ S3 PyIceberg with Spark & S3 Catalog

• استفاده از PyIceberg با Spark و کاتالوگ Glue PyIceberg with Spark & Glue Catalog

• استفاده از PyIceberg با DuckDB و کاتالوگ S3 PyIceberg with DuckDB & S3 Catalog

ویژگی‌های جداول Iceberg و ACID ACID – Iceberg Table Features

• عملیات Insert و Update در Iceberg Insert & Update Operations on Iceberg

• حذف رکوردها در Iceberg Deletion of Records on Iceberg

• سفر در زمان (Time Travel) در PyIceberg با PySpark PyIceberg Time Traveling with PySpark

• شما و تکامل (Evolution) در Iceberg Schema & Evolution in Iceberg

• ویژگی‌های فشرده‌سازی جداول در Iceberg Compression Table Properties in Iceberg

• پارتیشن‌بندی بدون ستون‌های پارتیشن Partitioning without partition columns

• پارتیشن مخفی (Hidden Partition) در Iceberg Hidden Partition using Iceberg

کاتالوگ Nessie Nessie

• مقدمه‌ای بر کاتالوگ Nessie Introduction of Nessie Catalog

• نصب Nessie Nessie Installation

• اولین مثال از کاتالوگ Nessie Nessie First Catalog Example

• دستورات Nessie Nessie Commands

• کار با شاخه‌ها (Branches) در Nessie Nessie Playing with Branches

• ایجاد و حذف شاخه‌ها در Nessie Nessie Creating & Delete Branches

فرمت‌های باز جدول (Open Table Formats) Open Table Formats

• مقایسه Iceberg، Delta Lake و Apache Hudi Iceberg Vs. Delta Lake Vs. Apache Hudi

• انتخاب Iceberg: Databricks، Snowflake یا Trino Choosing Iceberg: Databricks, Snowflake or Trino

استفاده از Iceberg در Databricks Iceberg with Databricks

• ثبت‌نام در نسخه Community Databricks Databricks Community Edition - Self Registration

• بررسی رابط کاربری وب Databricks Databricks Web Interface Walkthrough

• ساخت Notebook و اجرای SQL در Databricks Create Notebook & SQL in Databricks

• عملیات روی جداول Iceberg Iceberg Table Operations

• تکامل شما در Iceberg Schema Evolution in Iceberg

• پارتیشن‌بندی جدول Partition Table

استفاده از Iceberg در Snowflake Iceberg with Snowflake

• ثبت‌نام در Snowflake Snowflake - Registration

• ایجاد نقش (Role) در AWS Create Role in AWS

• اتصال Snowflake به External Volume در AWS Snowflake - AWS External Volume

• ایجاد جدول Iceberg در Snowflake Create iceberg table in snowflake

• عملیات Insert Insert Operation

• عملیات Update Update Operation

• عملیات Delete Delete operation

پروژه ۱: ساخت Duck lake متن‌باز روی Iceberg Project 1: Open Source Duck-lake on Iceberg

• آپدیت DuckDB به نسخه ۱.۳ DuckDB Upgrade Version: 1.3

• اتصال Ducklake به AWS S3 Ducklake AWS S3 Connection

• متادیتای Ducklake Duck-lake Metadata

• ردیابی تغییرات اسنپ‌شات متادیتا در Ducklake Duck-lake Track Metadata Snapshot Changes

• خواندن فایل Parquet از S3 در Ducklake Duck-lake Read Parquet File from S 3

• ویژگی سفر در زمان در Ducklake Duck-lake Time Travel Feature

• ردیابی سفر در زمان بر اساس زمان در Ducklake Duck-lake track Time Travel using Time

• تراکنش‌های ACID چندجدولی در Ducklake Duck-lake Multiple Table ACID Transactions

تمرین: طراحی یک دیتا لیک‌هاوس متن‌باز Practice: Design an Open Source Data Lakehouse

• پرسش و پاسخ Question

• بررسی معماری‌های احتمالی Potential Architecture