آموزش مبانی بیگ دیتا: ذخیره‌سازی و فرمت‌های داده - آخرین آپدیت

سرفصل ها و درس ها

ذخیره‌سازی توزیع‌شده در سیستم‌های بیگ دیتا Distributed Storage in Big Data Systems

• خوش‌آمدگویی و اهداف دوره Welcome and Course Goals

• چرا بیگ دیتا به ذخیره‌سازی توزیع‌شده نیاز دارد Why Big Data Needs Distributed Storage

• رویکردهای رایج ذخیره‌سازی توزیع‌شده Common Distributed Storage Approaches

• تکثیر، پارتیشن‌بندی و پایداری Replication, Partitioning, and Durability

• ملاحظات هزینه، عملکرد و در دسترس بودن Cost, Performance, and Availability Considerations

فرمت‌های فایل و جدول در بیگ دیتا Big Data File and Table Formats

• مقایسه فرمت‌های ردیف-محور و ستونی Row-based vs. Columnar Formats

• بررسی فرمت‌های رایج بیگ دیتا Exploring Common Big Data Formats

• اعمال طرح‌واره، متادیتا و فشرده‌سازی Schema Enforcement, Metadata, and Compression

• تاثیر انتخاب فرمت بر کارایی کوئری و ذخیره‌سازی Impact of Format Choice on Query and Storage Efficiency

چیدمان، پارتیشن‌بندی و سازماندهی داده‌ها Data Layout, Partitioning, and Organization

• توضیح پارتیشن‌بندی، باکتیینگ و مرتب‌سازی Partitioning, Bucketing, and Sorting Explained

• چالش‌های عملکردی ناشی از چیدمان ضعیف داده‌ها Performance Challenges from Poor Data Layout

• فرمت‌های جدول باز: Iceberg، Delta Lake و Hudi Open Table Formats: Iceberg, Delta Lake, and Hudi

• تاثیر چیدمان بر ورود داده‌ها، سرعت و مدیریت چرخه عمر How Layout Influences Ingestion, Speed, and Lifecycle Management