آموزش فرمت‌های جدول باز (Open Table Formats): مفاهیم بنیادی - آخرین آپدیت

دانلود Open Table Formats: Core Concepts

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: دیتا لیک‌های سنتی که بر پایه فرمت‌های ساده‌ای مانند Parquet ساخته شده‌اند، با محدودیت‌های بحرانی در زمینه قابلیت اطمینان، سازگاری و مدیریت داده‌ها روبرو هستند. تیم‌ها معمولاً با مشکلاتی نظیر فساد داده‌ها، به‌روزرسانی‌های ناموفق، تغییرات ناخواسته در ساختار (Schema Drift) و عدم امکان بازگشت به نسخه‌های قبلی (Time Travel) یا حسابرسی تغییرات دست و پنجه نرم می‌کنند. فرمت‌های جدول باز برای حل این مشکلات بنیادین به وجود آمدند، اما درک ماهیت آن‌ها و انتخاب گزینه مناسب می‌تواند چالش‌برانگیز باشد. در این دوره آموزشی با عنوان «فرمت‌های جدول باز: مفاهیم بنیادی»، شما دانش پایه‌ای در مورد نحوه عملکرد فرمت‌های جدول و دلیل تبدیل شدن آن‌ها به یک ضرورت در معماری‌های داده مدرن را کسب خواهید کرد. در ابتدا، بررسی خواهید کرد که فرمت‌های جدول باز چیستند و چه تفاوتی با جداول سنتی سبک Hive و رویکردهای مبتنی بر Parquet دارند و محدودیت‌هایی که این فرمت‌ها برای رفع آن‌ها طراحی شده‌اند را خواهید شناخت. سپس، از طریق مثال‌های عینی و مقایسه‌های بصری، با مشکلات کلیدی که توسط این فرمت‌ها حل می‌شوند آشنا می‌شوید؛ مواردی همچون تراکنش‌های ACID، تکامل شمای داده‌ها (Schema Evolution)، سفر در زمان (Time Travel)، نسخه‌بندی داده‌ها و تضمین‌های قابلیت اطمینان. در نهایت، ویژگی‌های سطح بالای سه فرمت اصلی را خواهید آموخت: مدل متمرکز بر کاتالوگ و مبتنی بر اسنپ‌شات در Iceberg، سادگی لاگ تراکنش‌ها در Delta Lake و تمرکز بر پردازش افزایشی با انواع جداول Copy-on-Write و Merge-on-Read در Hudi. پس از پایان این دوره، شما یک پایه مفهومی روشن در مورد فرمت‌های جدول باز خواهید داشت که شما را قادر می‌سازد در بحث‌های معماری شرکت کنید، گزینه‌های مختلف را ارزیابی نمایید و با اطمینان به سراغ دوره‌های پیاده‌سازی و طراحی در مسیر یادگیری Open Table Formats بروید.

سرفصل ها و درس ها

درک فرمت‌های جدول باز و اهمیت آن‌ها در معماری‌های داده مدرن Understand Open Table Formats and Their Importance for Modern Data Architectures

  • درک فرمت فایل Parquet Understanding the Parquet File Format

  • معرفی فرمت‌های جدول باز Introducing Open Table Formats

  • درک محدودیت‌های دیتا لیک‌های سنتی Understanding Traditional Data Lake Limitations

  • دمو: محدودیت‌های دیتا لیک سنتی – به‌روزرسانی رکوردها Demo: Limitations of a Traditional Data Lake – Updating Records

  • دمو: محدودیت‌های دیتا لیک سنتی – حذف رکوردها Demo: Limitations of a Traditional Data Lake – Deleting Records

  • درک مشکلات کلیدی حل شده توسط فرمت‌های جدول باز Understanding Core Problems Solved by Open Table Formats

  • معرفی مفهوم لایه متادیتا (Metadata Layer) Introducing the Metadata Layer Concept

  • آشنایی با سه فرمت اصلی جدول باز Understanding the Three Major Open Table Formats

مقایسه Delta Lake، Apache Iceberg و Apache Hudi Comparing Delta Lake, Apache Iceberg, and Apache Hudi

  • درک معماری Apache Iceberg Understanding Apache Iceberg Architecture

  • درک معماری Delta Lake Understanding Delta Lake Architecture

  • دمو: ایجاد و بررسی فرمت Delta Lake Demo: Creating and Exploring Delta Lake Format

  • درک معماری Apache Hudi Understanding Apache Hudi Architecture

  • مقایسه تطبیقی فرمت‌های جدول باز Comparing Open Table Formats Side by Side

نمایش نظرات

آموزش فرمت‌های جدول باز (Open Table Formats): مفاهیم بنیادی
جزییات دوره
59m
13
Pluralsight (پلورال سایت) Pluralsight (پلورال سایت)
(آخرین آپدیت)
9
از 5
دارد
دارد
دارد
Nikola Ilic
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Nikola Ilic Nikola Ilic

نیکولا ایلیچ به طور رسمی یک توسعه‌دهنده هوش تجاری است که بر فناوری‌های پلتفرم داده مایکروسافت، به‌ویژه Power BI تمرکز دارد - اما او فردی متعصب به داده است و به هر چیزی که مربوط به استخراج اطلاعات معنی‌دار از داده‌های خام است علاقه دارد. نیکولا خود را "داده موتزارت" معرفی می کند. از آنجایی که او در شهر شگفت انگیز سالزبورگ، اتریش، که به زادگاه W.A.Mozart معروف است، زندگی می کند، به اندازه کافی شجاع بود که از نام خانوادگی آهنگساز به عنوان بخشی از نام مستعار خود استفاده کند. به همین دلیل است که شعار حرفه ای نیکولا این است: "از داده های خود موسیقی بسازید!" نیکولا که از محیط کسب و کار آمده است، دارای مدرک لیسانس در علوم ارتباطات و علوم کامپیوتر است. او مرتباً در data-mozart.com وبلاگ می نویسد و در کنفرانس های داده جهانی سخنرانی می کند. نیکولا همچنین MVP پلتفرم داده مایکروسافت، مربی گواهی شده مایکروسافت و تحلیلگر داده تایید شده است.