آموزش بهینه‌سازی ذخیره‌سازی و کارایی در Azure Databricks با Delta Lake - آخرین آپدیت

دانلود Optimize Storage and Performance in Azure Databricks with Delta Lake

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: دیتا لیک‌های مدرن اغلب با مشکلاتی نظیر کیفیت پایین داده‌ها، طرح‌های (Schema) ناسازگار و کارایی ضعیف در هنگام مدیریت داده‌های دسته‌ای (Batch) و جریانی (Streaming) مواجه هستند. بدون یک فرمت ذخیره‌سازی ساختاریافته و قابل اعتماد، ایجاد گردش کارهای تحلیلی قابل اطمینان و قابل نگهداری دشوار است. در این دوره آموزشی با عنوان «بهینه‌سازی ذخیره‌سازی و کارایی در Azure Databricks با Delta Lake»، شما توانایی مدیریت مؤثر و عملیاتی کردن داده‌ها در مقیاس بزرگ را با استفاده از فرمت Delta Lake کسب خواهید کرد. در ابتدا، مفاهیم بنیادی Delta Lake، از جمله نقش آن در معماری Lakehouse، نحوه تکامل آن بر پایه Parquet با استفاده از لاگ‌های تراکنش، و پشتیبانی آن از تراکنش‌های ACID و اعمال قوانین طرح (Schema Enforcement) را بررسی می‌کنید. سپس، نحوه کار عملی با Delta Lake را خواهید آموخت؛ از جمله تبدیل داده‌ها به فرمت Delta، اجرای عملیات Batch و Streaming و مدیریت تکامل طرح (Schema Evolution) با استفاده از Apache Spark. در نهایت، یاد می‌گیرید که چگونه کارایی Delta Lake را با استفاده از ویژگی‌هایی مانند Z-ordering، پرش داده‌ها (Data Skipping) و کشینگ (Caching) بهینه کنید و یکپارچگی داده‌ها را با قابلیت سفر در زمان (Time Travel)، سیاست‌های نگهداری و ابزارهای مانیتورینگ بومی Azure حفظ نمایید. پس از اتمام این دوره، شما مهارت‌ها و دانش لازم در مورد Delta Lake روی Azure را خواهید داشت تا بتوانید با اطمینان از آن به عنوان لایه‌ای بنیادین برای گردش کارهای داده‌ای قابل اعتماد، مقیاس‌پذیر و دارای حاکمیت داده (Governance) استفاده کنید.

سرفصل ها و درس ها

مبانی Delta Lake Fundamentals of Delta Lake

  • نیازمندی‌های سیستم و نرم‌افزاری System and Software Requirements

  • معماری Data Lakehouse و Delta Lake The Data Lakehouse and Delta Lake

  • معرفی Delta Lake Delta Lake

  • جداول Delta و تراکنش‌ها Delta Tables and Transactions

  • ویژگی‌های ACID در Delta Lake ACID Properties in Delta Lake

  • ذخیره‌سازی داده‌ها و فرمت‌ها Data Storage and Formats

  • موارد استفاده از Delta Lake در محیط Azure Azure-based Use Cases for Delta Lake

  • دمو: ایجاد جدول Delta با استفاده از Unity Catalog Demo: Create a Delta Table Using the Unity Catalog

  • دمو: ایجاد جدول Delta با استفاده از Hive Metastore Demo: Create a Delta Table Using the Hive Metastore

کار با Delta Lake Working with Delta Lake

  • دمو: دسترسی به جداول Delta با استفاده از Spark Demo: Accessing Delta Tables Using Spark

  • دمو: پیکربندی دسترسی‌ها برای خواندن داده‌ها از ADLS Gen2 Demo: Configuring Permissions to Read Data from ADLS Gen2

  • دمو: بارگذاری دسته‌ای (Batch) داده‌ها از ADLS Gen2 Demo: Batch Load Data from ADLS Gen2

  • دمو: تبدیل داده‌ها از ADLS به Delta Lake Demo: Convert Data from ADLS to Delta Lake

  • دمو: استریم کردن داده‌ها در جداول Delta Demo: Streaming Data into Delta Tables

  • دمو: تکامل طرح (Schema Evolutions) Demo: Schema Evolutions

بهینه‌سازی کارایی Delta Lake Optimizing Delta Lake Performance

  • بهینه‌سازی‌های جدول Delta Delta Table Optimizations

  • عملیات چیدمان فایل‌ها File Layout Operations

  • دمو: اجرای Z-ordering در جداول Delta Demo: Z-ordering Delta Tables

  • دمو: کشینگ (Caching) در جداول Delta Demo: Caching in Delta Tables

  • دمو: شتاب‌دهنده Photon Demo: Photon Acceleration

حفظ یکپارچگی داده‌ها و نسخه‌بندی Maintaining Data Integrity and Versioning

  • دمو: سفر در زمان (Time Travel) Demo: Time Travel

  • دمو: نگهداری داده‌ها و پاک‌سازی با دستور VACUUM Demo: Data Retention and Clean up with VACUUM

  • دمو: مانیتورینگ جداول Delta Demo: Monitoring Delta Tables

  • کنترل همزمانی خوش‌بینانه (Optimistic Concurrency Control) Optimistic Concurrency Control

نمایش نظرات

آموزش بهینه‌سازی ذخیره‌سازی و کارایی در Azure Databricks با Delta Lake
جزییات دوره
1h 35m
24
(آخرین آپدیت)
8
از 5
دارد
دارد
دارد
Janani Ravi
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Janani Ravi Janani Ravi

معمار و مهندس داده خبره Google Cloud

Janani Ravi یک معمار و مهندس داده خبره Google cloud است.

جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.