آموزش بهینه‌سازی ذخیره‌سازی و عملکرد در Azure Databricks با Delta Lake - آخرین آپدیت

دانلود Optimize Storage and Performance in Azure Databricks with Delta Lake

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: دریک‌های داده مدرن اغلب با مشکلاتی نظیر کیفیت پایین داده‌ها، عدم سازگاری طرح‌ها (Schema) و عملکرد ضعیف در مدیریت داده‌های دسته‌ای (Batch) و جریانی (Streaming) مواجه هستند. بدون یک فرمت ذخیره‌سازی ساختاریافته و قابل اعتماد، ایجاد گردش کارهای تحلیلی قابل نگهداری و مطمئن دشوار است. در این دوره آموزشی با عنوان «بهینه‌سازی ذخیره‌سازی و عملکرد در Azure Databricks با Delta Lake»، شما توانایی مدیریت و عملیات موثر بر روی داده‌های مقیاس‌بزرگ با استفاده از فرمت Delta Lake را کسب خواهید کرد. در ابتدا، با مفاهیم بنیادی Delta Lake، نقش آن در معماری Lakehouse، نحوه توسعه بر پایه Parquet با استفاده از لاگ‌های تراکنش، و پشتیبانی آن از تراکنش‌های ACID و اعمال محدودیت‌های طرح (Schema Enforcement) آشنا می‌شوید. سپس، نحوه کار عملی با Delta Lake را فرا می‌گیرید؛ از جمله تبدیل داده‌ها به فرمت Delta، اجرای عملیات دسته‌ای و جریانی، و مدیریت تکامل طرح (Schema Evolution) با استفاده از Apache Spark. در نهایت، یاد می‌گیرید که چگونه عملکرد Delta Lake را با استفاده از قابلیت‌هایی مانند Z-ordering، پرش داده‌ها (Data Skipping) و کشینگ (Caching) بهینه کنید و یکپارچگی داده‌ها را از طریق قابلیت سفر در زمان (Time Travel)، سیاست‌های نگهداری و ابزارهای مانیتورینگ بومی Azure حفظ نمایید. پس از اتمام این دوره، شما مهارت‌ها و دانش لازم در مورد Delta Lake روی Azure را خواهید داشت تا با اعتماد به نفس کامل از آن به عنوان لایه زیرساختی برای گردش کارهای داده‌ای قابل اعتماد، مقیاس‌پذیر و مدیریت‌شده استفاده کنید.

سرفصل ها و درس ها

مبانی Delta Lake Fundamentals of Delta Lake

  • نیازمندی‌های سیستم و نرم‌افزاری System and Software Requirements

  • معماری Data Lakehouse و Delta Lake The Data Lakehouse and Delta Lake

  • معرفی Delta Lake Delta Lake

  • جداول دلتا و تراکنش‌ها Delta Tables and Transactions

  • ویژگی‌های ACID در Delta Lake ACID Properties in Delta Lake

  • ذخیره‌سازی داده‌ها و فرمت‌ها Data Storage and Formats

  • موارد استفاده از Delta Lake در محیط Azure Azure-based Use Cases for Delta Lake

  • دمو: ایجاد جدول دلتا با استفاده از Unity Catalog Demo: Create a Delta Table Using the Unity Catalog

  • دمو: ایجاد جدول دلتا با استفاده از Hive Metastore Demo: Create a Delta Table Using the Hive Metastore

کار با Delta Lake Working with Delta Lake

  • دمو: دسترسی به جداول دلتا با استفاده از Spark Demo: Accessing Delta Tables Using Spark

  • دمو: پیکربندی مجوزها برای خواندن داده‌ها از ADLS Gen2 Demo: Configuring Permissions to Read Data from ADLS Gen2

  • دمو: بارگذاری دسته‌ای داده‌ها از ADLS Gen2 Demo: Batch Load Data from ADLS Gen2

  • دمو: تبدیل داده‌ها از ADLS به Delta Lake Demo: Convert Data from ADLS to Delta Lake

  • دمو: استریم کردن داده‌ها به جداول دلتا Demo: Streaming Data into Delta Tables

  • دمو: تکامل طرح داده‌ها (Schema Evolutions) Demo: Schema Evolutions

بهینه‌سازی عملکرد Delta Lake Optimizing Delta Lake Performance

  • بهینه‌سازی‌های جدول دلتا Delta Table Optimizations

  • عملیات چیدمان فایل‌ها File Layout Operations

  • دمو: مرتب‌سازی Z-ordering در جداول دلتا Demo: Z-ordering Delta Tables

  • دمو: کشینگ در جداول دلتا Demo: Caching in Delta Tables

  • دمو: شتاب‌دهنده Photon Demo: Photon Acceleration

حفظ یکپارچگی داده‌ها و نسخه‌بندی Maintaining Data Integrity and Versioning

  • دمو: سفر در زمان (Time Travel) Demo: Time Travel

  • دمو: نگهداری داده‌ها و پاک‌سازی با دستور VACUUM Demo: Data Retention and Clean up with VACUUM

  • دمو: مانیتورینگ جداول دلتا Demo: Monitoring Delta Tables

  • کنترل همزمانی خوش‌بینانه (Optimistic Concurrency Control) Optimistic Concurrency Control

نمایش نظرات

آموزش بهینه‌سازی ذخیره‌سازی و عملکرد در Azure Databricks با Delta Lake
جزییات دوره
1h 35m
24
(آخرین آپدیت)
8
از 5
دارد
دارد
دارد
Janani Ravi
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Janani Ravi Janani Ravi

معمار و مهندس داده خبره Google Cloud

Janani Ravi یک معمار و مهندس داده خبره Google cloud است.

جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.