لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش بهینهسازی ذخیرهسازی و کارایی در Azure Databricks با Delta Lake
- آخرین آپدیت
دانلود Optimize Storage and Performance in Azure Databricks with Delta Lake
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
دیتا لیکهای مدرن اغلب با مشکلاتی نظیر کیفیت پایین دادهها، طرحهای (Schema) ناسازگار و کارایی ضعیف در هنگام مدیریت دادههای دستهای (Batch) و جریانی (Streaming) مواجه هستند. بدون یک فرمت ذخیرهسازی ساختاریافته و قابل اعتماد، ایجاد گردش کارهای تحلیلی قابل اطمینان و قابل نگهداری دشوار است.
در این دوره آموزشی با عنوان «بهینهسازی ذخیرهسازی و کارایی در Azure Databricks با Delta Lake»، شما توانایی مدیریت مؤثر و عملیاتی کردن دادهها در مقیاس بزرگ را با استفاده از فرمت Delta Lake کسب خواهید کرد.
در ابتدا، مفاهیم بنیادی Delta Lake، از جمله نقش آن در معماری Lakehouse، نحوه تکامل آن بر پایه Parquet با استفاده از لاگهای تراکنش، و پشتیبانی آن از تراکنشهای ACID و اعمال قوانین طرح (Schema Enforcement) را بررسی میکنید.
سپس، نحوه کار عملی با Delta Lake را خواهید آموخت؛ از جمله تبدیل دادهها به فرمت Delta، اجرای عملیات Batch و Streaming و مدیریت تکامل طرح (Schema Evolution) با استفاده از Apache Spark.
در نهایت، یاد میگیرید که چگونه کارایی Delta Lake را با استفاده از ویژگیهایی مانند Z-ordering، پرش دادهها (Data Skipping) و کشینگ (Caching) بهینه کنید و یکپارچگی دادهها را با قابلیت سفر در زمان (Time Travel)، سیاستهای نگهداری و ابزارهای مانیتورینگ بومی Azure حفظ نمایید.
پس از اتمام این دوره، شما مهارتها و دانش لازم در مورد Delta Lake روی Azure را خواهید داشت تا بتوانید با اطمینان از آن به عنوان لایهای بنیادین برای گردش کارهای دادهای قابل اعتماد، مقیاسپذیر و دارای حاکمیت داده (Governance) استفاده کنید.
سرفصل ها و درس ها
مبانی Delta Lake
Fundamentals of Delta Lake
نیازمندیهای سیستم و نرمافزاری
System and Software Requirements
معماری Data Lakehouse و Delta Lake
The Data Lakehouse and Delta Lake
معرفی Delta Lake
Delta Lake
جداول Delta و تراکنشها
Delta Tables and Transactions
ویژگیهای ACID در Delta Lake
ACID Properties in Delta Lake
ذخیرهسازی دادهها و فرمتها
Data Storage and Formats
موارد استفاده از Delta Lake در محیط Azure
Azure-based Use Cases for Delta Lake
دمو: ایجاد جدول Delta با استفاده از Unity Catalog
Demo: Create a Delta Table Using the Unity Catalog
دمو: ایجاد جدول Delta با استفاده از Hive Metastore
Demo: Create a Delta Table Using the Hive Metastore
کار با Delta Lake
Working with Delta Lake
دمو: دسترسی به جداول Delta با استفاده از Spark
Demo: Accessing Delta Tables Using Spark
دمو: پیکربندی دسترسیها برای خواندن دادهها از ADLS Gen2
Demo: Configuring Permissions to Read Data from ADLS Gen2
دمو: بارگذاری دستهای (Batch) دادهها از ADLS Gen2
Demo: Batch Load Data from ADLS Gen2
دمو: تبدیل دادهها از ADLS به Delta Lake
Demo: Convert Data from ADLS to Delta Lake
دمو: استریم کردن دادهها در جداول Delta
Demo: Streaming Data into Delta Tables
دمو: تکامل طرح (Schema Evolutions)
Demo: Schema Evolutions
بهینهسازی کارایی Delta Lake
Optimizing Delta Lake Performance
Janani Ravi یک معمار و مهندس داده خبره Google cloud است.
جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.
نمایش نظرات