لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش بهینهسازی ذخیرهسازی و عملکرد در Azure Databricks با Delta Lake
- آخرین آپدیت
دانلود Optimize Storage and Performance in Azure Databricks with Delta Lake
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
دریکهای داده مدرن اغلب با مشکلاتی نظیر کیفیت پایین دادهها، عدم سازگاری طرحها (Schema) و عملکرد ضعیف در مدیریت دادههای دستهای (Batch) و جریانی (Streaming) مواجه هستند. بدون یک فرمت ذخیرهسازی ساختاریافته و قابل اعتماد، ایجاد گردش کارهای تحلیلی قابل نگهداری و مطمئن دشوار است.
در این دوره آموزشی با عنوان «بهینهسازی ذخیرهسازی و عملکرد در Azure Databricks با Delta Lake»، شما توانایی مدیریت و عملیات موثر بر روی دادههای مقیاسبزرگ با استفاده از فرمت Delta Lake را کسب خواهید کرد.
در ابتدا، با مفاهیم بنیادی Delta Lake، نقش آن در معماری Lakehouse، نحوه توسعه بر پایه Parquet با استفاده از لاگهای تراکنش، و پشتیبانی آن از تراکنشهای ACID و اعمال محدودیتهای طرح (Schema Enforcement) آشنا میشوید.
سپس، نحوه کار عملی با Delta Lake را فرا میگیرید؛ از جمله تبدیل دادهها به فرمت Delta، اجرای عملیات دستهای و جریانی، و مدیریت تکامل طرح (Schema Evolution) با استفاده از Apache Spark.
در نهایت، یاد میگیرید که چگونه عملکرد Delta Lake را با استفاده از قابلیتهایی مانند Z-ordering، پرش دادهها (Data Skipping) و کشینگ (Caching) بهینه کنید و یکپارچگی دادهها را از طریق قابلیت سفر در زمان (Time Travel)، سیاستهای نگهداری و ابزارهای مانیتورینگ بومی Azure حفظ نمایید.
پس از اتمام این دوره، شما مهارتها و دانش لازم در مورد Delta Lake روی Azure را خواهید داشت تا با اعتماد به نفس کامل از آن به عنوان لایه زیرساختی برای گردش کارهای دادهای قابل اعتماد، مقیاسپذیر و مدیریتشده استفاده کنید.
سرفصل ها و درس ها
مبانی Delta Lake
Fundamentals of Delta Lake
نیازمندیهای سیستم و نرمافزاری
System and Software Requirements
معماری Data Lakehouse و Delta Lake
The Data Lakehouse and Delta Lake
معرفی Delta Lake
Delta Lake
جداول دلتا و تراکنشها
Delta Tables and Transactions
ویژگیهای ACID در Delta Lake
ACID Properties in Delta Lake
ذخیرهسازی دادهها و فرمتها
Data Storage and Formats
موارد استفاده از Delta Lake در محیط Azure
Azure-based Use Cases for Delta Lake
دمو: ایجاد جدول دلتا با استفاده از Unity Catalog
Demo: Create a Delta Table Using the Unity Catalog
دمو: ایجاد جدول دلتا با استفاده از Hive Metastore
Demo: Create a Delta Table Using the Hive Metastore
کار با Delta Lake
Working with Delta Lake
دمو: دسترسی به جداول دلتا با استفاده از Spark
Demo: Accessing Delta Tables Using Spark
دمو: پیکربندی مجوزها برای خواندن دادهها از ADLS Gen2
Demo: Configuring Permissions to Read Data from ADLS Gen2
دمو: بارگذاری دستهای دادهها از ADLS Gen2
Demo: Batch Load Data from ADLS Gen2
دمو: تبدیل دادهها از ADLS به Delta Lake
Demo: Convert Data from ADLS to Delta Lake
دمو: استریم کردن دادهها به جداول دلتا
Demo: Streaming Data into Delta Tables
دمو: تکامل طرح دادهها (Schema Evolutions)
Demo: Schema Evolutions
بهینهسازی عملکرد Delta Lake
Optimizing Delta Lake Performance
Janani Ravi یک معمار و مهندس داده خبره Google cloud است.
جنانی مدرک کارشناسی ارشد خود را در رشته مهندسی برق از دانشگاه استنفورد دریافت کرد و برای مایکروسافت، گوگل و فلیپ کارت کار کرده است. او یکی از بنیانگذاران Loonycorn است، یک استودیوی محتوا که بر ارائه محتوای با کیفیت بالا برای توسعه مهارت های فنی متمرکز است، جایی که او عشق خود را به فناوری با اشتیاق خود به تدریس ترکیب می کند.
نمایش نظرات