آموزش Microsoft Azure Data Engineer Associate (DP-203) Cert Prep: 4 نظارت و بهینه سازی ذخیره سازی و پردازش داده ها توسط Microsoft Press

1. نظارت بر ذخیره سازی داده ها 1. Monitor Data Storage

• اهداف یادگیری Learning objectives

• اجرای لاگ مورد استفاده توسط Azure Monitor Implement logging used by Azure Monitor

• پیکربندی خدمات نظارت Configure monitoring services

• اندازه گیری عملکرد حرکت داده ها Measure performance of data movement

• نظارت و به روز رسانی آمار در مورد داده ها در سراسر یک سیستم Monitor and update statistics about data across a system

• نظارت بر عملکرد خط لوله داده Monitor data pipeline performance

• عملکرد پرس و جو را اندازه گیری کنید Measure query performance

2. نظارت بر پردازش داده ها 2. Monitor Data Processing

• اهداف یادگیری Learning objectives

• نظارت بر عملکرد خوشه Monitor cluster performance

• گزینه های ثبت سفارشی را درک کنید Understand custom logging options

• برنامه ریزی و نظارت بر آزمایشات خط لوله Schedule and monitor pipeline tests

• متریک ها و گزارش های مانیتور Azure را تفسیر کنید Interpret Azure Monitor metrics and logs

• تفسیر یک نمودار غیر چرخشی هدایت شده توسط جرقه (DAG) Interpret a Spark Directed Acyclic Graph (DAG)

3. ذخیره سازی داده ها را تنظیم کنید 3. Tune Data Storage

• اهداف یادگیری Learning objectives

• فایل های کوچک فشرده Compact small files

• بازنویسی توابع تعریف شده توسط کاربر (UDF) Rewrite user-defined functions (UDFs)

• کنترل انحراف در داده ها Handle skew in data

• رسیدگی به نشت داده ها Handle data spill

• تنظیم کردن پارتیشن های مخلوط کردن Tune shuffle partitions

• مخلوط کردن را در یک خط لوله پیدا کنید Find shuffling in a pipeline

• بهینه سازی مدیریت منابع Optimize resource management

4. بهینه سازی و عیب یابی پردازش داده ها 4. Optimize and Troubleshoot Data Processing

• اهداف یادگیری Learning objectives

• پرس و جوها را با استفاده از نمایه سازها تنظیم کنید Tune queries by using indexers

• پرس و جوها را با استفاده از حافظه پنهان تنظیم کنید Tune queries by using cache

• خطوط لوله را برای اهداف تحلیلی یا معاملاتی بهینه کنید Optimize pipelines for analytical or transactional purposes

• بهینه سازی خط لوله برای بارهای کاری توصیفی در مقابل تحلیلی Optimize pipeline for descriptive versus analytical workloads

• عیب یابی کارهای ناموفق Spark Troubleshoot failed Spark jobs

• عیب یابی اجرای ناموفق خط لوله Troubleshoot failed pipeline runs

نتیجه Conclusion

• خلاصه Summary