آموزش Azure Data Engineer Associate (DP-203) Cert Prep: 4 نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها
Azure Data Engineer Associate (DP-203) Cert Prep: 4 Monitor and Optimize Data Storage and Data Processing
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
آیا برای آزمون Microsoft Azure Data Engineering (DP-203) آماده می شوید یا به دنبال درک بهتری از نحوه طراحی و توسعه پردازش داده هستید؟ این دوره، چهارمین دوره از یک سری، می تواند به شما کمک کند. نوح گیفت، بنیانگذار Pragmatic A.I. آزمایشگاه ها و یکی از همکاران بنیاد نرم افزار پایتون، نحوه نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها را پوشش می دهد. نوح ابتدا نحوه نظارت بر ذخیره سازی داده ها و پردازش داده ها را پوشش می دهد و نحوه اجرای logging مورد استفاده توسط Azure Monitor را نشان می دهد. پیکربندی خدمات نظارت؛ اندازه گیری عملکرد پرس و جو؛ و بیشتر. او سپس موضوعات مربوط به بهینه سازی و عیب یابی ذخیره سازی و پردازش داده ها را شرح می دهد، از جمله چگونگی: بازنویسی توابع تعریف شده توسط کاربر. تنظیم نمایش داده شد با استفاده از نمایه ساز و حافظه پنهان. کنترل انحراف در داده ها و نشت داده ها. عیب یابی شکست Spark job و اجرای خط لوله.
سرفصل ها و درس ها
مقدمه Introduction
-
معرفی دوره Course introduction
1. نظارت بر ذخیره سازی داده ها و پردازش داده ها 1. Monitor Data Storage and Data Processing
-
اجرای لاگ مورد استفاده توسط Azure Monitor Implement logging used by Azure Monitor
-
پیکربندی خدمات نظارت Configure monitoring services
-
اندازه گیری عملکرد حرکت داده ها Measure performance of data movement
-
نظارت بر عملکرد سیستم داده/خط لوله/خوشه Monitor data system/pipeline/cluster performance
-
اندازه گیری عملکرد پرس و جو Measure query performance
-
برنامه ریزی و نظارت بر آزمایشات خط لوله Schedule and monitor pipeline tests
-
تفسیر یک نمودار غیر چرخه ای جهت دار جرقه (DAG) Interpret a Spark directed acyclic graph (DAG)
2. بهینه سازی و عیب یابی ذخیره سازی داده ها و پردازش داده ها 2. Optimize and Troubleshoot Data Storage and Data Processing
-
بازنویسی توابع تعریف شده توسط کاربر (UDF) Rewrite user-defined functions (UDFs)
-
انحراف در داده ها و نشت داده ها را کنترل کنید Handle skew in data and data spill
-
پارتیشن‌ها/خطوط لوله را تنظیم کنید Tune shuffle partitions/pipelines
-
بهینه سازی مدیریت منابع Optimize resource management
-
پرس و جوها را با استفاده از نمایه سازها و کش تنظیم کنید Tune queries by using indexers and cache
-
عیب یابی شکست Spark job و اجرای خط لوله Troubleshoot a failed Spark job and pipeline run
نتیجه Conclusion
-
خلاصه و مراحل بعدی Summary and next steps
![آموزش نمایش داده ها و سریال سازی [ویدئو]](https://donyad.com/course/getimg/970febce-997d-4369-a074-91d99734f51c.jpg "آموزش نمایش داده ها و سریال سازی [ویدئو]")
![آموزش آپاچی اسپارک با اسکالا - Spark را از استاد بزرگ داده بیاموزید [ویدئو]](https://donyad.com/course/getimg/43dcda4d-7d30-4c14-8578-61ef69ba735a.jpg "آموزش آپاچی اسپارک با اسکالا - Spark را از استاد بزرگ داده بیاموزید [ویدئو]")
![آموزش Apache Kafka Series - Kafka Connect Hands-on Learning [ویدئو]](https://donyad.com/course/getimg/2d6e4dbf-bb99-4d26-bfed-d736a3809123.jpg "آموزش Apache Kafka Series - Kafka Connect Hands-on Learning [ویدئو]")
https://donyad.com/d/2ee337
Noah Gift
کارشناس MLOps | انفرادی | نویسنده | استادیار | CTO
Noah Gift بنیانگذار Pragmatic A.I است. آزمایشگاه ها و یکی از همکاران بنیاد نرم افزار پایتون.
نوح به طور گسترده با AWS کار می کند و یک قهرمان یادگیری ماشین AWS است. او دارای چندین گواهینامه صنعتی برای AWS است. نوح آموزش و طراحی دوره های آموزشی ماشین فارغ التحصیل، MLOps، A.I.، علم داده و مشاوره در زمینه یادگیری ماشین و معماری ابری را انجام می دهد. مسئولیت های او شامل رهبری ابتکار صدور گواهینامه چند ابری برای دانش آموزان است. نوح نقش های مختلفی را به صورت حرفه ای ایفا کرده است، از جمله CTO، مدیر کل، مشاور مدیر ارشد فناوری، مشاور ارشد دانشمند داده و معمار ابر. او همچنین دارای چندین تیتراژ فیلم در فیلم‌های اصلی برای کارهای فنی از جمله آواتار، مرد عنکبوتی 3 و بازگشت سوپرمن است.
نوح به طور گسترده با AWS کار می کند و یک قهرمان یادگیری ماشین AWS است. او دارای چندین گواهینامه صنعتی برای AWS است. نوح آموزش و طراحی دوره های آموزشی ماشین فارغ التحصیل، MLOps، A.I.، علم داده و مشاوره در زمینه یادگیری ماشین و معماری ابری را انجام می دهد. مسئولیت های او شامل رهبری ابتکار صدور گواهینامه چند ابری برای دانش آموزان است. نوح نقش های مختلفی را به صورت حرفه ای ایفا کرده است، از جمله CTO، مدیر کل، مشاور مدیر ارشد فناوری، مشاور ارشد دانشمند داده و معمار ابر. او همچنین دارای چندین تیتراژ فیلم در فیلم‌های اصلی برای کارهای فنی از جمله آواتار، مرد عنکبوتی 3 و بازگشت سوپرمن است.
نمایش نظرات