آموزش Azure Data Engineer Associate (DP-203) Cert Prep: 4 نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها

Azure Data Engineer Associate (DP-203) Cert Prep: 4 Monitor and Optimize Data Storage and Data Processing

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
توضیحات دوره:
آیا برای آزمون Microsoft Azure Data Engineering (DP-203) آماده می شوید یا به دنبال درک بهتری از نحوه طراحی و توسعه پردازش داده هستید؟ این دوره، چهارمین دوره از یک سری، می تواند به شما کمک کند. نوح گیفت، بنیانگذار Pragmatic A.I. آزمایشگاه ها و یکی از همکاران بنیاد نرم افزار پایتون، نحوه نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها را پوشش می دهد. نوح ابتدا نحوه نظارت بر ذخیره سازی داده ها و پردازش داده ها را پوشش می دهد و نحوه اجرای logging مورد استفاده توسط Azure Monitor را نشان می دهد. پیکربندی خدمات نظارت؛ اندازه گیری عملکرد پرس و جو؛ و بیشتر. او سپس موضوعات مربوط به بهینه سازی و عیب یابی ذخیره سازی و پردازش داده ها را شرح می دهد، از جمله چگونگی: بازنویسی توابع تعریف شده توسط کاربر. تنظیم نمایش داده شد با استفاده از نمایه ساز و حافظه پنهان. کنترل انحراف در داده ها و نشت داده ها. عیب یابی شکست Spark job و اجرای خط لوله.

سرفصل ها و درس ها

مقدمه Introduction

  • معرفی دوره Course introduction

1. نظارت بر ذخیره سازی داده ها و پردازش داده ها 1. Monitor Data Storage and Data Processing

  • اجرای لاگ مورد استفاده توسط Azure Monitor Implement logging used by Azure Monitor

  • پیکربندی خدمات نظارت Configure monitoring services

  • اندازه گیری عملکرد حرکت داده ها Measure performance of data movement

  • نظارت بر عملکرد سیستم داده/خط لوله/خوشه Monitor data system/pipeline/cluster performance

  • اندازه گیری عملکرد پرس و جو Measure query performance

  • برنامه ریزی و نظارت بر آزمایشات خط لوله Schedule and monitor pipeline tests

  • تفسیر یک نمودار غیر چرخه ای جهت دار جرقه (DAG) Interpret a Spark directed acyclic graph (DAG)

2. بهینه سازی و عیب یابی ذخیره سازی داده ها و پردازش داده ها 2. Optimize and Troubleshoot Data Storage and Data Processing

  • بازنویسی توابع تعریف شده توسط کاربر (UDF) Rewrite user-defined functions (UDFs)

  • انحراف در داده ها و نشت داده ها را کنترل کنید Handle skew in data and data spill

  • پارتیشن‌ها/خطوط لوله را تنظیم کنید Tune shuffle partitions/pipelines

  • بهینه سازی مدیریت منابع Optimize resource management

  • پرس و جوها را با استفاده از نمایه سازها و کش تنظیم کنید Tune queries by using indexers and cache

  • عیب یابی شکست Spark job و اجرای خط لوله Troubleshoot a failed Spark job and pipeline run

نتیجه Conclusion

  • خلاصه و مراحل بعدی Summary and next steps

نمایش نظرات

نظری ارسال نشده است.

آموزش Azure Data Engineer Associate (DP-203) Cert Prep: 4 نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها
خرید اشتراک و دانلود خرید تکی و دانلود | 160,000 تومان (5 روز مهلت دانلود) زمان تقریبی آماده سازی لینک دانلود این دوره آموزشی حدود 5 تا 24 ساعت می باشد.
جزییات دوره
34m
15
Linkedin (لینکدین) lynda-small
24 آذر 1401 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
-
- از 5
ندارد
دارد
دارد
Noah Gift

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Noah Gift Noah Gift

کارشناس MLOps | انفرادی | نویسنده | استادیار | CTO

Noah Gift بنیانگذار Pragmatic A.I است. آزمایشگاه ها و یکی از همکاران بنیاد نرم افزار پایتون.

نوح به طور گسترده با AWS کار می کند و یک قهرمان یادگیری ماشین AWS است. او دارای چندین گواهینامه صنعتی برای AWS است. نوح آموزش و طراحی دوره های آموزشی ماشین فارغ التحصیل، MLOps، A.I.، علم داده و مشاوره در زمینه یادگیری ماشین و معماری ابری را انجام می دهد. مسئولیت های او شامل رهبری ابتکار صدور گواهینامه چند ابری برای دانش آموزان است. نوح نقش های مختلفی را به صورت حرفه ای ایفا کرده است، از جمله CTO، مدیر کل، مشاور مدیر ارشد فناوری، مشاور ارشد دانشمند داده و معمار ابر. او همچنین دارای چندین تیتراژ فیلم در فیلم‌های اصلی برای کارهای فنی از جمله آواتار، مرد عنکبوتی 3 و بازگشت سوپرمن است.

Linkedin (لینکدین)

لینکدین: شبکه اجتماعی حرفه‌ای برای ارتباط و کارآفرینی

لینکدین به عنوان یکی از بزرگترین شبکه‌های اجتماعی حرفه‌ای، به میلیون‌ها افراد در سراسر جهان این امکان را می‌دهد تا ارتباط برقرار کنند، اطلاعات حرفه‌ای خود را به اشتراک بگذارند و فرصت‌های شغلی را کشف کنند. این شبکه اجتماعی به کاربران امکان می‌دهد تا رزومه حرفه‌ای خود را آپدیت کنند، با همکاران، دوستان و همکاران آینده ارتباط برقرار کنند، به انجمن‌ها و گروه‌های حرفه‌ای ملحق شوند و از مقالات و مطالب مرتبط با حوزه کاری خود بهره‌مند شوند.

لینکدین همچنین به کارفرمایان امکان می‌دهد تا به دنبال نیروهای با تجربه و مهارت مورد نیاز خود بگردند و ارتباط برقرار کنند. این شبکه حرفه‌ای به عنوان یک پلتفرم کلیدی برای بهبود دسترسی به فرصت‌های شغلی و گسترش شبکه حرفه‌ای خود، نقش مهمی را ایفا می‌کند. از این رو، لینکدین به عنوان یکی از مهمترین ابزارهای کارآفرینی و توسعه حرفه‌ای در دنیای امروز مورد توجه قرار دارد.