DP-203: مهندسی داده در Microsoft Azure

کار خود را در مهندسی داده راه اندازی کنید. در طراحی و پیاده سازی راه حل های داده ای که از سرویس های داده Microsoft Azure

این گواهینامه حرفه ای برای مهندسین داده و توسعه دهندگانی است که می خواهند تخصص خود را در طراحی و پیاده سازی راه حل های داده ای که از خدمات داده Microsoft Azure استفاده می کنند، نشان دهند. این گواهینامه حرفه ای به شما کمک می کند تا در طراحی و پیاده سازی راه حل های داده ای که از خدمات داده Microsoft Azure استفاده می کنند، تخصص داشته باشید. شما یاد خواهید گرفت که چگونه داده ها را از سیستم های داده های مختلف ساختاریافته و بدون ساختار به ساختارهایی که برای ساخت راه حل های تحلیلی که از خدمات داده Microsoft Azure استفاده می کنند، ادغام، تبدیل و ادغام کنید. این برنامه شامل 10 دوره است که به شما برای شرکت در آزمون DP-203: مهندسی داده در Microsoft Azure کمک می کند. هر دوره به شما مفاهیم و مهارت هایی را می آموزد که با امتحان اندازه گیری می شوند. با پایان این گواهینامه حرفه ای، شما آماده شرکت و ثبت نام در آزمون DP-203: مهندسی داده در Microsoft Azure خواهید بود.

پروژه یادگیری کاربردی

فراگیران در طول این برنامه در تمرین‌های تعاملی شرکت خواهند کرد که فرصت‌هایی را برای تمرین و اجرای آنچه یاد می‌گیرند ارائه می‌دهد. آنها از Microsoft Learn Sandbox استفاده می کنند. این یک محیط رایگان است که به زبان آموزان امکان می دهد Microsoft Azure را کاوش کنند و با منابع و خدمات زنده Microsoft Azure آشنا شوند.

مهارت های اندازه گیری شده در آزمون Microsoft Azure DP-203

• طراحی و اجرای ذخیره سازی داده (40-45%)

• طراحی و پیاده سازی ذخیره سازی داده (40-45%)

• طراحی و توسعه پردازش داده (25 تا 30%)

• طراحی و پیاده سازی امنیت داده (10-15%)

• ذخیره‌سازی و پردازش داده‌ها را نظارت و بهینه‌سازی کنید (10 تا 15%)

این آزمون توانایی شما را برای انجام وظایف فنی زیر اندازه گیری می کند: طراحی و اجرای ذخیره سازی داده ها. طراحی و توسعه پردازش داده ها؛ طراحی و پیاده سازی امنیت داده ها؛ و نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها.

گروه های عملکردی

طراحی و پیاده سازی ذخیره سازی داده ها (40-45٪)

یک ساختار ذخیره سازی داده طراحی کنید

• یک راه حل Azure Data Lake طراحی کنید

• توصیه انواع فایل برای ذخیره سازی

• انواع فایل را برای جستارهای تحلیلی توصیه کنید

• طراحی برای پرس و جوی کارآمد

• طراحی برای هرس داده

• یک ساختار پوشه ای طراحی کنید که سطوح تبدیل داده را نشان دهد

• یک استراتژی توزیع طراحی کنید

• یک راه حل بایگانی داده طراحی کنید

• یک استراتژی پارتیشن طراحی کنید

• یک استراتژی پارتیشن برای فایل‌ها طراحی کنید

• یک استراتژی پارتیشن برای بارهای کاری تحلیلی طراحی کنید

• یک استراتژی پارتیشن برای کارایی/عملکرد طراحی کنید

• یک استراتژی پارتیشن برای Azure Synapse Analytics طراحی کنید

• تشخیص دهید چه زمانی به پارتیشن بندی در Azure Data Lake Storage Gen2 نیاز است

لایه سرویس دهی را طراحی کنید

• طراحی طرحواره های ستاره

• ابعاد به آرامی در حال تغییر طراحی کنید

• یک سلسله مراتب بعدی طراحی کنید

• راه حلی برای داده های زمانی طراحی کنید

• طراحی برای بارگذاری افزایشی

• فروشگاه های تحلیلی طراحی کنید

• متاستورهای طراحی در Azure Synapse Analytics و Azure Databricks

ساختارهای ذخیره سازی فیزیکی داده ها را پیاده سازی کنید

• فشرده سازی را اجرا کنید

• پیاده سازی پارتیشن بندی اجرای اشتراک گذاری

• هندسه‌های مختلف جدول را با استخرهای Azure Synapse Analytics پیاده‌سازی کنید

• اجرای افزونگی داده

• پیاده سازی توزیع ها

• آرشیو داده ها را پیاده سازی کنید

ساختارهای داده منطقی را پیاده سازی کنید

• یک راه حل داده موقت بسازید

• بعدی به آرامی در حال تغییر بسازید

• یک ساختار پوشه منطقی بسازید

• جدول خارجی بسازید

• ساختارهای فایل و پوشه را برای جستجوی کارآمد و هرس داده ها اجرا کنید

لایه سرویس دهی

• داده ها را در یک ستاره رابطه ای تحویل دهید

• داده‌ها را در فایل‌های پارکت تحویل دهید

• متادیتا را حفظ کنید

• یک سلسله مراتب بعدی را اجرا کنید

طراحی و توسعه پردازش داده (25-30٪)

داده‌ها را بلع و تبدیل می‌کند

• داده ها را با استفاده از Apache Spark تغییر دهید

• داده ها را با استفاده از Transact-SQL تغییر دهید

• داده ها را با استفاده از Data Factory تغییر دهید

• داده ها را با استفاده از خطوط لوله سیناپس Azure تغییر دهید

• داده‌ها را با استفاده از تحلیل جریانی تغییر دهید

• پاک کردن داده ها

• تقسیم داده ها

• JSON را تکه تکه کنید

• کدگذاری و رمزگشایی داده ها

• پیکربندی مدیریت خطا برای تبدیل

• مقادیر را عادی و غیرعادی کنید

• داده ها را با استفاده از Scala تغییر دهید

• تحلیل اکتشافی داده ها را انجام دهید

طراحی و توسعه راه حل پردازش دسته ای

• راه‌حل‌های پردازش دسته‌ای را با استفاده از Data Factory، Data Lake، Spark، Azure Synapse Pipelines، PolyBase و Azure Databricks ایجاد کنید

• خطوط لوله داده ایجاد کنید

• بارهای داده افزایشی را طراحی و اجرا کنید

• طراحی و توسعه ابعاد به آرامی در حال تغییر

• اجرای الزامات امنیتی و انطباق

• مقیاس کردن منابع

• اندازه دسته را پیکربندی کنید

• طراحی و ایجاد آزمایش برای خطوط لوله داده

• نوت‌بوک‌های Jupyter/Python را در خط لوله داده ادغام کنید

• داده های تکراری را مدیریت کنید

• داده های از دست رفته را مدیریت کنید

• داده‌های دیررس را مدیریت کنید

• افزایش داده

• بازگشت به حالت قبلی

• طراحی و پیکربندی مدیریت استثنا

• نگهداری دسته ای را پیکربندی کنید

• یک راه حل پردازش دسته ای طراحی کنید

• اشکال‌زدایی از کارهای Spark با استفاده از Spark UI

طراحی و توسعه راه حل پردازش جریانی

• با استفاده از Stream Analytics، Azure Databricks و Azure Event Hubs یک راه حل پردازش جریان ایجاد کنید

• داده ها را با استفاده از جریان ساخت یافته Spark پردازش کنید

• بررسی عملکرد و رگرسیون های عملکردی

• مجموعه های پنجره ای را طراحی و ایجاد کنید

• دریفت طرحواره را مدیریت کنید

• پردازش داده های سری زمانی

• در پارتیشن‌ها پردازش کنید

• در یک پارتیشن پردازش کنید

• نقاط بازرسی/واترمارک را در حین پردازش پیکربندی کنید

• مقیاس کردن منابع

• طراحی و ایجاد آزمایش برای خطوط لوله داده

• خطوط لوله را برای اهداف تحلیلی یا معاملاتی بهینه کنید

• قطعات را مدیریت کنید

• طراحی و پیکربندی مدیریت استثنا

• افزایش داده

• بازپخش داده های جریان بایگانی شده

• یک راه حل پردازش جریانی طراحی کنید

دسته ها و خطوط لوله را مدیریت کنید

• دسته های ماشه

• بررسی بارهای دسته ای ناموفق

• بارهای دسته ای را تأیید کنید

• مدیریت خطوط لوله داده در Data Factory/Synapse Pipelines

• خطوط لوله داده را در Data Factory/Synapse Pipelines برنامه ریزی کنید

• کنترل نسخه را برای مصنوعات خط لوله اجرا کنید

• کارهای Spark را در خط لوله مدیریت کنید

طراحی و پیاده سازی امنیت داده (10-15%)

طراحی امنیت برای سیاست ها و استانداردهای داده

• طراحی رمزگذاری داده برای داده ها در حالت استراحت و در حال انتقال

• یک استراتژی حسابرسی داده طراحی کنید

• یک استراتژی پوشش داده طراحی کنید

• طراحی برای حفظ حریم خصوصی داده ها

• یک خط مشی حفظ داده طراحی کنید

• طراحی برای پاکسازی داده ها بر اساس الزامات کسب و کار

• کنترل دسترسی مبتنی بر نقش Azure (Azure RBAC) و لیست کنترل دسترسی مانند POSIX (ACL) را برای Data Lake Storage Gen2 طراحی کنید

• امنیت در سطح ردیف و سطح ستون را طراحی کنید

اجرای امنیت داده

• پوشش داده را پیاده سازی کنید

• داده ها را در حالت استراحت و در حال حرکت رمزگذاری کنید

• اجرای امنیت در سطح ردیف و سطح ستون

• اجرای Azure RBAC

• ACLهای مشابه POSIX را برای Data Lake Storage Gen2 پیاده سازی کنید

• یک خط مشی حفظ داده را اجرا کنید

• یک استراتژی حسابرسی داده را اجرا کنید

• هویت ها، کلیدها و اسرار را در فناوری های مختلف پلت فرم داده مدیریت کنید

• نقاط پایانی امن (خصوصی و عمومی) را پیاده سازی کنید

• نمادهای منبع را در Azure Databricks پیاده سازی کنید

• یک DataFrame را با اطلاعات حساس بارگیری کنید

• داده های رمزگذاری شده را در جداول یا فایل های پارکت بنویسید

• مدیریت اطلاعات حساس

ذخیره سازی داده ها و پردازش داده ها (10-15٪) را نظارت و بهینه سازی کنید

ذخیره سازی داده ها و پردازش داده ها را نظارت کنید

• اجرای گزارش استفاده شده توسط Azure Monitor

• خدمات نظارت را پیکربندی کنید

• عملکرد حرکت داده را اندازه گیری کنید

• آمار مربوط به داده‌ها را در سراسر یک سیستم نظارت و به‌روزرسانی کنید

• عملکرد خط لوله داده را پایش کنید

• عملکرد پرس و جو را اندازه گیری کنید

• بررسی عملکرد خوشه

• گزینه‌های ثبت سفارشی را درک کنید

• برنامه ریزی و نظارت بر آزمایشات خط لوله

• متریک‌ها و گزارش‌های مانیتور Azure را تفسیر کنید

• تفسیر گراف غیر چرخه ای جهت دار جرقه (DAG)

ذخیره سازی و پردازش داده ها را بهینه و عیب یابی کنید

• فایل های کوچک فشرده

• بازنویسی توابع تعریف شده توسط کاربر (UDF)

• در داده‌ها انحراف را کنترل کنید

• نشت داده ها را مدیریت کنید

• تنظیم پارتیشن‌های درهم ریخته

• درختان را در خط لوله پیدا کنید

• مدیریت منابع را بهینه کنید

• پرس و جوها را با استفاده از نمایه سازها تنظیم کنید

• پرس و جوها را با استفاده از حافظه پنهان تنظیم کنید

• خطوط لوله را برای اهداف تحلیلی یا معاملاتی بهینه کنید

• خط لوله را برای بارهای کاری توصیفی در مقابل تحلیلی بهینه کنید

• عیب‌یابی یک کار جرقه ناموفق

• عیب‌یابی اجرای ناموفق خط لوله