آموزش آزمون های عملی | Microsoft Azure DP-203 Data Engineering

به منظور ایجاد انتظارات واقع بینانه، لطفاً توجه داشته باشید: این سؤالات سؤالات رسمی نیستند که در آزمون رسمی پیدا کنید. این سوالات تمام مطالبی را که در بخش‌های دانش زیر بیان شده‌اند را پوشش می‌دهد. بسیاری از سؤالات بر اساس سناریوهای ساختگی است که سؤالاتی در درون آنها مطرح شده است.

الزامات دانش رسمی برای امتحان به طور معمول بررسی می شود تا اطمینان حاصل شود که محتوا دارای آخرین الزامات گنجانده شده در سؤالات تمرینی است. به روز رسانی محتوا اغلب بدون اطلاع قبلی انجام می شود و در هر زمان ممکن است تغییر کند.

هر سؤال دارای توضیح مفصل و پیوندهایی به مواد مرجع برای پشتیبانی از پاسخ‌ها است که صحت راه‌حل‌های مشکل را تضمین می‌کند.

هر بار که تست‌ها را تکرار می‌کنید، سؤالات به هم می‌ریزند، بنابراین باید بدانید که چرا یک پاسخ صحیح است، نه اینکه آخرین باری که آزمون را انجام دادید، پاسخ صحیح مورد «B» بود.

توجه: این دوره نباید تنها مطالب آموزشی شما برای آمادگی برای آزمون رسمی باشد. این آزمون‌های تمرینی برای تکمیل مطالب مطالعه موضوعی است.

کاندیداهای این آزمون باید دارای تخصص موضوعی در زمینه ادغام، تبدیل و ادغام داده‌ها از سیستم‌های داده ساختاریافته و بدون ساختار به ساختاری مناسب برای ساخت راه‌حل‌های تحلیلی باشند.

مهندسان داده Azure به ذینفعان کمک می‌کنند تا داده‌ها را از طریق اکتشاف درک کنند، و با استفاده از ابزارها و تکنیک‌های مختلف، خطوط لوله پردازش داده ایمن و سازگار را ایجاد و نگهداری می‌کنند. این متخصصان از سرویس‌ها و زبان‌های مختلف داده Azure برای ذخیره و تولید مجموعه داده‌های پاک‌شده و پیشرفته برای تجزیه و تحلیل استفاده می‌کنند.

مهندسین داده Azure همچنین کمک می‌کنند تا اطمینان حاصل شود که خطوط لوله داده و ذخیره‌سازی داده‌ها با توجه به مجموعه‌ای از الزامات و محدودیت‌های تجاری، با عملکرد بالا، کارآمد، سازمان‌دهی شده و قابل اعتماد هستند. آنها به سرعت با مسائل پیش بینی نشده برخورد می کنند و از دست دادن داده ها را به حداقل می رسانند. آنها همچنین پلتفرم های داده را طراحی، اجرا، نظارت و بهینه سازی می کنند تا نیازهای خطوط لوله داده را برآورده کنند.

یک داوطلب برای این آزمون باید دانش قوی از زبان‌های پردازش داده مانند SQL، Python یا Scala داشته باشد و باید پردازش موازی و الگوهای معماری داده را درک کند.

مهارت های اندازه گیری شده در آزمون Microsoft Azure DP-203

• طراحی و اجرای ذخیره سازی داده (40-45%)

• طراحی و پیاده سازی ذخیره سازی داده (40-45%)

• طراحی و توسعه پردازش داده (25 تا 30%)

• طراحی و پیاده سازی امنیت داده (10-15%)

• ذخیره‌سازی و پردازش داده‌ها را نظارت و بهینه‌سازی کنید (10 تا 15%)

این آزمون توانایی شما را برای انجام وظایف فنی زیر اندازه گیری می کند: طراحی و اجرای ذخیره سازی داده ها. طراحی و توسعه پردازش داده ها؛ طراحی و پیاده سازی امنیت داده ها؛ و نظارت و بهینه سازی ذخیره سازی داده ها و پردازش داده ها.

گروه های عملکردی

طراحی و پیاده سازی ذخیره سازی داده ها (40-45٪)

یک ساختار ذخیره سازی داده طراحی کنید

• یک راه حل Azure Data Lake طراحی کنید

• توصیه انواع فایل برای ذخیره سازی

• انواع فایل را برای جستارهای تحلیلی توصیه کنید

• طراحی برای پرس و جوی کارآمد

• طراحی برای هرس داده

• یک ساختار پوشه طراحی کنید که سطوح تبدیل داده را نشان دهد

• یک استراتژی توزیع طراحی کنید

• یک راه حل بایگانی داده طراحی کنید

• یک استراتژی پارتیشن طراحی کنید

• یک استراتژی پارتیشن برای فایل‌ها طراحی کنید

• یک استراتژی پارتیشن برای بارهای کاری تحلیلی طراحی کنید

• یک استراتژی پارتیشن برای کارایی/عملکرد طراحی کنید

• یک استراتژی پارتیشن برای Azure Synapse Analytics طراحی کنید

• تشخیص دهید چه زمانی در Azure Data Lake Storage Gen2 به پارتیشن بندی نیاز است

لایه سرویس دهی را طراحی کنید

• طراحی طرحواره های ستاره

• ابعاد به آرامی در حال تغییر را طراحی کنید

• یک سلسله مراتب بعدی طراحی کنید

• راه حلی برای داده های زمانی طراحی کنید

• طراحی برای بارگذاری افزایشی

• طراحی فروشگاه های تحلیلی

• متاستورهای طراحی در Azure Synapse Analytics و Azure Databricks

ساختارهای ذخیره سازی فیزیکی داده ها را پیاده سازی کنید

• فشرده سازی را اجرا کنید

• پیاده سازی پارتیشن بندی اجرای اشتراک گذاری

• هندسه‌های مختلف جدول را با استخرهای Azure Synapse Analytics پیاده‌سازی کنید

• اجرای افزونگی داده

• توزیعات را پیاده سازی کنید

• آرشیو داده ها را پیاده سازی کنید

ساختارهای داده منطقی را پیاده سازی کنید

• یک راه حل داده موقت بسازید

• بعدی به آرامی در حال تغییر بسازید

• یک ساختار پوشه منطقی بسازید

• جدول خارجی بسازید

• ساختارهای فایل و پوشه را برای پرس و جو و هرس داده کارآمد پیاده سازی کنید

لایه سرویس دهی

• داده‌ها را در یک ستاره رابطه‌ای

  تحویل دهید

• داده‌ها را در فایل‌های پارکت تحویل دهید

• متادیتا را حفظ کنید

• یک سلسله مراتب بعدی

  را اجرا کنید

طراحی و توسعه پردازش داده (25-30٪)

داده‌ها را بلع و تبدیل می‌کند

• داده ها را با استفاده از Apache Spark

  تغییر دهید

• داده ها را با استفاده از Transact-SQL

  تغییر دهید

• داده ها را با استفاده از Data Factory

  تغییر دهید

• داده ها را با استفاده از خطوط لوله سیناپس Azure

  تغییر دهید

• داده‌ها را با استفاده از Stream Analytics

  تغییر دهید

• پاک کردن داده ها

• تقسیم داده ها

• JSON را تکه تکه کنید

• کدگذاری و رمزگشایی داده ها

• پیکربندی مدیریت خطا برای تبدیل

• مقادیر را عادی و غیرعادی کنید

• داده‌ها را با استفاده از Scala

  تغییر دهید

• تحلیل اکتشافی داده را انجام دهید

طراحی و توسعه راه حل پردازش دسته ای

• با استفاده از Data Factory، Data Lake، Spark، Azure Synapse Pipelines، PolyBase، و Azure Databricks راه حل های پردازش دسته ای ایجاد کنید

• خطوط لوله داده ایجاد کنید

• بارهای داده افزایشی را طراحی و اجرا کنید

• طراحی و توسعه ابعاد به آرامی در حال تغییر

• اجرای الزامات امنیتی و انطباق را انجام دهید

• مقیاس کردن منابع

• اندازه دسته را پیکربندی کنید

• طراحی و ایجاد آزمایش برای خطوط لوله داده

• نت‌بوک‌های Jupyter/Python را در خط لوله داده ادغام کنید

• داده های تکراری را مدیریت کنید

• داده های از دست رفته را مدیریت کنید

• داده‌های دیررس را مدیریت کنید

• افزایش داده ها

• به حالت قبلی برگردید

• طراحی و پیکربندی مدیریت استثنا

• نگهداری دسته ای را پیکربندی کنید

• یک راه حل پردازش دسته ای طراحی کنید

• اشکال‌زدایی از کارهای Spark با استفاده از Spark UI

طراحی و توسعه راه حل پردازش جریانی

• با استفاده از Stream Analytics، Azure Databricks و Azure Event Hubs یک راه حل پردازش جریان ایجاد کنید

• داده ها را با استفاده از جریان ساخت یافته Spark

  پردازش کنید

• بررسی عملکرد و رگرسیون های عملکردی

• مجموعه های پنجره ای را طراحی و ایجاد کنید

• دریفت طرحواره را مدیریت کنید

• پردازش داده های سری زمانی

• در پارتیشن‌ها پردازش کنید

• در یک پارتیشن پردازش کنید

• پیکربندی نقاط بازرسی/واترمارک در حین پردازش

• مقیاس کردن منابع

• طراحی و ایجاد آزمایش برای خطوط لوله داده

• خطوط لوله را برای اهداف تحلیلی یا معاملاتی بهینه کنید

• قطعات را مدیریت کنید

• طراحی و پیکربندی مدیریت استثنا

• افزایش داده ها

• بازپخش داده های جریان بایگانی شده

• یک راه حل پردازش جریانی طراحی کنید

دسته ها و خطوط لوله را مدیریت کنید

• دسته‌های راه‌اندازی

• بررسی بارهای دسته ای ناموفق

• بارهای دسته ای را تأیید کنید

• مدیریت خطوط لوله داده در Data Factory/Synapse Pipelines

• خطوط لوله داده را در Data Factory/Synapse Pipelines برنامه ریزی کنید

• کنترل نسخه را برای مصنوعات خط لوله اجرا کنید

• کارهای Spark را در خط لوله مدیریت کنید

طراحی و پیاده سازی امنیت داده (10-15%)

طراحی امنیت برای سیاست ها و استانداردهای داده

• طراحی رمزگذاری داده برای داده ها در حالت استراحت و در حال انتقال

• یک استراتژی حسابرسی داده طراحی کنید

• یک استراتژی پوشش داده طراحی کنید

• طراحی برای حفظ حریم خصوصی داده ها

• یک خط مشی حفظ داده طراحی کنید

• طراحی برای پاکسازی داده ها بر اساس الزامات کسب و کار

• کنترل دسترسی مبتنی بر نقش Azure (Azure RBAC) و لیست کنترل دسترسی مانند POSIX (ACL) را برای Data Lake Storage Gen2 طراحی کنید

• امنیت در سطح ردیف و سطح ستون را طراحی کنید

اجرای امنیت داده

• پوشش داده را پیاده سازی کنید

• داده ها را در حالت استراحت و در حرکت رمزگذاری کنید

• اجرای امنیت در سطح ردیف و سطح ستون

• Azure RBAC

  را پیاده سازی کنید

• ACLهای مشابه POSIX را برای Data Lake Storage Gen2 پیاده سازی کنید

• یک خط مشی حفظ داده را اجرا کنید

• یک استراتژی حسابرسی داده را اجرا کنید

• هویت ها، کلیدها و اسرار را در فناوری های مختلف پلت فرم داده مدیریت کنید

• نقاط پایانی امن (خصوصی و عمومی) را پیاده سازی کنید

• نمادهای منبع را در Azure Databricks پیاده سازی کنید

• یک DataFrame را با اطلاعات حساس بارگیری کنید

• داده های رمزگذاری شده را در جداول یا فایل های پارکت بنویسید

• اطلاعات حساس را مدیریت کنید

ذخیره سازی داده ها و پردازش داده ها (10-15٪) را نظارت و بهینه سازی کنید

ذخیره سازی داده ها و پردازش داده ها را نظارت کنید

• اجرای گزارش استفاده شده توسط Azure Monitor

• خدمات نظارت را پیکربندی کنید

• عملکرد حرکت داده را اندازه گیری کنید

• آمار مربوط به داده ها را در سراسر یک سیستم نظارت و به روز رسانی کنید

• عملکرد خط لوله داده را پایش کنید

• عملکرد پرس و جو را اندازه گیری کنید

• بررسی عملکرد خوشه

• گزینه‌های ثبت سفارشی را درک کنید

• برنامه ریزی و نظارت بر آزمایشات خط لوله

• متریک‌ها و گزارش‌های مانیتور Azure را تفسیر کنید

• تفسیر گراف غیر چرخه ای جهت دار جرقه (DAG)

ذخیره سازی و پردازش داده ها را بهینه و عیب یابی کنید

• فایل های کوچک فشرده

• توابع تعریف شده توسط کاربر (UDF) را بازنویسی کنید

• در داده‌ها انحراف را کنترل کنید

• نشت داده ها را مدیریت کنید

• تغییر پارتیشن‌ها را تنظیم کنید

• در خط لوله

  را پیدا کنید

• مدیریت منابع را بهینه کنید

• پرس و جوها را با استفاده از نمایه سازها تنظیم کنید

• پرس و جوها را با استفاده از کش

  تنظیم کنید

• خطوط لوله را برای اهداف تحلیلی یا معاملاتی بهینه کنید

• خط لوله را برای بارهای کاری توصیفی در مقابل تحلیلی بهینه کنید

• عیب‌یابی یک کار جرقه ناموفق

• عیب‌یابی اجرای ناموفق خط لوله

آزمون به زبان‌های زیر موجود است: انگلیسی، چینی (ساده‌شده)، ژاپنی، کره‌ای، آلمانی، فرانسوی، اسپانیایی، پرتغالی (برزیل)، عربی (عربستان سعودی)، روسی، چینی (سنتی)، ایتالیایی، اندونزیایی (اندونزی)