Microsoft Azure Data Engineer Associate (DP-203) Cert Prep توسط Microsoft Press

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

1. طراحی و پیاده سازی ذخیره سازی داده ها 1. Design and Implement Data Storage

• طراحی برای پرس و جو کارآمد Design for efficient querying

• یک راه حل Azure Data Lake طراحی کنید Design an Azure Data Lake solution

• پیشنهاد انواع فایل برای ذخیره سازی Recommend file types for storage

• انواع فایل را برای پرس و جوهای تحلیلی توصیه کنید Recommend file types for analytical queries

• اهداف آموزشی Learning objectives

2. طراحی برای هرس داده ها 2. Design for Data Pruning

• یک استراتژی توزیع طراحی کنید Design a distribution strategy

• ساختار پوشه ای طراحی کنید که سطوح تبدیل داده ها را نشان دهد Design a folder structure that represents levels of data transformation

• طراحی راه حل آرشیو داده ها Design a data archiving solution

• اهداف آموزشی Learning objectives

3. یک استراتژی پارتیشن طراحی کنید 3. Design a Partition Strategy

• یک استراتژی پارتیشن برای فایل ها طراحی کنید Design a partition strategy for files

• شناسایی زمانی که در Azure Data Lake Storage Gen2 به پارتیشن بندی نیاز است Identify when partitioning is needed in Azure Data Lake Storage Gen2

• اهداف آموزشی Learning objectives

• یک استراتژی پارتیشن برای Azure Synapse Analytics طراحی کنید Design a partition strategy for Azure Synapse Analytics

• یک استراتژی پارتیشن برای کارایی و عملکرد طراحی کنید Design a partition strategy for efficiency and performance

• یک استراتژی پارتیشن برای بارهای کاری تحلیلی طراحی کنید Design a partition strategy for analytical workloads

4. لایه سرویس را طراحی کنید 4. Design the Serving Layer

• طرحواره های ستاره طراحی کنید Design star schemas

• اهداف آموزشی Learning objectives

• طراحی فروشگاه های تحلیلی Design analytical stores

• طراحی به آرامی در حال تغییر ابعاد Design slowly changing dimensions

• طراحی برای بارگذاری افزایشی Design for incremental loading

• یک سلسله مراتب بعدی طراحی کنید Design a dimensional hierarchy

• طراحی متاستورها در Azure Synapse Analytics و Azure Databricks Design metastores in Azure Synapse Analytics and Azure Databricks

• راه حلی برای داده های زمانی طراحی کنید Design a solution for temporal data

5. ساختارهای ذخیره سازی داده های فیزیکی را پیاده سازی کنید 5. Implement Physical Data Storage Structures

• اجرای شاردینگ Implement sharding

• اجرای توزیع ها Implement distributions

• اجرای آرشیو داده ها Implement data archiving

• فشرده سازی را اجرا کنید Implement compression

• اهداف آموزشی Learning objectives

• هندسه های مختلف جدول را با استخرهای Azure Synapse Analytics پیاده سازی کنید Implement different table geometries with Azure Synapse Analytics pools

• پیاده سازی افزونگی داده ها Implement data redundancy

• اجرای پارتیشن بندی Implement partitioning

6. ساختارهای داده منطقی را پیاده سازی کنید 6. Implement Logical Data Structures

• بعد به آرامی در حال تغییر بسازید Build a slowly changing dimension

• برای پرس و جو و هرس داده ها ساختارهای فایل و پوشه را پیاده سازی کنید Implement file and folder structures for efficient querying and data pruning

• اهداف آموزشی Learning objectives

• یک راه حل داده های زمانی بسازید Build a temporal data solution

• ساخت جداول خارجی Build external tables

• یک ساختار پوشه منطقی بسازید Build a logical folder structure

7. لایه سرویس را پیاده سازی کنید 7. Implement the Serving Layer

• ابرداده را حفظ کنید Maintain metadata

• اهداف آموزشی Learning objectives

• داده ها را در فایل های پارکت تحویل دهید Deliver data in Parquet files

• داده ها را در یک طرح ستاره رابطه ای تحویل دهید Deliver data in a relational star schema

• یک سلسله مراتب بعدی را اجرا کنید Implement a dimensional hierarchy

8. داده ها را بلعیده و تبدیل کنید 8. Ingest and Transform Data

• اهداف آموزشی Learning objectives

• تبدیل داده ها با استفاده از Data Factory Transform data by using Data Factory

• تبدیل داده ها با استفاده از Transact-SQL Transform data by using Transact-SQL

• با استفاده از آپاچی اسپارک داده ها را تبدیل کنید Transform data by using Apache Spark

• با استفاده از خطوط لوله Azure Synapse داده ها را تغییر دهید Transform data by using Azure Synapse pipelines

• با استفاده از Stream Analytics، داده ها را تغییر دهید Transform data by using Stream Analytics

9. با داده های تبدیل شده کار کنید 9. Work with Transformed Data

• تقسیم داده ها Split data

• پاک کردن داده ها Cleanse data

• داده ها را رمزگذاری و رمزگشایی کنید Encode and decode data

• JSON را خرد کنید Shred JSON

• اهداف آموزشی Learning objectives

10. عیب یابی تبدیل داده ها 10. Troubleshoot Data Transformations

• اهداف آموزشی Learning objectives

• مدیریت خطا را برای تبدیل پیکربندی کنید Configure error handling for the transformation

• نرمال کردن و غیرعادی کردن مقادیر Normalize and denormalize values

• تجزیه و تحلیل اکتشافی داده ها را انجام دهید Perform data exploratory analysis

• تبدیل داده ها با استفاده از Scala Transform data by using Scala

11. یک راه حل پردازش دسته ای طراحی کنید 11. Design a Batch Processing Solution

• خطوط لوله داده ایجاد کنید Create data pipelines

• رسیدگی به الزامات امنیتی و انطباق Handle security and compliance requirements

• اهداف آموزشی Learning objectives

• طراحی و پیاده سازی بارهای افزایشی داده Design and implement incremental data loads

• منابع مقیاس Scale resources

• طراحی و توسعه ابعاد به آرامی در حال تغییر Design and develop slowly changing dimensions

• راه حل های پردازش دسته ای را با استفاده از Data Factory، Data Lake، Spark، Azure Synapse خطوط لوله، PolyBase و Azure Databricks توسعه دهید. Develop batch processing solutions by using Data Factory, Data Lake, Spark, Azure Synapse pipelines, PolyBase, and Azure Databricks

12. یک راه حل پردازش دسته ای ایجاد کنید 12. Develop a Batch Processing Solution

• مدیریت داده های از دست رفته Handle missing data

• اهداف آموزشی Learning objectives

• مدیریت داده های تکراری Handle duplicate data

• نوت بوک های Jupyter و Python را در خط لوله داده ادغام کنید Integrate Jupyter and Python Notebooks into a data pipeline

• داده های دیر رسیدن را مدیریت کنید Handle late-arriving data

• طراحی و ایجاد تست برای خطوط لوله داده Design and create tests for data pipelines

• اندازه دسته را پیکربندی کنید Configure the batch size

13. یک راه حل پردازش دسته ای را پیکربندی کنید 13. Configure a Batch Processing Solution

• داده ها را اضافه کنید Upsert data

• طراحی راه حل پردازش دسته ای را دوباره بررسی کنید Revisit batch processing solution design

• با استفاده از Spark UI، کارهای Spark را اشکال زدایی کنید Debug Spark jobs by using the Spark UI

• طراحی و پیکربندی مدیریت استثنا Design and configure exception handling

• بازگشت به حالت قبلی Regress to a previous state

• اهداف آموزشی Learning objectives

• حفظ دسته ای را پیکربندی کنید Configure batch retention

14. یک راه حل پردازش جریان طراحی کنید 14. Design a Stream Processing Solution

• داده ها را با استفاده از جریان ساختاری Spark پردازش کنید Process data by using Spark structured streaming

• کنترل دریفت طرحواره Handle schema drift

• با استفاده از Stream Analytics، Azure Databricks و Azure Event Hubs یک راه حل پردازش جریان ایجاد کنید. Develop a stream processing solution by using Stream Analytics, Azure Databricks, and Azure Event Hubs

• نظارت بر عملکرد و رگرسیون های عملکردی Monitor for performance and functional regressions

• هدف یادگیری Learning objective

• مصالح پنجره ای را طراحی و ایجاد کنید Design and create windowed aggregates

15. پردازش داده ها در یک راه حل پردازش جریانی 15. Process Data in a Stream Processing Solution

• اهداف آموزشی Learning objectives

• پردازش داده های سری زمانی Process time series data

• منابع مقیاس Scale resources

• طراحی و ایجاد تست برای خطوط لوله داده Design and create tests for data pipelines

• در حین پردازش، نقاط بازرسی و واترمارکینگ را پیکربندی کنید Configure checkpoints and watermarking during processing

• پردازش در پارتیشن ها Process across partitions

• پردازش در یک پارتیشن Process within one partition

• خطوط لوله را برای اهداف تحلیلی یا معاملاتی بهینه کنید Optimize pipelines for analytical or transactional purposes

16. عیب یابی راه حل پردازش جریان 16. Troubleshoot a Stream Processing Solution

• یک راه حل پردازش جریانی طراحی کنید Design a stream processing solution

• وقفه ها را مدیریت کنید Handle interruptions

• داده ها را اضافه کنید Upsert data

• داده های جریان بایگانی شده را دوباره پخش کنید Replay archived stream data

• طراحی و پیکربندی مدیریت استثنا Design and configure exception handling

• اهداف آموزشی Learning objectives

17. دسته ها و خطوط لوله را مدیریت کنید 17. Manage Batches and Pipelines

• خطوط لوله داده را در خطوط لوله داده Factory و Synapse مدیریت کنید Manage data pipelines in Data Factory and Synapse pipelines

• اهداف آموزشی Learning objectives

• مشاغل Spark را در خط لوله مدیریت کنید Manage Spark jobs in a pipeline

• خطوط لوله داده را در خطوط لوله داده Factory و Synapse برنامه ریزی کنید Schedule data pipelines in Data Factory and Synapse pipelines

• بارهای دسته ای را تأیید کنید Validate batch loads

• اجرای کنترل نسخه برای مصنوعات خط لوله Implement version control for pipeline artifacts

• بارهای دسته ای ناموفق را مدیریت کنید Handle failed batch loads

• دسته های ماشه ای Trigger batches

18. طراحی امنیت برای سیاست های داده 18. Design Security for Data Policies

• طراحی استراتژی حسابرسی داده ها Design a data auditing strategy

• اهداف آموزشی Learning objectives

• یک استراتژی پوشش داده طراحی کنید Design a data masking strategy

• طراحی برای حفظ حریم خصوصی داده ها Design for data privacy

• طراحی رمزگذاری داده برای داده ها در حالت استراحت و در حال انتقال Design data encryption for data at rest and in transit

19. طراحی امنیت برای استانداردهای داده 19. Design Security for Data Standards

• اهداف آموزشی Learning objectives

• Azure RBAC و ACL شبیه POSIX را برای Data Lake Storage Gen2 طراحی کنید Design Azure RBAC and POSIX-like ACL for Data Lake Storage Gen2

• طراحی امنیت در سطح ردیف و سطح ستون Design row-level and column-level security

• خط مشی حفظ داده را طراحی کنید Design a data retention policy

• طراحی برای پاکسازی داده ها بر اساس نیازهای تجاری Design to purge data based on business requirements

20. حفاظت از امنیت داده ها را اجرا کنید 20. Implement Data Security Protection

• رمزگذاری داده ها در حالت استراحت و در حال حرکت Encrypt data at rest and in motion

• سیاست حفظ داده ها را اجرا کنید Implement a data retention policy

• اجرای استراتژی حسابرسی داده ها Implement a data auditing strategy

• اجرای پوشش داده ها Implement data masking

• Azure RBAC را پیاده سازی کنید Implement Azure RBAC

• ACL های مشابه POSIX را برای Data Lake Storage Gen2 پیاده سازی کنید Implement POSIX-like ACLs for Data Lake Storage Gen2

• اهداف آموزشی Learning objectives

• پیاده سازی امنیت در سطح ردیف و سطح ستون Implement row-level and column-level security

21. دسترسی به امنیت داده ها را پیاده سازی کنید 21. Implement Data Security Access

• اهداف آموزشی Learning objectives

• اطلاعات حساس را مدیریت کنید Manage sensitive information

• داده های رمزگذاری شده را روی جداول یا فایل های پارکت بنویسید Write encrypted data to tables or Parquet files

• نقاط پایانی امن را پیاده سازی کنید: خصوصی و عمومی Implement secure endpoints: Private and public

• هویت ها، کلیدها و اسرار را در پلتفرم های مختلف داده مدیریت کنید Manage identities, keys, and secrets across different data platforms

• توکن های منبع را در Azure Databricks پیاده سازی کنید Implement resource tokens in Azure Databricks

• یک DataFrame را با اطلاعات حساس بارگیری کنید Load a DataFrame with sensitive information

22. نظارت بر ذخیره سازی داده ها 22. Monitor Data Storage

• عملکرد پرس و جو را اندازه گیری کنید Measure query performance

• اهداف آموزشی Learning objectives

• نظارت بر عملکرد خط لوله داده Monitor data pipeline performance

• اجرای لاگ مورد استفاده توسط Azure Monitor Implement logging used by Azure Monitor

• اندازه گیری عملکرد حرکت داده ها Measure performance of data movement

• پیکربندی خدمات نظارت Configure monitoring services

• نظارت و به روز رسانی آمار در مورد داده ها در سراسر یک سیستم Monitor and update statistics about data across a system

23. نظارت بر پردازش داده ها 23. Monitor Data Processing

• برنامه ریزی و نظارت بر آزمایشات خط لوله Schedule and monitor pipeline tests

• اهداف آموزشی Learning objectives

• متریک ها و گزارش های مانیتور Azure را تفسیر کنید Interpret Azure Monitor metrics and logs

• تفسیر یک نمودار غیر چرخشی هدایت شده توسط جرقه (DAG) Interpret a Spark Directed Acyclic Graph (DAG)

• گزینه های ثبت سفارشی را درک کنید Understand custom logging options

• نظارت بر عملکرد خوشه Monitor cluster performance

24. ذخیره سازی داده ها را تنظیم کنید 24. Tune Data Storage

• بازنویسی توابع تعریف شده توسط کاربر (UDF) Rewrite user-defined functions (UDFs)

• تنظیم کردن پارتیشن های مخلوط کردن Tune shuffle partitions

• کنترل انحراف در داده ها Handle skew in data

• مخلوط کردن را در یک خط لوله پیدا کنید Find shuffling in a pipeline

• فایل های کوچک فشرده Compact small files

• بهینه سازی مدیریت منابع Optimize resource management

• اهداف آموزشی Learning objectives

• رسیدگی به نشت داده ها Handle data spill

25. بهینه سازی و عیب یابی پردازش داده ها 25. Optimize and Troubleshoot Data Processing

• پرس و جوها را با استفاده از نمایه سازها تنظیم کنید Tune queries by using indexers

• بهینه سازی خط لوله برای بارهای کاری توصیفی در مقابل تحلیلی Optimize pipeline for descriptive versus analytical workloads

• پرس و جوها را با استفاده از حافظه پنهان تنظیم کنید Tune queries by using cache

• اهداف آموزشی Learning objectives

• عیب یابی اجرای ناموفق خط لوله Troubleshoot failed pipeline runs

• عیب یابی کارهای ناموفق Spark Troubleshoot failed Spark jobs

• خطوط لوله را برای اهداف تحلیلی یا معاملاتی بهینه کنید Optimize pipelines for analytical or transactional purposes

نتیجه گیری Conclusion

• خلاصه Summary