آموزش Microsoft Azure Data Engineer Associate (DP-203) Cert Prep: 2 طراحی و توسعه پردازش داده توسط Microsoft Press

1. داده ها را بلعیده و تبدیل کنید 1. Ingest and Transform Data

• اهداف یادگیری Learning objectives

• با استفاده از آپاچی اسپارک داده ها را تبدیل کنید Transform data by using Apache Spark

• تبدیل داده ها با استفاده از Transact-SQL Transform data by using Transact-SQL

• تبدیل داده ها با استفاده از Data Factory Transform data by using Data Factory

• با استفاده از خطوط لوله Azure Synapse داده ها را تغییر دهید Transform data by using Azure Synapse pipelines

• با استفاده از Stream Analytics، داده ها را تغییر دهید Transform data by using Stream Analytics

2. با داده های تبدیل شده کار کنید 2. Work with Transformed Data

• اهداف یادگیری Learning objectives

• داده ها را پاک کنید Cleanse data

• تقسیم داده ها Split data

• JSON را خرد کنید Shred JSON

• داده ها را رمزگذاری و رمزگشایی کنید Encode and decode data

3. عیب یابی تبدیل داده ها 3. Troubleshoot Data Transformations

• اهداف یادگیری Learning objectives

• مدیریت خطا را برای تبدیل پیکربندی کنید Configure error handling for the transformation

• نرمال کردن و غیرعادی کردن مقادیر Normalize and denormalize values

• تبدیل داده ها با استفاده از Scala Transform data by using Scala

• تجزیه و تحلیل اکتشافی داده ها را انجام دهید Perform data exploratory analysis

4. یک راه حل پردازش دسته ای طراحی کنید 4. Design a Batch Processing Solution

• اهداف یادگیری Learning objectives

• راه حل های پردازش دسته ای را با استفاده از Data Factory، Data Lake، Spark، Azure Synapse خطوط لوله، PolyBase و Azure Databricks توسعه دهید. Develop batch processing solutions by using Data Factory, Data Lake, Spark, Azure Synapse pipelines, PolyBase, and Azure Databricks

• خطوط لوله داده ایجاد کنید Create data pipelines

• طراحی و اجرای بارهای افزایشی داده Design and implement incremental data loads

• طراحی و توسعه ابعاد به آرامی در حال تغییر Design and develop slowly changing dimensions

• رسیدگی به الزامات امنیتی و انطباق Handle security and compliance requirements

• منابع مقیاس Scale resources

5. یک راه حل پردازش دسته ای ایجاد کنید 5. Develop a Batch Processing Solution

• اهداف یادگیری Learning objectives

• اندازه دسته را پیکربندی کنید Configure the batch size

• طراحی و ایجاد تست برای خطوط لوله داده Design and create tests for data pipelines

• نوت بوک های Jupyter و Python را در خط لوله داده ادغام کنید Integrate Jupyter and Python Notebooks into a data pipeline

• مدیریت داده های تکراری Handle duplicate data

• مدیریت داده های از دست رفته Handle missing data

• رسیدگی به داده های دیر رسیدن Handle late-arriving data

6. یک راه حل پردازش دسته ای را پیکربندی کنید 6. Configure a Batch Processing Solution

• اهداف یادگیری Learning objectives

• داده ها را اضافه کنید Upsert data

• بازگشت به حالت قبلی Regress to a previous state

• طراحی و پیکربندی مدیریت استثنا Design and configure exception handling

• حفظ دسته ای را پیکربندی کنید Configure batch retention

• طراحی راه حل پردازش دسته ای را دوباره بررسی کنید Revisit batch processing solution design

• با استفاده از Spark UI، کارهای Spark را اشکال زدایی کنید Debug Spark jobs by using the Spark UI

7. یک راه حل پردازش جریان طراحی کنید 7. Design a Stream Processing Solution

• هدف یادگیری Learning objective

• با استفاده از Stream Analytics، Azure Databricks و Azure Event Hubs یک راه حل پردازش جریان ایجاد کنید. Develop a stream processing solution by using Stream Analytics, Azure Databricks, and Azure Event Hubs

• داده ها را با استفاده از جریان ساختاری Spark پردازش کنید Process data by using Spark structured streaming

• نظارت بر عملکرد و رگرسیون عملکردی Monitor for performance and functional regressions

• مصالح پنجره ای را طراحی و ایجاد کنید Design and create windowed aggregates

• کنترل دریفت طرحواره Handle schema drift

8. پردازش داده ها در یک راه حل پردازش جریانی 8. Process Data in a Stream Processing Solution

• اهداف یادگیری Learning objectives

• پردازش داده های سری زمانی Process time series data

• پردازش در پارتیشن ها Process across partitions

• پردازش در یک پارتیشن Process within one partition

• در حین پردازش، نقاط بازرسی و واترمارکینگ را پیکربندی کنید Configure checkpoints and watermarking during processing

• منابع مقیاس Scale resources

• طراحی و ایجاد تست برای خطوط لوله داده Design and create tests for data pipelines

• خطوط لوله را برای اهداف تحلیلی یا معاملاتی بهینه کنید Optimize pipelines for analytical or transactional purposes

9. عیب یابی راه حل پردازش جریان 9. Troubleshoot a Stream Processing Solution

• اهداف یادگیری Learning objectives

• وقفه ها را مدیریت کنید Handle interruptions

• طراحی و پیکربندی مدیریت استثنا Design and configure exception handling

• داده ها را اضافه کنید Upsert data

• داده های جریان بایگانی شده را دوباره پخش کنید Replay archived stream data

• یک راه حل پردازش جریانی طراحی کنید Design a stream processing solution

10. دسته ها و خطوط لوله را مدیریت کنید 10. Manage Batches and Pipelines

• اهداف یادگیری Learning objectives

• دسته های ماشه ای Trigger batches

• بارهای دسته ای ناموفق را مدیریت کنید Handle failed batch loads

• بارهای دسته ای را تأیید کنید Validate batch loads

• خطوط لوله داده را در خطوط لوله داده Factory و Synapse مدیریت کنید Manage data pipelines in Data Factory and Synapse pipelines

• خطوط لوله داده را در خطوط لوله داده Factory و Synapse برنامه ریزی کنید Schedule data pipelines in Data Factory and Synapse pipelines

• اجرای کنترل نسخه برای مصنوعات خط لوله Implement version control for pipeline artifacts

• مشاغل Spark را در خط لوله مدیریت کنید Manage Spark jobs in a pipeline