آموزش مهندسی داده ابری-بومی (Cloud-Native Data Engineering) - آخرین آپدیت

مبانی مهندسی داده ابری-بومی Foundations of Cloud-Native Data Engineering

• معرفی دوره Course Intro

• آشنایی با مهندسی داده ابری-بومی Introduction to Cloud-Native Data Engineering

• چرخه عمر مدرن مهندسی داده Modern Data Engineering Lifecycle

• پلتفرم‌های داده سنتی، ابری و ابری-بومی Traditional, Cloud, and Cloud-Native Data Platforms

• دیتا لیک‌ها، انبار داده‌ها و معماری Lakehouse Data Lakes, Data Warehouses, and Lakehouse Architecture

• راه‌اندازی محیط مهندسی داده Azure Setting Up the Azure Data Engineering Environment

• بررسی فضای کاری Azure Databricks Exploring Azure Databricks Workspace

• ایجاد و اجرای نوت‌بوک Databricks در Azure Creating and Executing a Databricks Notebook in Azure

• اتصال Azure Databricks به Azure Data Lake Storage Gen2 Connecting Azure Databricks with Azure Data Lake Storage Gen2

ساخت و سازماندهی خطوط لوله داده با Azure Databricks Building and Orchestrating Data Pipelines with Azure Databricks

• ساخت خطوط لوله داده دسته‌ای با Azure Databricks Building Batch Data Pipelines with Azure Databricks

• مدیریت داده‌های قابل اطمینان با Delta Lake Managing Reliable Data with Delta Lake

• لایه‌های داده برنزی، نقره‌ای و طلایی Bronze, Silver, and Gold Data Layers

• تبدیل داده‌ها با Apache Spark DataFrames Transforming Data with Apache Spark DataFrames

• ساخت خطوط لوله افزایشی با Auto Loader Building Incremental Pipelines with Auto Loader

• پردازش داده‌های استریم با Azure Event Hubs Processing Streaming Data with Azure Event Hubs

• سازماندهی خطوط لوله داده با استفاده از Databricks Workflows Orchestrating Data Pipelines Using Databricks Workflows

حاکمیت، کیفیت، نظارت و عملیات جامع پلتفرم داده Governance, Quality, Monitoring, and End-to-End Data Platform Operations

• نظارت و بهینه‌سازی حجم‌های کاری Azure Databricks Monitoring and Optimizing Azure Databricks Workloads

• مدیریت حاکمیت داده با Unity Catalog Managing Data Governance with Unity Catalog

• پیاده‌سازی کیفیت داده و اعتبارسنجی خط لوله Implementing Data Quality and Pipeline Validation

• نظارت بر مشاغل و عملکرد خط لوله Monitoring Jobs and Pipeline Performance

• ساخت یک پلتفرم داده ابری-بومی جامع با Azure Databricks Building an End-to-End Cloud-Native Data Platform with Azure Databricks

• جمع‌بندی دوره Course Summary