آموزش پروژه انتها به انتها Azure Data Engineering - 3 ساعت

End to End Azure Data Engineering Real Time Project- 3 Hours

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.

نمونه ویدیوها: (صرفا برای مشاهده نمونه ویدیو، ممکن هست نیاز به شکن داشته باشید.)

توضیحات دوره: پروژه مهندسی داده Azure با استفاده از ابزارهای مدرن داده مانند ADF، Azure Databricks، Azure Synapse Analytics، ADLS Gen2 ساخت زمان واقعی پروژه مهندسی داده Azure یکپارچه سازی داده ها ساخت خطوط لوله گزارش تبدیل داده های بزرگ با استفاده از Power BI پیش نیازها: مهارت های برنامه نویسی اولیه

این یک ویدیوی مورد انتظار من است - اجازه می‌دهیم یک پروژه مهندسی داده Azure کامل بسازیم. در این پروژه ما می‌خواهیم یک پلتفرم داده پایان به انتها را درست از طریق داده‌ها، تبدیل داده، بارگیری داده‌ها و گزارش‌دهی ایجاد کنیم.

ابزارهایی که در این پروژه پوشش داده شده اند عبارتند از،

کارخانه داده Azure
Azure Data Lake Storage Gen2
Azure Databricks
Azure Synapse Analytics
طاق کلید Azure
Azure Active Directory (AAD) و
Microsoft Power BI

مورد استفاده برای این پروژه ایجاد یک راه حل پایان به پایان با جذب جداول از پایگاه داده SQL Server داخلی با استفاده از Azure Data Factory و سپس ذخیره داده ها در Azure Data Lake است. سپس از Azure databricks برای تبدیل داده‌های RAW به تمیزترین شکل داده استفاده می‌شود و سپس از Azure Synapse Analytics برای بارگذاری داده‌های تمیز استفاده می‌کنیم و در نهایت از Microsoft Power BI برای ادغام با تجزیه و تحلیل سیناپس Azure برای ساخت یک داشبورد تعاملی استفاده می‌کنیم. همچنین، ما از Azure Active Directory (AAD) و Azure Key Vault برای هدف نظارت و نظارت استفاده می کنیم. در این ویدیو، من همچنین آزمایش کامل خط لوله پایان به انتها را دقیقاً از نحوه جذب داده های جدید و سپس تبدیل داده تا زمانی که گزارشی را که با استفاده از Power BI ایجاد خواهیم کرد به روز می شود پوشش داده ام

سرفصل ها و درس ها

ساخت یک پروژه مهندسی داده پایان به پایان Building an End to End Data Engineering Project

معرفی Introduction
تنظیم منبع داده Setting up the Data Source
راه اندازی محیط Environment Setup
انتقال داده (بخش 1) Data Ingestion (Part-1)
انتقال داده (بخش 2) Data Ingestion (Part-2)
تبدیل داده (بخش 1) Data Transformation (Part-1)
تبدیل داده (بخش 2) Data Transformation (Part-2)
تبدیل داده (بخش 3) Data Transformation (Part-3)
بارگیری داده ها با استفاده از تحلیل سیناپس Azure Data Loading using Azure Synapse Analytics
گزارش داده با استفاده از Power BI Data Reporting using Power BI
امنیت و حکومت Security and Governance
آزمایش پایان به پایان خط لوله End to End Pipeline Testing