آموزش پروژه انتها به انتها Azure Data Engineering - 3 ساعت
End to End Azure Data Engineering Real Time Project- 3 Hours
این یک ویدیوی مورد انتظار من است - اجازه می‌دهیم یک پروژه مهندسی داده Azure کامل بسازیم. در این پروژه ما می‌خواهیم یک پلتفرم داده پایان به انتها را درست از طریق داده‌ها، تبدیل داده، بارگیری داده‌ها و گزارش‌دهی ایجاد کنیم.
ابزارهایی که در این پروژه پوشش داده شده اند عبارتند از،
کارخانه داده Azure
Azure Data Lake Storage Gen2
Azure Databricks
Azure Synapse Analytics
طاق کلید Azure
Azure Active Directory (AAD) و
Microsoft Power BI
مورد استفاده برای این پروژه ایجاد یک راه حل پایان به پایان با جذب جداول از پایگاه داده SQL Server داخلی با استفاده از Azure Data Factory و سپس ذخیره داده ها در Azure Data Lake است. سپس از Azure databricks برای تبدیل داده‌های RAW به تمیزترین شکل داده استفاده می‌شود و سپس از Azure Synapse Analytics برای بارگذاری داده‌های تمیز استفاده می‌کنیم و در نهایت از Microsoft Power BI برای ادغام با تجزیه و تحلیل سیناپس Azure برای ساخت یک داشبورد تعاملی استفاده می‌کنیم. همچنین، ما از Azure Active Directory (AAD) و Azure Key Vault برای هدف نظارت و نظارت استفاده می کنیم. در این ویدیو، من همچنین آزمایش کامل خط لوله پایان به انتها را دقیقاً از نحوه جذب داده های جدید و سپس تبدیل داده تا زمانی که گزارشی را که با استفاده از Power BI ایجاد خواهیم کرد به روز می شود پوشش داده ام
ساخت یک پروژه مهندسی داده پایان به پایان Building an End to End Data Engineering Project
-
معرفی Introduction
-
تنظیم منبع داده Setting up the Data Source
-
راه اندازی محیط Environment Setup
-
انتقال داده (بخش 1) Data Ingestion (Part-1)
-
انتقال داده (بخش 2) Data Ingestion (Part-2)
-
تبدیل داده (بخش 1) Data Transformation (Part-1)
-
تبدیل داده (بخش 2) Data Transformation (Part-2)
-
تبدیل داده (بخش 3) Data Transformation (Part-3)
-
بارگیری داده ها با استفاده از تحلیل سیناپس Azure Data Loading using Azure Synapse Analytics
-
گزارش داده با استفاده از Power BI Data Reporting using Power BI
-
امنیت و حکومت Security and Governance
-
آزمایش پایان به پایان خط لوله End to End Pipeline Testing
Udemy (یودمی)
یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.
یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.
https://donyad.com/d/7687a8
Mr K Talks Tech
مهندس داده
نمایش نظرات