آموزش پارچه مایکروسافت: پروژه مهندسی داده پایان - آخرین آپدیت
دانلود Microsoft Fabric: End to End Data Engineering Project
در این پروژه ، ما یک بستر تجزیه و تحلیل داده های Bing News ایجاد خواهیم کرد!
این یک پایان کامل برای پایان پروژه مهندسی داده لاجورد است که با استفاده از پارچه مایکروسافت انجام می شود. ما داده های خام را از Bing API می کشیم ، داده های خام را به داده های تمیز با مهندسی داده های سیناپس تبدیل می کنیم ، احساسات را با Synapse Data Science تجزیه و تحلیل می کنیم ، گردش کار را با کارخانه داده تنظیم می کنیم ، گزارش های خنک را با Power BI انجام می دهیم ، هشدارهای خود را با فعال کننده داده ها تنظیم می کنیم و با فعال کننده داده ها تنظیم می کنیم ، و همه چیز را خوب آزمایش کنید. بیایید در Bing News Analytics شروع کنیم!
مباحث تحت پوشش این پروژه عبارتند از:
1. مصرف داده ها از Bing API با استفاده از کارخانه داده: یاد بگیرید که چگونه یکپارچه داده ها را از منابع خارجی بکشید ، و پایه و اساس پروژه تجزیه و تحلیل خود را تنظیم کنید.
2. تبدیل داده ها با استفاده از مهندسی داده های سیناپس: به فرآیند شکل دادن و پالایش داده های خام JSON خود در یک جدول دلتا تنظیم شده ، از جمله تکنیک هایی مانند بارگیری افزایشی برای کارآمد بودن فرآیندهای خود ، شیرجه بزنید.
3. تجزیه و تحلیل احساسات با استفاده از علوم داده سیناپس: با پیش بینی احساسات اخبار که به عنوان مثبت ، منفی یا خنثی طبقه بندی شده است ، بینش های پنهان شده در توضیحات اخبار را کشف کنید.
4. ارکستراسیون با استفاده از کارخانه داده از طریق خطوط لوله: هنر ارکستر کردن گردش کار داده های خود را کشف کرده و از عملیات صاف و کارآمد اطمینان حاصل کنید.
5. گزارش داده ها با استفاده از Power BI: داده های خود را به روشی قانع کننده و عملی تجسم کنید و به ذینفعان توانمند با بینش ارزشمند قدرت دهید.
6. پیکربندی هشدارها با استفاده از فعال کننده داده: با تنظیم هشدارها و اعلان ها در تصاویر Power BI خود با استفاده از یک ابزار جدید به نام فعال کننده داده ، از مشکلات احتمالی خود بمانید.
7. آزمایش خط لوله پایان به پایان: جریان کامل درست از مصرف داده ها به تبدیل داده ها آزمایش می شود و تا زمانی که گزارش با داده های جدید ورودی به روز شود تا یکپارچگی و عملکرد خطوط لوله شما را تأیید کند ، از قابلیت اطمینان و صحت آن اطمینان حاصل شود.
این پروژه حول و بررسی داده های Bing News Data Analytics ، یک برنامه عملی است که شامل مصرف روزانه داده های خبری و تولید گزارش های بینش است. با قدم زدن در هر مرحله به روشی ساده ، من قصد دارم مهندسی داده های لاجورد را بدون در نظر گرفتن پیشینه آنها برای همه علاقه مندان در دسترس قرار دهم.
پیش نیازها
شما نیازی به مهارت برای انجام این پروژه ندارید. حتی اگر یک مبتدی مطلق باشید ، اگر کل دوره را دنبال کنید ، قادر به اجرای این پروژه خواهید بود ، تنها پیش نیاز این پروژه این است که باید دو فیلم مقدماتی پارچه مایکروسافت را که به عنوان بخشی از این موارد درج شده است دوره در بخش 1.
همه بهترین و یادگیری شاد !!!
مقدمه (پیش نیازها) Introduction (Pre-requisites)
-
آشنایی با پارچه مایکروسافت Introduction to Microsoft Fabric
-
پارچه مایکروسافت را ایجاد و فعال کنید Create and Enable Microsoft Fabric
با استفاده از پارچه مایکروسافت یک پروژه پایان برای پایان ایجاد کنید Build an End to End Project using Microsoft Fabric
-
بررسی اجمالی پروژه Project Overview
-
تنظیم محیط Environment Setup
-
مصرف داده ها با استفاده از کارخانه داده Data Ingestion using Data Factory
-
تبدیل داده ها با استفاده از مهندسی داده سیناپس Data Transformation using Synapse Data Engineering
-
بار افزایشی با استفاده از نوت بوک جرقه Incremental Load using Spark Notebook
-
تجزیه و تحلیل احساسات با استفاده از یادگیری ماشین سیناپس Sentiment Analysis using Synapse Machine Learning
-
گزارش های ساختمان با استفاده از Power BI Building Reports using Power BI
-
مرا بخوان (*مهم*) Read Me (*Important*)
-
خطوط لوله ساختمان با استفاده از کارخانه داده برای ارکستراسیون Building Pipelines using Data Factory for Orchestration
-
تنظیم هشدارها با استفاده از فعال کننده داده Setting up Alerts using Data Activator
-
آزمایش خط لوله پایان End to End Pipeline Testing
https://donyad.com/d/2c7c14
Mr K Talks Tech
مهندس داده
نمایش نظرات