TL;DR.
این دوره به معرفی Azure Data Factory و چگونگی کمک به پردازش دسته ای داده ها می پردازد. دانشآموزان با فعالیتهای عملی، آزمونها و یک پروژه یاد میگیرند که چگونه میتوان از Data Factory برای ادغام بسیاری از فناوریهای دیگر با یکدیگر برای ایجاد یک راهحل کامل ETL، از جمله خط لوله CI/CD در Azure DevOps استفاده کرد. برخی از مباحث مربوط به Data Factory مورد نیاز برای آزمون DP-203: مهندسی داده در Microsoft Azure در این دوره پوشش داده شده است.
توضیحات
Azure Data Factory یک سرویس ETL (استخراج، تبدیل، و بارگیری) بدون سرور مبتنی بر ابر است. این یک رابط کاربری بصری بدون کد برای نوشتن، هماهنگسازی و نظارت بر گردشهای کاری مبتنی بر داده ارائه میدهد. با بیش از ۸۰ کانکتور خارج از جعبه، میتوانید خطوط لوله پیچیده بسازید که منابع محاسباتی مانند Mapping Data Flow، HDInsight Hadoop، Databricks، Azure Machine Learning، و Azure SQL Database را بهطور بومی با یکدیگر ادغام میکنند.
با انجام دادن بیاموزید
من و شما با هم هر آنچه را که باید در مورد استفاده از Microsoft Azure Data Factory بدانید را یاد می گیریم. این دوره شما را با فعالیتهای یادگیری عملی، ویدئوها و آزمونها آماده میکند تا به شما در کسب دانش و تجربه عملی در ادامه راه کمک کند.
در پایان این دوره، دانشآموزان این فرصت را خواهند داشت که پروژهای ارائه کنند که به آنها کمک میکند تا بفهمند ADF چگونه کار میکند، چه اجزایی دارد و چگونه ADF و Databricks را یکپارچه کنند.
کلیدهای دانش آموز:
این دوره برای چه کسانی است:
آنچه خواهید آموخت:
آموزش ملزومات کارخانه داده - طرح کلی
Azure Data Factory را با Databricks ادغام کنید
تصور کنید شما بخشی از یک تیم تحلیلی هستید که اخیراً یک تکلیف بزرگ برای تجزیه و تحلیل داده های جرم و جنایت از چندین شهر بزرگ دریافت کرده است. مجموعه داده ای که دریافت کردید دارای اطلاعات جزئی جرم برای شهرهای بزرگ است. با این حال، هر مجموعه داده به صورت متفاوتی قالب بندی و ساختار یافته است و در فروشگاه های داده مختلف ذخیره می شود. هر شهر از دسته بندی و اصطلاحات متفاوتی برای نوع مشابهی از داده ها استفاده می کند. تیم شما مسئول تجزیه و تحلیل همه مجموعه داده ها و گزارش تعداد مجموع جرایم در هر ماه در هر شهر است.
تیم شما تصمیم گرفته است از قابلیتهای Azure Data Factory و Azure Databricks برای جذب، تبدیل و جمعآوری دادههای مورد نیاز استفاده کند
1. ADF و Azure Databricks
میتوانید از Azure Data Factory برای دریافت دادههای خام جمعآوریشده از منابع مختلف استفاده کنید و با Azure Databricks کار کنید تا آنها را مطابق با نیاز خود بازسازی کنید. ادغام Azure Dataricks با ADF به شما این امکان را می دهد که نوت بوک های Databricks را در یک خط لوله ADF اضافه کنید تا از قابلیت های تحلیلی و تبدیل داده Databricks استفاده کنید. می توانید یک نوت بوک را در گردش کار داده خود اضافه کنید تا داده های خام بارگذاری شده به ADF از منابع مختلف را ساختار داده و تبدیل کنید. هنگامی که داده ها با استفاده از Databricks تبدیل شدند، می توانید آن را در هر منبع انبار داده بارگیری کنید.
الزامات
دریافت و تبدیل داده ها با استفاده از قابلیت های جمعی ADF و Azure Databricks اساساً شامل مراحل زیر است:
2. ایجاد حساب ذخیرهسازی Azure
2.1. نام حساب و کلید
را دریافت کنید2.2. نام حساب و کلید
را دریافت کنیدشما حساب ذخیره سازی و Azure Data Factory خود را آماده و راه اندازی کرده اید، اکنون زمان آن است که به فضای کاری Databricks خود بروید تا بقیه گردش کار را تکمیل کنید. ما از یک مجموعه داده نمونه برای ایجاد خط لوله ADF استفاده می کنیم و از نوت بوک های نمونه برای تبدیل و تجزیه و تحلیل داده ها استفاده می کنیم.
3. یک فضای کاری Azure Databricks ایجاد کنید
3.1. آرشیو Databricks
را کلون کنیدنوت بوک های زیر را تکمیل کنید
نمایش نظرات