آموزش Masterclass در Azure Data Factory - Data Engineer برای سال 2024
Masterclass on Azure Data Factory - Data Engineer for 2024
به دوره آموزشی "کارخانه داده های لاجورد - مهندس داده: پروژه های زمان واقعی" خوش آمدید.
آموزش ETL و Big Data Processing در Azure با Azure Data Factory V2
Azure Data Factory (ADF) یکی از ابزارهای مورد تقاضا برای مهندسی داده در Cloud است. این دوره با پوشش راه حل های مهندسی داده با استفاده از ADF برای سناریوهای دنیای واقعی آموزش داده شده است.
پس از تکمیل این دوره از جمله تکالیف، آزمون‌ها، در موقعیتی خواهید بود که می‌توانید هر نوع پروژه‌ای را که معادل بیش از 10 سال تجربه است، انجام دهید یا با اطمینان انجام دهید.
کل دوره بر اساس سناریوهای بلادرنگ ساخته شده است که به طور مکرر و مشترک برای هر نوع پروژه در دامنه های مختلف استفاده می شود.
این دوره مهارت های لازم را به شما می دهد و به شما کمک می کند تا در آزمون های گواهینامه مانند DP200 و DP203 قبول شوید.
این دوره چه چیزی به شما یاد می دهد؟
با نحوه ایجاد خط لوله داده بلادرنگ در Azure Data Factory (ADF) آشنا خواهید شد.
می‌آموزید که چگونه داده‌ها را با استفاده از جریان‌های داده در Azure Data Factory (ADF) تبدیل کرده و در ADLS2، ذخیره‌سازی Blob بارگیری کنید.
می‌آموزید که چگونه داده‌های JSON را از SQL Server به نقطه پایانی API وارد کنید.
با نحوه ساخت خطوط لوله آماده تولید و شیوه های خوب و استانداردهای نامگذاری آشنا خواهید شد.
می‌آموزید که چگونه خطوط لوله را با استفاده از Azure Data Factory (ADF)، Azure Monitor و Log Analytics با یک پروژه دنیای واقعی نظارت کنید.
درباره تریگرهای دستی در Azure Data Factory (ADF) و نحوه استفاده از آنها برای برنامه ریزی خطوط لوله اطلاعات خواهید آموخت.
ایجاد خط لوله و هماهنگ‌سازی خط تولید مبتنی بر داده، کاملاً یکپارچه، پویا و خودکار.
مفاهیم ذخیره‌سازی داده‌ها مانند جداول ابعاد واقعی، SCD type1، type2، بارگیری افزایشی و پیاده‌سازی با استفاده از ADF.
داده‌های کپی را از فروشگاه‌های داده On Premise، On Premise SQL Server از طریق Self Hosted Integration Runtime به ابر متصل کنید.
نحوه وارد کردن داده از منابعی مانند REST API، Azure Blob Storage، SQL DB به Azure Data Lake Gen2 با استفاده از Azure Data Factory (ADF)
مقدمه Introduction
-
قسمت 1 - فایل ها را به صورت پویا از یک مکان ذخیره سازی به مکان دیگر کپی کنید. Part 1 - Copy files dynamically from one storage location to other.
-
قسمت 2 - فایل ها را به صورت پویا از یک مکان ذخیره سازی به مکان دیگر کپی کنید. Part 2 - Copy files dynamically from one storage location to other.
-
Set Variable: مدیریت تخصیص خود. Set Variable : self assignment handling.
-
MySQL: توابع جمع MySQL : Aggregate functions
-
MySQL: توابع بر اساس گروه بندی و جمع آوری MySQL : Group by and Aggregate functions
مفاهیم اولیه Initial Concepts
-
ایجاد کارخانه داده Data Factory creation
-
گروه منابع Resource Group
-
مفاهیم سطح بالا در ADF Top Level Concepts in ADF
-
خدمات مرتبط و مجموعه داده Linked Service and Datasets
-
ذخیره سازی Blob Blob Storage
-
متغیرها در ADF Variables in ADF
-
مولفه های Parameters
-
ساختار JSON JSON Structure
-
یکپارچه سازی زمان اجرا Integration Runtime
فعالیت های خط لوله Pipeline Activities
-
فعالیت کپی Copy Activity
-
افزودن فعالیت متغیر Append Variable Activity
-
حذف فعالیت Delete Activity
-
اجرای فعالیت خط لوله Execute Pipeline Activity
-
فعالیت شکست خورده Fail Activity
-
دریافت فعالیت فراداده Get Metadata Activity
-
فعالیت جستجو Lookup Activity
-
تنظیم فعالیت متغیر Set Variable Activity
-
فعالیت انتظار Wait Activity
فعالیت های شرطی و حلقه ای Conditional and Loop Activities
-
سوئیچ فعالیت Switch Activity
-
فعالیت فیلتر Filter Activity
-
برای هر فعالیت ForEach Activity
-
تا فعالیت Until Activity
-
اگر شرط If Condition
تحولات جریان داده Data Flow Transformations
-
تبدیل تقسیم شرطی Conditional Split Transformation
-
تحول وجود دارد Exists Transformation
-
تحول اتحادیه Union Transformation
-
به Transformation بپیوندید Join Transformation
-
تبدیل کل Aggregate Transformation
-
تبدیل کلید جایگزین Surrogate Key Transformation
-
Transformation را انتخاب کنید Select Transformation
-
تغییر شکل جستجو Lookup Transformation
-
تبدیل ستون مشتق شده Derived Column Transformation
-
تبدیل محوری Pivot Transformation
-
Unpivot Transformation Unpivot Transformation
-
تبدیل رتبه Rank Transformation
-
تبدیل پنجره Window Transformation
-
مسطح کردن تبدیل Flatten Transformation
-
تبدیل فیلتر Filter Transformation
سناریوهای زمان واقعی Real Time Scenarios
-
قسمت 1 - فایل ها را به صورت پویا از یک مکان ذخیره سازی به مکان دیگر کپی کنید. Part 1 - Copy files dynamically from one storage location to other.
-
قسمت 2 - فایل ها را به صورت پویا از یک مکان ذخیره سازی به مکان دیگر کپی کنید. Part 2 - Copy files dynamically from one storage location to other.
-
Set Variable: مدیریت تخصیص خود. Set Variable : self assignment handling.
-
نام فایل ها را از پوشه واکشی کنید و به متغیر اختصاص دهید Fetch file names from folder and assign to variable
-
کپی فایل های الگوی فایل خاص از منبع به سینک Copying specific file pattern files from Source to Sink
-
ورود به سیستم خط لوله ADF ADF pipeline logging
-
فایل CSV را پردازش کنید و یک ستون را به چندین ستون تقسیم کنید Process CSV file and split single column into multiple columns
-
فایل های از دست رفته را از منبع به مقصد کپی کنید Copy Missed files from Source to Destination
-
اجرای دستی خط لوله ADF - خط لوله را از خط لوله ADF دیگر (با REST API) فراخوانی کنید Run ADF pipeline manaully-Call pipeline from other ADF pipeline (with REST API)
اعلان ایمیل با ADF و برنامه منطقی Email Notification with ADF and Logic App
-
تئوری اعلان ایمیل Email notification theory
-
ایجاد برنامه منطقی در Azure Logic App Creation in Azure
-
برنامه منطقی و پیکربندی ADF برای اعلان ایمیل Logic App and ADF Configuration for Email notification
-
پیکربندی اعلان ایمیل قبل و بعد از خط لوله با رویه ذخیره شده Email notification configuration before and after pipeline with Stored procedure
بارگذاری داده برای جداول چندگانه و چندین رویکرد Data Load for Multiple Tables and multiple approaches
-
تئوری بار کامل و بار فشاری Full Load and Incemental load Theory
Azure Databricks - PySpark Azure Databricks - PySpark
-
اتصال JDBC - نحوه اتصال به سرور SQL و خواندن جدول از Azure Databricks JDBC Connection -How to connect to SQL server & read table from Azure Databricks
-
با استفاده از PySpark به ADLS یا Blob از Azure Databricks متصل شوید Mount to ADLS or Blob from Azure Databricks using PySpark
-
فایل CSV را از DBFS با طرح و هدر بخوانید Read CSV file from DBFS with schema and header
https://donyad.com/d/1ee3
Atchyut Kumar
GATE CS/IT FacultyAtchyut Kumar یک مربی محبوب برنامه نویسی و GATE CS/IT است. او کارشناسی ارشد خود را از موسسه ملی فناوری کالیکات گذراند. او رتبه برتر GATE CS/IT با صدک 99.97 است. او سه سال تجربه در توسعه پایگاه داده و 7 سال به عنوان هیئت علمی GATE دارد. در مجموع، او بیش از 12 سال تجربه کلی در تدریس/تحقیق/صنعت دارد که در آن بیش از 50000 دانش آموز در کلاس درس و دوره های آنلاین آموزش داده است. او در تکنیک های حل مسئله، الگوریتم ها و برنامه نویسی رقابتی متخصص است. اکثر دانشجویان سابق او در آمازون، سامسونگ، اوراکل، گوگل، ادوبی و بیشتر کار می کنند و برخی از آنها تحصیلات عالی مانند MS، M Tech یا Ph D را دنبال می کنند.
نمایش نظرات