آموزش تست ETL و مبانی انبار داده - آخرین آپدیت

سرفصل ها و درس ها

Introduction to ETL & Data WareHouse and their Significance

• از این دوره چه خواهید آموخت؟ حتماً ببینید What will you learn from this course? Must watch

• مقدمه‌ای بر Data Warehouse و چرایی نیاز به آن با یک مورد استفاده تجاری Introduction to Data Warehouse and why it is needed with business use case

• ETL چیست؟ چگونه ETL و Data Warehouse برای یک راه‌حل به هم متصل می‌شوند What is ETL? How ETL and Data Warehouse are connected together for Solution

• نکته مهم Important Note

نقش مدل‌های داده، ETL و ELT را در طراحی معماری سیستم بیاموزید Learn Data Models, ETL , ELT roles in the System Architectural design

• مروری بر ابزارهای ETL و مهارت‌های لازم برای پیگیری ساخت ETL Overview of ETL tools & the skills you need to follow up with ETL building

• مقدمه‌ای بر Cloud Data Warehouse و نحوه کار ELT Introduction to Cloud Data Warehouse and how ELT works

• ETL در مقابل ELT – تفاوت‌ها در اجرای برنامه را درک کنید ETL vs ELT - Understand the differences in program execution

• نحوه سازماندهی داده‌ها در Data Warehouse – مدل داده Star schema How Data is organized in Data Warehouse - Star schema data model

• جداول Fact و Dimension را درک کنید و نحوه اتصال آن‌ها در مدل Understand Fact tables & Dimension tables and how they are connected in model

راه‌اندازی آرتیفکت‌ها در ابزار ETL برای ساخت یک Pipeline بلادرنگ ETL Setting up artifacts in the ETL tool for building a ETL real time Pipeline

• برنامه ساخت پروژه ETL و قوانین تجاری تبدیل آن Plan of building ETL Project and its transformation business rules

• دانلود MYSQL و CSV – بارگذاری جداول و داده‌ها برای راه‌اندازی داده‌های پیش‌نیاز Download MYSQL & CSV - load the tables & data for Prerequisite data setup.

• دستورالعمل‌هایی برای دانلود Schema جداول مورد بحث در دوره Directions on how to download Table schema's discussed in the course

• دانلود ابزار Pentaho Data Integration برای توسعه Pipeline ETL Download Pentaho Data integration tool for ETL pipeline development

یاد بگیرید چگونه داده‌ها از منابع مختلف در فاز استخراج ETL بازیابی می‌شوند Learn how Data is retrieved from different sources in Extraction Phase of ETL

• اجزای Transformation و Job را در ابزار Pentaho ETL درک کنید Understand Transformation & Job components with in Pentaho ETL tool

• استخراج داده‌ها از پایگاه داده با استفاده از ETL – ویژگی Extract Extract the data from the Database using ETL - Extract feature

• منطق استخراج را برای بررسی قابلیت تغییر دلتا در ETL تست کنید Test the Extraction logic to check the Delta change functionality with in ETL

• بارگذاری و تست داده‌ها در Staging Database با پوشش تمام بررسی‌های عملکردی Load & Test data into Staging Database with all functionality checks covered

• استخراج محتوای فایل CSV و بارگذاری در جداول Staging Database از طریق ابزار ETL Extract CSV File content and load into Staging Database tables through ETL tool

• منطق استخراج را با هر ۴ سناریوی استخراج در جدول Staging تست کنید Test extraction logic with all the 4 Extraction scenarios into Staging table

تبدیل داده‌ها طبق قوانین تجاری در Pipeline ETL و نوشتن سناریوهای تست Transform Data as per business rules in ETL pipeline and write Test Scenarios

• منطق Transformation 1 – پاکسازی داده‌های Staging برای فیلتر کردن ردیف‌های یکتا Transformation Logic 1 - Clean staging data to filter unique rows

• منطق Transformation 2 – نگاشت مقادیر با نام‌های به‌روز شده با استفاده از Javascript Transformation Logic 2 - Map the values with updated names using Javascript

• منطق Transformation 3 – به‌روزرسانی رکوردها بر اساس منطق تجاری Transformation Logic 3 - Update the records based on business logic

• منطق Transformation 4 – انجام محاسبات بر روی داده‌ها و ایجاد داده به صورت آنی Transformation Logic 4 - Perform Calculations on Data and create data on fly

• سناریوهای منطق Transformation ETL را با Queryهای SQL تست کنید Test the ETL Transformation logic scenarios with SQL Queries

بارگذاری داده‌ها در Data Warehouse طبق مدل داده برای تکمیل طراحی Pipeline ETL Load Data into Data Warehouse as per data model to complete ETL Pipeline design

• نکته مهم Important Note

• ایجاد جداول Schema Data Warehouse بر اساس Star schemaها Create Data warehouse Schema tables according to Star schemas

• نحوه بارگذاری داده‌ها در جداول Dimension محصول (Prod) را با استفاده از عملیات ابزار ETL درک کنید Understand how to load Data into Prod Dimension tables using ETL tool operations

• نحوه بارگذاری داده‌ها در جداول Dimension مشتری (Customer Dim) را با استفاده از عملیات ابزار ETL درک کنید Understand how to load Data into Customer Dim tables using ETL tool operations

• بارگذاری داده‌ها در جداول Fact با Join کردن جداول Dimension محصول (Prod) و مشتری (Customer) با استفاده از ETL Load data into Fact tables by joining Prod & Customer Dimension tables using ETL

• تکمیل کار Pipeline ETL End-to-End و اجرای کار برای مشاهده داده‌های خروجی Complete End to End ETL pipeline job and run the job to see the output data

• دانلود کد Pipeline ETL و نحوه Import برای تمرین ETL Pipeline code download and how to import for practice

سناریوهای تست ETL End-to-End با Queryهای SQL مرتبط برای تست Pipeline ETL End to End ETL Test Scenarios with associated SQL Queries to test ETL pipeline

• سناریوهای تست ETL را برای منطق Transformation آماده کنید و Queryها را بسازید Prepare ETL testing scenarios for Transformation logic and build queries

• تست عملکردی ETL برای تأیید اینکه داده‌ها به Data Warehouse رسیده‌اند Functional ETL testing to verify if data made all the way to Datawarehouse

• بررسی‌های تست یکپارچگی داده ETL – Queryهای مرتبط برای اجرا ETL Data consistency testing checks - Associated Queries to execute

• تست ETL برای تأیید سناریوهای داده فرمول تبدیل شده با Query مرتبط ETL testing to verify Transformed formula data scenarios with associated query

• تست‌های Referential Integrity ETL برای تأیید روابط جداول Fact و Dimensional Referential Integrity ETL tests to verify Fact and dimensional table relations

• دانلود کد Code download

ابعاد در حال تغییر آهسته (Slowly Changing Dimensions) را در مدل داده بیاموزید و سناریوهای تست SCD را استخراج کنید Learn Slowly Changing Dimensions in data model & derive Test Scenarios of SCD

• ابعاد در حال تغییر آهسته (Slowly Changing Dimensions) در مدل‌های داده Data Warehouse چیستند؟ What are Slowly changing Dimensions in Data Warehouse Data models

• انواع SCD را با مثال‌های پیاده‌سازی آن در Pipeline ETL درک کنید Understand SCD Types with its implementation examples on ETL pipeline

• سناریوهای تست ETL برای تست انواع ابعاد در حال تغییر آهسته (Slowly Changing Dimension Types) با مثال‌ها ETL Testing Scenarios to test the Slowly changing Dimension Types with examples

واژه‌نامه – مرور مفاهیم SQL Joins و GroupBy – پیش‌نیاز دوره Glossary -Brush up SQL Joins & GroupBy concepts - Course Prerequiste

• نکته مهم Important Note

• استفاده از GroupBy و Having clause در SQL با مثال‌ها Usage of GroupBy & Having clause in SQL with examples

• درباره SQL Joins و انواع Joinها با مثال‌ها Learn about SQL Joins and type of joins with examples

سخنرانی جایزه Bonus Lecture

• سخنرانی جایزه Bonus Lecture