آموزش انبار داده - راهنمای نهایی

سرفصل ها و درس ها

مقدمه Intro

• خوش آمدی! Welcome!

• نحوه کار این دوره How this course works

• در این دوره چه چیزهایی یاد می گیرید؟ What do you learn in this course?

• اسلایدهای دوره Course slides

مبانی انبار داده Data Warehouse Basics

• چرا انبار داده؟ Why a data warehouse?

• انبار داده چیست؟ What is a data warehouse?

• هدف یک انبار داده The purpose of a data warehouse

• هوش تجاری چیست؟ What is Business Intelligence?

• دریاچه داده یا انبار داده؟ Data Lake or Data Warehouse?

• دریاچه داده و هوش تجاری Data Lake & Business Intelligence

• نسخه ی نمایشی و عملی Demos & Hands-on

• راه اندازی Pentaho (ابزار ETL) Setting up Pentaho (ETL tool)

• راه اندازی PostgreSQL (سیستم پایگاه داده) Setting up PostgreSQL (Database system)

معماری انبار داده Data Warehouse Architecture

• 3 لایه انبار داده 3 Layers of a Data Warehouse

• منطقه صحنه سازی Staging area

• نسخه ی نمایشی: تنظیم منطقه صحنه Demo: Setting up the staging area

• Data Marts Data Marts

• منطقه صحنه و دیتا مارت Staging area & Data Marts

• پایگاه های داده رابطه ای Relational databases

• پایگاه های داده درون حافظه In-Memory databases

• مکعبها Cubes

• سیستم های مختلف پایگاه داده Different database systems

• ذخیره سازی داده های عملیاتی Operational Data Storage

• خلاصه Summary

مدلسازی ابعادی Dimensional Modeling

• مدل سازی ابعادی چیست؟ What is dimensional modeling?

• چرا مدل سازی ابعادی؟ Why dimensional modeling?

• حقایق Facts

• ابعاد Dimensions

• طرح واره ستاره Star schema

• طرح واره دانه های برف Snowflake schema

• نسخه ی نمایشی: بعد محصول و دسته (برفی) Demo: Product & Category dimension (snowflaked)

• حقایق و ابعاد (ProjectLogs) Facts & Dimensions (ProjectLogs)

• حقایق و ابعاد (معاملات فروش) Facts & Dimensions (SalesTransactions)

• مدل سازی ابعادی Dimensional modeling

حقایق Facts

• افزودنی Additivity

• در حقایق باطل است Nulls in facts

• حقایق سال به روز Year-to-Date facts

• حقایق I Facts I

• انواع جداول واقعیت Types of fact tables

• جداول واقعیت معاملاتی Transactional fact tables

• جداول اطلاعات دوره ای Periodic fact tables

• جمع آوری عکس های فوری Accumulating snapshots

• مقایسه انواع جدول واقعیت Comparing fact table types

• شناسایی جداول واقعیت Identifying fact tables

• جداول حقایق بدون واقعیت Factless fact tables

• مراحل طراحی جداول اطلاعات Steps in designing fact tables

• کلیدهای جانشین Surrogate Keys

• مطالعه موردی: پروژه Case Study: The Project

• مطالعه موردی: فرآیند کسب و کار را شناسایی کنید Case Study: Identify the business process

• مطالعه موردی: دانه را تعریف کنید Case Study: Define the grain

• مطالعه موردی: ابعاد را مشخص کنید Case Study: Identify the dimensions

• مطالعه موردی: حقایق را شناسایی کنید Case Study: Identify the facts

ابعاد Dimensions

• جداول ابعاد Dimension tables

• ابعاد تاریخ Date dimensions

• تهی در ابعاد Nulls in dimensions

• سلسله مراتب در ابعاد Hierarchies in dimensions

• ابعاد منطبق Conformed dimensions

• ابعاد منحط Degenerate dimensions

• بعد آشغال Junk dimension

• بعد نقش آفرینی Role-playing dimension

• مطالعه موردی: بعد تاریخ Case Study: Date dimension

• درک ابعاد Understanding dimensions

به آرامی تغییر ابعاد Slowly Changing Dimensions

• چه ابعادی به آرامی در حال تغییر هستند؟ What are slowly changing dimensions?

• نوع 0 - اصلی Type 0 - Original

• نوع 1 - رونویسی Type 1 - Overwrite

• نوع 2 - ردیف اضافی Type 2 - Additional row

• مدیریت ابعاد نوع 2 Administrating Type 2 dimensions

• اختلاط نوع 1 و نوع 2 Mixing Type 1 & Type 2

• نوع 3 - ویژگی اضافی Type 3 - Additional attribute

• درک ابعاد در حال تغییر به آرامی Understanding Slowly Changing Dimensions

فرآیند ETL ETL process

• درک فرآیند ETL Understanding the ETL process

• استخراج کردن Extract

• بار اولیه Initial Load

• بار دلتا Delta Load

• بارگذاری گردش کار Load Workflow

• نسخه ی نمایشی: معرفی سریع پنتاهو Demo: Quick Intro to Pentaho

• نسخه ی نمایشی: تنظیم جداول در SQL Demo: Setting up tables in SQL

• نسخه ی نمایشی: مثال بارگذاری اولیه Demo: Initial Load example

• نسخه ی نمایشی: نمونه بار دلتا Demo: Delta Load example

• تبدیل داده ها Transforming data

• تحولات اساسی Basic Transformations

• تحولات پیشرفته Advanced Transformations

• نسخه ی نمایشی: برنامه ریزی مراحل بعدی Demo: Planning next steps

• نسخه ی نمایشی: راه اندازی جدول و مرحله بندی کامل Demo: Table setup & Complete Staging

• نسخه ی نمایشی: تبدیل Demo: Transform

• نسخه ی نمایشی: بارگیری و اعتبارسنجی نتایج Demo: Load & Validate results

• برنامه ریزی مشاغل Scheduling jobs

ابزارهای ETL ETL tools

• ابزارهای ETL ETL tools

• انتخاب ابزار مناسب ETL Choosing the right ETL tool

مطالعه موردی: ایجاد یک انبار داده Case Study: Creating a Data Warehouse

• طرح حمله Plan of attack

• داده های منبع و طراحی جدول Source data & table design

• تنظیم جداول در پایگاه داده Setting up the tables in database

• صحنه سازی: واقعیت فروش Staging: Sales Fact

• مرحله بندی کار و رفع مشکلات Staging job & fixing problems

• ابعاد پرداخت بار Load Payment Dimension

• تبدیل و بارگذاری واقعیت فروش Transform & Load Sales Fact

• تبدیل و بارگذاری کار Transform & Load job

• کار نهایی ETL و بار افزایشی Final ETL job & Incremental Load

ETL در مقابل ELT ETL vs. ELT

• ELT چیست؟ What is an ELT?

• ETL در مقابل ETL ETL vs. ETL

استفاده از انبار داده Using a Data Warehouse

• موارد استفاده رایج چیست؟ What are the common use cases?

• اتصال DWH به Power BI Connecting the DWH to Power BI

بهینه سازی انبار داده Optimizing a Data Warehouse

• با استفاده از شاخص ها Using indexes

• شاخص های درخت B B-tree indexes

• نمایه های بیت مپ Bitmap indexes

• دستورالعمل برای نمایه ها Guidelines for indexes

• نسخه ی نمایشی: تنظیم شاخص ها Demo: Setting indexes

انبارهای داده مدرن The Modern Data Warehouses

• Cloud در مقابل on-premise Cloud vs. on-premise

• مزایای ابر در مقابل بستری Benefits cloud vs on-premise

• پردازش موازی عظیم Massive parallel processing

• ذخیره سازی ستونی Columnar storage

جایزه Bonus

• سخنرانی پاداش Bonus lecture