آموزش بوت کمپ مهندسی تجزیه و تحلیل

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• بررسی اجمالی دوره Course Overview

• چگونه از این دوره بهترین نتیجه را بگیریم How to get the best out of this course

• منابع Resources

پایگاه داده چیست؟ What is a database?

• معرفی پایگاه داده Database Introduction

• تعریف پایگاه داده Database definition

• مثال SQL SQL Example

• سیستم مدیریت پایگاه داده (DBMS) Database Management System (DBMS)

• شیت در مقابل پایگاه داده Sheets vs Database

• OLTP OLTP

• اسید OLTP OLTP ACID

• OLAP OLAP

• خلاصه OLTP در مقابل OLAP OLTP vs OLAP Summary

• معرفی NoSQL NoSQL Introduction

• فروشگاه ارزش کلیدی Key Value Store

• فروشگاه اسناد Document Store

• ستون های عریض Wide Columns

• پایگاه داده نمودار Graph Database

• موتورهای جستجو Search Engines

• SQL در مقابل NoSQL SQL vs NoSQL

• On-Prem vs Cloud On-Prem vs Cloud

• امتحان Quiz

انبار داده چیست؟ What is a data warehouse?

• معرفی انبار داده Data Warehouse Introduction

• تعریف انبار داده Data Warehouse Definition

• مزایای انبار داده Data Warehouse Benefits

• معماری انبار داده Data Warehouse Architecture

• منبع اطلاعات Data Source

• دریاچه دیتا Data Lake

• لایه انبار داده Data Warehouse Layer

• مقدمه هوش تجاری Business Intelligence Introduction

• ابزارهای هوش تجاری Business Intelligence Tools

• ETL - مقدمه ELT ETL - ELT Introduction

• ETL ETL

• ELT ELT

• ETL در مقابل ELT ETL vs ELT

• امتحان Quiz

مدل سازی داده ها و نمادهای ERD Data Modelling & ERD Notations

• مقدمه مدلسازی داده و نمودار رابطه موجودیت (ERD). Data Modelling & Entity Relationship Diagram (ERD) Introduction

• مروری بر مدل سازی داده ها Data Modelling Overview

• بررسی اجمالی ERD ERD Overview

• روابط ویژگی های موجودیت Entity Attributes Relationships

• مراحل ایجاد ERD Steps to Create an ERD

• ERD را با استفاده از سبک نشانه گذاری Chen بسازید Build ERD using Chen's Notation Style

• ERD را با استفاده از شیوه نمادگذاری مهندسی اطلاعات بسازید Build ERD using Information Engineering Notation Style

• مفاهیم مدل سازی داده ها Data Modelling Concepts

• انواع مختلف کلیدها Different Type of Keys

• ابزارهای پیشنهادی برای ایجاد ERD Recommended Tools for Creating ERD

• امتحان Quiz

عادی سازی و غیر عادی سازی Normalisation & Denormalisation

• عادی سازی چیست؟ What is Normalisation?

• 1 فرم عادی 1st Normal Form

• فرم 2 عادی 2nd Normal Form

• 3 فرم عادی 3rd Normal Form

• مزایا و معایب مدل نرمال شده Pros & Cons of Normalised Model

• نرمال زدایی چیست؟ What is De-Normalisation?

• تکنیک های غیر عادی سازی De-Normalisation Techniques

• مزایا و معایب مدل غیر عادی Pros & Cons of De-Normalised Model

• امتحان Quiz

روش های طراحی انبار داده Data Warehouse Design Methodologies

• مقدمه روش های طراحی انبار داده Data Warehouse Design Methodologies Introduction

• روش شناسی اینمون Inmon Methodology

• توضیح معماری کارخانه اطلاعات شرکتی (CIF). Corporate Information Factory (CIF) Architecture Explained

• معماری اینمون Inmon Architecture

• مزایا و معایب روش Inmon Pros & Cons of Inmon Methodology

• روش شناسی کیمبال Kimball Methodology

• فرآیندهای روش شناسی کیمبال Processes of Kimball Methodology

• معماری کیمبال Kimball Architecture

• مزایا و معایب روش کیمبال Pros & Cons of Kimball Methodology

• اینمون در مقابل کیمبال Inmon vs Kimball

• معماری ترکیبی Hybrid Architecture

• مقدمه روش شناسی خزانه داده ها Data Vault Methodology Introduction

• اجزای خزانه داده Data Vault Components

• معماری و نمونه Data Vault Data Vault Architecture & Example

• مزایا و معایب Data Vault Pros & Cons of Data Vault

• Inmon vs Kimball vs Data Vault Inmon vs Kimball vs Data Vault

• یک میز بزرگ (OBT)/میز عریض One Big Table (OBT) / Wide Table

• مزایا و معایب OBT Pros & Cons of OBT

• مدل سازی داده ها در آن زمان، اکنون و بعد Data Modelling Then, Now & Next

• امتحان Quiz

مدلسازی ابعادی Dimensional Modelling

• مقدمه مدلسازی بعدی Dimensional Modelling Introduction

• مدلسازی ابعادی چیست؟ What is Dimensional Modelling?

• مروری بر چرخه حیات انبار داده Data Warehouse LifeCycle Overview

• برنامه ریزی/برنامه ریزی پروژه Program/Project Planning

• جمع آوری نیازمندی ها Requirement Gathering

• مفهوم و مراحل مدلسازی ابعادی Concept & Steps of Dimensional Modelling

• فرآیند کسب و کار را انتخاب کنید و دانه را اعلام کنید Select Business Process & Declare the Grain

• ابعاد (انواع) Dimensions (Types)

• ابعاد منطبق Conformed Dimensions

• ابعاد آشغال Junk Dimensions

• ابعاد منحط Degenerate Dimensions

• ابعاد نقش آفرینی Role Playing Dimensions

• تغییر آهسته ابعاد (SCD) - مقدمه Slowly Changing Dimensions (SCD) - Intro

• نوع 0 - SCD (ابعاد در حال تغییر به آرامی) Type 0 - SCD (Slowly Changing Dimensions)

• نوع 1 - SCD (ابعاد در حال تغییر به آرامی) Type 1 - SCD (Slowly Changing Dimensions)

• نوع 2 - SCD (ابعاد در حال تغییر به آرامی) Type 2 - SCD (Slowly Changing Dimensions)

• نوع 3 - SCD (ابعاد در حال تغییر به آرامی) Type 3 - SCD (Slowly Changing Dimensions)

• نوع 4 - SCD (ابعاد در حال تغییر به آرامی) Type 4 - SCD (Slowly Changing Dimensions)

• SCD - ذخیره به عنوان عکس فوری SCD - Store as Snapshots

• جداول پل Bridge Tables

• حقایق Facts

• حقایق افزودنی Additive Facts

• حقایق نیمه افزودنی Semi-Additive Facts

• حقایق غیرافزودنی Non-Additive Facts

• جداول حقایق معاملات Transaction Facts Tables

• جداول اطلاعات دوره ای Periodic Facts Tables

• جداول اطلاعات تجمعی Accumulative Facts Tables

• طرحواره ستاره Star Schema

• طرح واره دانه های برف Snowflake Schema

• امتحان Quiz

راه اندازی محیط ها Setting up Environments

• BigQuery Setup مقدمه BigQuery Setup Introduction

• تنظیم جداول BigQuery با استفاده از CSV BigQuery Tables Setup using CSV

• راه اندازی جداول BigQuery با استفاده از اسکریپت SQL BigQuery Tables Setup Using SQL Script

• راه اندازی WSL2 برای ویندوز Setting up WSL2 for Windows

• راه اندازی مخزن Git Git Repository Setup

• راه اندازی و نصب dbt dbt setup & Installation

(Hands-on dbt) ساخت انبار داده ابعادی (Hands-on dbt) Building dimensional data warehouse

• معرفی Introduction

• نمای کلی عملی Hands-on overview

• معرفی مورد استفاده Use-Case Introduction

• بحث تفصیلی مورد استفاده Use-Case Detailed Discussion

• جمع آوری ملزومات Requirements Gathering

• پروفایل سازی داده ها - مقدمه Data Profiling - Introduction

• پروفایل داده - تکمیل شد Data Profiling - Completed

• AE Workbook - Walkthrough AE Workbook - Walkthrough

• ماتریس اتوبوس - نهادهای سطح بالا Bus Matrix - High Level Entities

• مدل مفهومی Conceptual Model

• طراحی معماری Architecture Design

• مقدمه مدلسازی بعدی Dimensional Modelling Introduction

• ماتریس اتوبوس به تفصیل Bus Matrix Detailed

• منبع به نقشه برداری هدف (منبع BQ Data Lake) Source to Target Mapping (Source to BQ Data Lake)

• منبع به نقشه برداری هدف (BQ Data Lake to Staging) Source to Target Mapping (BQ Data Lake to Staging)

• مدل بعدی (ویژگی ها و معیارها) Dimensional Model (Attributes & Measures)

• منبع به نقشه برداری هدف (دریاچه داده به انبار داده) Source to Target Mapping (Data Lake to Data Warehouse)

• منبع به نقشه برداری هدف (انبار داده به OBT) Source to Target Mapping (Data Warehouse to OBT)

• طراحی مدل منطقی Logical Model Design

• طراحی مدل فیزیکی Physical Model Design

• نمای کلی dbt dbt overview

• پیاده سازی فیزیکی (لایه مرحله بندی) Physical Implementation (Staging Layer)

• پیاده سازی فیزیکی (لایه مرحله بندی) ادامه. Physical Implementation (Staging Layer) Cont.

• جداول کم نور پیاده سازی فیزیکی (لایه انبار داده) Physical Implementation Dim Tables (Data Warehouse Layer)

• جداول واقعیت پیاده سازی فیزیکی (لایه انبار داده) Physical Implementation Fact Tables (Data Warehouse Layer)

• پیاده سازی فیزیکی (Analytics OBT) Physical Implementation (Analytics OBT)

• اشکال زدایی (dbt) Debugging (dbt)

• افزودن تست ها (dbt) Adding Tests (dbt)

• عملی کامل Hands-on Complete

واژه نامه Glossary

• واژه نامه Glossary