آموزش Bootcamp کامل dbt (ابزار ساخت داده): صفر تا قهرمان

سرفصل ها و درس ها

معرفی دوره Course Introduction

• معرفی مربیان Instructors Introduction

• خوش آمدی Welcome

• نمای کلی ساختار دوره Course Structure Overview

معرفی دوره Course Introduction

• معرفی مربیان Instructors Introduction

• خوش آمدی Welcome

• نمای کلی ساختار دوره Course Structure Overview

نظریه - مدل بلوغ داده ها Theory - The Data Maturity Model

• مقدمه - هرم داده های مزلو Introduction - Maslow's Pyramid of Data

• مدل بلوغ داده ها The Data Maturity Model

• ETL و ELT ETL and ELT

• ETL و ELT ETL and ELT

• مدل بلوغ داده ها The Data Maturity Model

• مدل بلوغ داده ها The Data Maturity Model

نظریه - مدل بلوغ داده ها Theory - The Data Maturity Model

• مقدمه - هرم داده های مزلو Introduction - Maslow's Pyramid of Data

• مدل بلوغ داده ها The Data Maturity Model

تئوری - انبارهای داده، دریاچه های داده و دریاچه ها Theory - Data Warehouses, Data Lakes and Lakehouses

• ذخیره سازی داده ها - مقدمه ای کوتاه Data Warehousing - a short introduction

• ذخیره سازی داده ها - مقدمه ای کوتاه Data Warehousing - a short introduction

• جداول خارجی و انبارهای داده ابری External Tables and Cloud Data Warehouses

• جداول خارجی و انبارهای داده ابری External Tables and Cloud Data Warehouses

• دریاچه های داده Data Lakes

• دریاچه های داده Data Lakes

• دیتا لیک هاوس Data Lakehouse

• دیتا لیک هاوس Data Lakehouse

• انبارهای داده، دریاچه های داده و دریاچه ها Data Warehouses, Data Lakes and Lakehouses

• انبارهای داده، دریاچه های داده و دریاچه ها Data Warehouses, Data Lakes and Lakehouses

تئوری - انبارهای داده، دریاچه های داده و دریاچه ها Theory - Data Warehouses, Data Lakes and Lakehouses

نظریه - پشته داده های مدرن Theory - The Modern Data Stack

• پشته داده های مدرن The Modern Data Stack

• پشته داده های مدرن The Modern Data Stack

• پشته داده های مدرن The Modern Data Stack

• پشته داده های مدرن The Modern Data Stack

نظریه - پشته داده های مدرن Theory - The Modern Data Stack

• پشته داده های مدرن The Modern Data Stack

• پشته داده های مدرن The Modern Data Stack

تئوری - ابعاد آهسته در حال تغییر (SCD) Theory - Slowly Changing Dimension (SCD)

• مبانی تغییر آهسته ابعاد The Basics of Slowly Changing Dimensions

• مبانی تغییر آهسته ابعاد The Basics of Slowly Changing Dimensions

• نوع 0 - اصل را حفظ کنید Type 0 - Retain Original

• نوع 0 - اصل را حفظ کنید Type 0 - Retain Original

• نوع 1 - رونویسی Type 1 - Overwrite

• نوع 1 - رونویسی Type 1 - Overwrite

• نوع 2 - افزودن ردیف جدید Type 2 - Add New Row

• نوع 2 - افزودن ردیف جدید Type 2 - Add New Row

• نوع 3 - افزودن ویژگی جدید Type 3 - Add New Attribute

• نوع 3 - افزودن ویژگی جدید Type 3 - Add New Attribute

• تغییر آهسته ابعاد (SCD) Slowly Changing Dimension (SCD)

تئوری - ابعاد آهسته در حال تغییر (SCD) Theory - Slowly Changing Dimension (SCD)

• تغییر آهسته ابعاد (SCD) Slowly Changing Dimension (SCD)

مقدمه جلسات عملی: dbt و مورد استفاده Airbnb Intro to the practical sessions: dbt and the Airbnb use-case

• نمای کلی dbt dbt Overview

• مروری بر مدل مورد استفاده و داده های ورودی Use-case and Input Data Model Overview

• مروری بر مدل مورد استفاده و داده های ورودی Use-case and Input Data Model Overview

مقدمه جلسات عملی: dbt و مورد استفاده Airbnb Intro to the practical sessions: dbt and the Airbnb use-case

• نمای کلی dbt dbt Overview

تمرین - راه اندازی Practice - Setup

• نحوه استفاده از github و منابع دوره How to use github and the course's resources

• نحوه استفاده از github و منابع دوره How to use github and the course's resources

• ثبت دانه های برف Snowflake Registration

• ثبت دانه های برف Snowflake Registration

• یادداشتی در مورد واردات داده های Snowflake A note on the Snowflake data import

• یادداشتی در مورد واردات داده های Snowflake A note on the Snowflake data import

• وارد کردن داده‌های Airbnb به Snowflake Importing Airbnb Data into Snowflake

• وارد کردن داده‌های Airbnb به Snowflake Importing Airbnb Data into Snowflake

• مرا بخوان! دستورالعمل های راه اندازی و پیش نیازها READ ME! Setup instructions and Prerequisites

• راه اندازی dbt - مک dbt setup - Mac

• راه اندازی dbt - مک dbt setup - Mac

• اختیاری - نصب پایتون و پیپ در ویندوز Optional - Installing Python and pip on Windows

• اختیاری - نصب پایتون و پیپ در ویندوز Optional - Installing Python and pip on Windows

• اختیاری - راه اندازی Python Virtualenv در ویندوز Optional - Setting up a Python Virtualenv on Windows

• راه اندازی dbt - ویندوز dbt setup - Windows

• ایجاد پروژه dbt و اتصال آن به Snowflake Creating a dbt project and connecting it to Snowflake

• ایجاد پروژه dbt و اتصال آن به Snowflake Creating a dbt project and connecting it to Snowflake

• ابزارهای برقی dbt را در VSCode Setup نصب کنید (اختیاری) Install dbt power tools into VSCode Setup (optional)

• ابزارهای برقی dbt را در VSCode Setup نصب کنید (اختیاری) Install dbt power tools into VSCode Setup (optional)

• READ ME - ساختار پروژه dbt - پوشه داده در مقابل پوشه seeds READ ME - dbt project structure - data folder vs. seeds folder

• READ ME - ساختار پروژه dbt - پوشه داده در مقابل پوشه seeds READ ME - dbt project structure - data folder vs. seeds folder

• نمای کلی ساختار پروژه dbt Overview of the dbt Project Structure

• یادداشتی در مورد طرح DEV A note on the DEV schema

• مجموعه داده ها و مروری بر جریان داده ها Datasets and Data Flow Overview

تمرین - راه اندازی Practice - Setup

• مرا بخوان! دستورالعمل های راه اندازی و پیش نیازها READ ME! Setup instructions and Prerequisites

• اختیاری - راه اندازی Python Virtualenv در ویندوز Optional - Setting up a Python Virtualenv on Windows

• راه اندازی dbt - ویندوز dbt setup - Windows

• نمای کلی ساختار پروژه dbt Overview of the dbt Project Structure

• یادداشتی در مورد طرح DEV A note on the DEV schema

• مجموعه داده ها و مروری بر جریان داده ها Datasets and Data Flow Overview

مدل ها Models

• اهداف آموزشی - مدل ها Learning Objectives - Models

• اهداف آموزشی - مدل ها Learning Objectives - Models

• بررسی اجمالی مدل ها Models Overview

• تئوری: CTE - عبارات جدول مشترک Theory: CTE - Common Table Expressions

• ایجاد اولین مدل ما: فهرست‌های Airbnb Creating our first model: Airbnb listings

• ایجاد اولین مدل ما: فهرست‌های Airbnb Creating our first model: Airbnb listings

• آزمون مدل ها Models Quiz

• مدل src_hosts را ایجاد کنید Create the src_hosts model

• مدل src_hosts را ایجاد کنید Create the src_hosts model

مدل ها Models

• بررسی اجمالی مدل ها Models Overview

• تئوری: CTE - عبارات جدول مشترک Theory: CTE - Common Table Expressions

• آزمون مدل ها Models Quiz

مادی شدن ها Materializations

• اهداف یادگیری - مادی سازی ها Learning Objectives - Materializations

• اهداف یادگیری - مادی سازی ها Learning Objectives - Materializations

• بررسی اجمالی مصالح Materializations Overview

• وابستگی های مدل و تگ ref dbt Model Dependencies and dbt's ref tag

• متریال‌سازی نوع جدول و پیکربندی متریال‌سازی در سطح پروژه Table type materialization & Project-level Materialization config

• تحقق تدریجی Incremental materialization

• تحقق تدریجی Incremental materialization

• مادی شدن زودگذر Ephemeral materialization

• مسابقه - مادی شدن Quiz - Materializations

مادی شدن ها Materializations

• بررسی اجمالی مصالح Materializations Overview

• وابستگی های مدل و تگ ref dbt Model Dependencies and dbt's ref tag

• متریال‌سازی نوع جدول و پیکربندی متریال‌سازی در سطح پروژه Table type materialization & Project-level Materialization config

• مادی شدن زودگذر Ephemeral materialization

• مسابقه - مادی شدن Quiz - Materializations

دانه ها و منابع Seeds and Sources

• اهداف آموزشی - بذرها و منابع Learning Objectives - Seeds and Sources

• اهداف آموزشی - بذرها و منابع Learning Objectives - Seeds and Sources

• بررسی اجمالی دانه ها و منابع Seeds and Sources Overview

• دانه Seeds

• دانه Seeds

• منابع Sources

• منابع Sources

• منبع طراوت Source Freshness

• منبع طراوت Source Freshness

دانه ها و منابع Seeds and Sources

• بررسی اجمالی دانه ها و منابع Seeds and Sources Overview

عکس های فوری Snapshots

• اهداف آموزشی - عکس های فوری Learning Objectives - Snapshots

• نمای کلی عکس های فوری Snapshots Overview

• نمای کلی عکس های فوری Snapshots Overview

• ایجاد یک عکس فوری Creating a Snapshot

• آزمون عکس های فوری Snapshots Quiz

عکس های فوری Snapshots

• اهداف آموزشی - عکس های فوری Learning Objectives - Snapshots

• ایجاد یک عکس فوری Creating a Snapshot

• آزمون عکس های فوری Snapshots Quiz

تست ها Tests

• اهداف آموزشی - تست ها Learning objectives - Tests

• بررسی اجمالی تست ها Tests Overview

• بررسی اجمالی تست ها Tests Overview

• تست های عمومی Generic Tests

• تست های مفرد Singular Tests

• تست های مفرد Singular Tests

• تست تکی خود را ایجاد کنید Create your own singular test

• آزمون تست ها Tests Quiz

تست ها Tests

• اهداف آموزشی - تست ها Learning objectives - Tests

• تست های عمومی Generic Tests

• تست تکی خود را ایجاد کنید Create your own singular test

• آزمون تست ها Tests Quiz

ماکروها، تست‌ها و بسته‌های سفارشی Macros, Custom Tests and Packages

• اهداف آموزشی - ماکروها، تست ها و بسته های سفارشی Learning Objectives - Macros, Custom Tests and Packages

• بررسی اجمالی ماکروها Macros Overview

• بررسی اجمالی ماکروها Macros Overview

• ایجاد اولین ماکرو ما Creating our First Macro

• نوشتن تست های عمومی سفارشی Writing Custom Generic Tests

• README نسخه جدیدتری از عملکرد کلید جایگزین README A newer version of the surrogate key function

• نصب بسته های شخص ثالث Installing Third-Party Packages

• آزمون ماکروها، تست‌های سفارشی و بسته‌ها Macros, Custom Tests and Packages Quiz

• آزمون ماکروها، تست‌های سفارشی و بسته‌ها Macros, Custom Tests and Packages Quiz

ماکروها، تست‌ها و بسته‌های سفارشی Macros, Custom Tests and Packages

• اهداف آموزشی - ماکروها، تست ها و بسته های سفارشی Learning Objectives - Macros, Custom Tests and Packages

• ایجاد اولین ماکرو ما Creating our First Macro

• نوشتن تست های عمومی سفارشی Writing Custom Generic Tests

• README نسخه جدیدتری از عملکرد کلید جایگزین README A newer version of the surrogate key function

• نصب بسته های شخص ثالث Installing Third-Party Packages

مستندات Documentation

• اهداف آموزشی - مستندسازی Learning Objectives - Documentation

• بررسی اجمالی مستندات Documentation Overview

• نوشتن و کاوش در اسناد پایه Writing and Exploring Basic Documentation

• اسناد مبتنی بر Markdown، صفحه نمای کلی سفارشی و دارایی‌ها Markdown-based Docs, Custom Overview Page and Assets

• اسناد مبتنی بر Markdown، صفحه نمای کلی سفارشی و دارایی‌ها Markdown-based Docs, Custom Overview Page and Assets

• نمودار خطی (جریان داده DAG) The Linage Graph (Data Flow DAG)

• جدول dim_hosts_cleansed را مستند کنید Document the dim_hosts_cleansed table

• جدول dim_hosts_cleansed را مستند کنید Document the dim_hosts_cleansed table

• مسابقه مستندسازی Documentation quiz

• مسابقه مستندسازی Documentation quiz

مستندات Documentation

• اهداف آموزشی - مستندسازی Learning Objectives - Documentation

• بررسی اجمالی مستندات Documentation Overview

• نوشتن و کاوش در اسناد پایه Writing and Exploring Basic Documentation

• نمودار خطی (جریان داده DAG) The Linage Graph (Data Flow DAG)

تحلیل ها، قلاب ها و قرار گرفتن در معرض Analyses, Hooks and Exposures

• اهداف یادگیری - تجزیه و تحلیل، قلاب و قرار گرفتن در معرض Learning Objectives - Analyses, Hook and Exposures

• تجزیه و تحلیل می کند Analyses

• قلاب Hooks

• راه اندازی داشبورد BI در Snowflake و Preset Setting up a BI Dashboard in Snowflake and Preset

• قرار گرفتن در معرض Exposures

• قرار گرفتن در معرض Exposures

• آزمون قلاب Hooks Quiz

تحلیل ها، قلاب ها و قرار گرفتن در معرض Analyses, Hooks and Exposures

• اهداف یادگیری - تجزیه و تحلیل، قلاب و قرار گرفتن در معرض Learning Objectives - Analyses, Hook and Exposures

• تجزیه و تحلیل می کند Analyses

• قلاب Hooks

• راه اندازی داشبورد BI در Snowflake و Preset Setting up a BI Dashboard in Snowflake and Preset

• آزمون قلاب Hooks Quiz

قهرمان dbt dbt Hero

• به قهرمان خوش آمدید Welcome to Hero

• نظر خود را در نقشه راه دوره بیان کنید Have your say in the course's roadmap

قهرمان dbt dbt Hero

• به قهرمان خوش آمدید Welcome to Hero

• نظر خود را در نقشه راه دوره بیان کنید Have your say in the course's roadmap

اشکال زدایی تست ها و تست با dbt-expectations Debugging Tests and Testing with dbt-expectations

• یادداشتی در مورد تنظیم dbt-expectations A note on the dbt-expectations setup

• یادداشتی در مورد تنظیم dbt-expectations A note on the dbt-expectations setup

• بررسی اجمالی انتظارات بزرگ Great Expectations Overview

• مقایسه تعداد ردیف بین مدل ها Comparing row counts between models

• مقایسه تعداد ردیف بین مدل ها Comparing row counts between models

• به دنبال موارد پرت در داده های خود هستید Looking for outliers in your data

• به دنبال موارد پرت در داده های خود هستید Looking for outliers in your data

• اجرای اخطارهای آزمایشی برای موارد شدید Implementing test warnings for extremal items

• اعتبارسنجی انواع ستون Validating column types

• نظارت بر متغیرهای طبقه بندی شده در داده های منبع Monitoring categorical variables in the source data

• اشکال زدایی تست های dbt و کار با عبارات منظم Debugging dbt tests and Working with regular expressions

• آزمون dbt-expectations و تست اشکال زدایی dbt-expectations and test debugging quiz

• بازخورد دوره و حرکت به جلو Course Feedback and Moving on

• بازخورد دوره و حرکت به جلو Course Feedback and Moving on

اشکال زدایی تست ها و تست با dbt-expectations Debugging Tests and Testing with dbt-expectations

• بررسی اجمالی انتظارات بزرگ Great Expectations Overview

• اجرای اخطارهای آزمایشی برای موارد شدید Implementing test warnings for extremal items

• اعتبارسنجی انواع ستون Validating column types

• نظارت بر متغیرهای طبقه بندی شده در داده های منبع Monitoring categorical variables in the source data

• اشکال زدایی تست های dbt و کار با عبارات منظم Debugging dbt tests and Working with regular expressions

• آزمون dbt-expectations و تست اشکال زدایی dbt-expectations and test debugging quiz

مواد تکمیلی Supplementary Materials

• مواد تکمیلی - نصب dbt در ویندوز با سیستم فایل لینوکس ویندوز Supplementary Material - Installing dbt on Windows with Windows Linux Filesystem

• مواد تکمیلی - نصب dbt در ویندوز با سیستم فایل لینوکس ویندوز Supplementary Material - Installing dbt on Windows with Windows Linux Filesystem

مواد تکمیلی Supplementary Materials