آموزش تسلط بر dbt (ابزار ساخت داده) - از مبتدی تا حرفه ای

سرفصل ها و درس ها

معرفی Introduction

• معرفی مربی Instructor Introduction

• طرح کلی دوره Course outline

• معرفی دوره Course Introduction

• تاریخچه مختصری از پشته داده A Brief History of the Data Stack

• مزایای dbt - استنتاج وابستگی ها Benefits of dbt - Inferring Dependencies

• مزایای dbt - مستندسازی و تست Benefits of dbt - Documentation & Testing

• مزایای dbt - عملکردی شبیه پایتون Benefits of dbt - Python-Like Functionality

• چگونه dbt بسیاری از مشکلات را در پشته داده حل کرده است How dbt Has Solved a Lot of Problems in the Data Stack

• چگونه dbt در پشته داده قرار می گیرد How dbt Fits in the Data Stack

• dbt Core در مقابل dbt Cloud dbt Core vs. dbt Cloud

• خلاصه بخش Section Recap

راه اندازی با ابزار شما Getting Set Up with Your Tools

• نمای کلی بخش Section Overview

• اگر در طول این دوره گیر کردید کمک کنید Help if you get stuck during this course

• ساخت اکانت جیمیل Creating a Gmail Account

• راه اندازی یک پروژه BigQuery با صورتحساب Setting up a BigQuery Project With Billing

• (اختیاری) اگر در صورت‌حساب BigQuery مشکل دارید (Optional) If You Have Issues With BigQuery Billing

• رابط کاربری BigQuery The BigQuery UI

• مجموعه داده ای که از آن استفاده خواهید کرد The Dataset You'll Be Using

• (Mac) نصب پایتون 3.10 (Mac) Installing Python 3.10

• (ویندوز) نصب پایتون 3.10 (Windows) Installing Python 3.10

• دانلود VSCode و تنظیم میانبرها Downloading VSCode and Setting Up Shortcuts

• ایجاد یک حساب کاربری GitHub Creating a GitHub account

• فورکینگ در مقابل شبیه سازی Forking Vs. Cloning

• چنگال کردن مخزن Forking the Repository

• (اختیاری) اگر مشکلی در همگام سازی مخزن فورک شده خود دارید (Optional) If You Have Issues Syncing Your Forked Repository

• نصب افزونه های پیشنهادی VSCode Installing the recommended VSCode Extensions

• محیط مجازی (venv) چیست؟ What's a Virtual Environment (venv)?

• راه اندازی محیط مجازی و نصب بسته ها Setting Up Our Virtual Environment and Installing Packages

• راه اندازی dbt برای BigQuery Setting Up dbt for BigQuery

• در حال آزمایش پروژه مدل dbt ما Trialling Our Model dbt Project

• (اختیاری) تنظیم تکمیل خودکار dbt (Optional) Setting Up dbt Autocomplete

• اجرای پروژه نهایی ما چگونه خواهد بود Run Through of How Our Final Project Will Look

• خلاصه بخش Section Recap

ساخت پروژه پایه dbt Building the Basic dbt Project

• نمای کلی بخش Section Overview

• دستور init dbt The dbt init Command

• کنترل نسخه با GitHub Version Control with GitHub

• راه اندازی dbt Power User Setting up dbt Power User

• چگونه پروژه خود را ساختار خواهیم داد How We'll Structure Our Project

• ایجاد اولین منبع ما (src) فایل yml Creating Our First Source (src) yml File

• (ویندوز) مشکلات پسوند dbt Power User (Windows) Issues with the dbt Power User extension

• ایجاد اولین مرحله بندی (stg) مدل SQL ما Creating Our First Staging (stg) SQL Model

• اجرای اولین مرحله بندی (stg) مدل SQL ما Running Our First Staging (stg) SQL Model

• ایجاد اولین فایل yml مدل ما Creating Our First Model yml File

• افزودن تست ها به فایل yml مدل اول ما Adding Tests to Our First Model yml File

• مدل‌های خود را به گونه‌ای تنظیم می‌کنیم که به‌جای نماها، به‌عنوان جداول درآیند Setting Up Our Models to Materialise as Tables Instead of Views

• راه اندازی بقیه مدل های SQL (stg) ما Getting the Rest of Our Staging (stg) SQL Models Set Up

• استفاده از dbt clean برای کار کردن با متریال سازی جدول Using dbt clean to Get Table Materialisation Working

• راه اندازی بقیه فایل های مرحله بندی (stg) yml Getting the Rest of the Staging (stg) yml Files Set Up

• بررسی مدل‌های داده‌های مرحله‌بندی (stg) ما Taking Stock of Our Staging (stg) Data Models

• پوشه هدف The Target Folder

• راه اندازی اولین مدل SQL متوسط ​​(int) ما Getting Our First Intermediate (int) SQL Model Set Up

• راه اندازی اولین فایل yml متوسط ​​(int) ما Getting Our First Intermediate (int) yml File Set Up

• راه اندازی مدل Mart SQL ما Getting Our Mart SQL Model Set Up

• راه اندازی فایل Mart yml ما Getting Our Mart yml File Set Up

• پروژه پایه dbt ما اکنون کامل شده است! Our Basic dbt Project Is Now Complete!

• خلاصه بخش Section Recap

dbt پیشرفته: تست Advanced dbt: Testing

• نمای کلی بخش Section Overview

• تنظیم شدت تست پیش فرض Setting Default Test Severity

• تنظیم شدت آزمون و آستانه Setting Test Severity and Thresholds

• بسته های خارجی dbt که ما استفاده خواهیم کرد The External dbt Packages We'll Be Using

• dbt_utils و dbt_expectations dbt_utils and dbt_expectations

• تست های منفرد سفارشی Custom Singular Tests

• تست های عمومی سفارشی Custom Generic Tests

• استفاده از تست های پیشرفته برای کل پروژه ما Applying Advanced Tests to Our Whole Project

• منبع تست های تازگی Source Freshness Tests

• خلاصه بخش Section Recap

dbt پیشرفته: مدل سازی داده ها Advanced dbt: Data Modelling

• نمای کلی بخش Section Overview

• تابع doc The doc Function

• فایل های بذر Seed Files

• عکس های فوری dbt dbt Snapshots

• انواع متریال سازی Materialisation Types

• متریال سازی: مدل های زودگذر Materialisation: Ephemeral Models

• تحقق: مدل‌های افزایشی Materialisation: Incremental Models

• (اختیاری) پارتیشن بندی جدول در BigQuery (Optional) Partitioning a Table in BigQuery

• [جدید] - پیش نمایش dbt Core نسخه 1.5 [NEW] - Preview of dbt Core Version 1.5

• [جدید] - (پیش نمایش) دسترسی به مدل [NEW] - (Preview) Model Access

• [جدید] - (پیش نمایش) قراردادهای داده [NEW] - (Preview) Data Contracts

• [جدید] - (پیش نمایش) نسخه های مدل [NEW] - (Preview) Model Versions

• خلاصه بخش Section Recap

dbt پیشرفته: دستورات و انتخابگرها Advanced dbt: Commands and Selectors

• نمای کلی بخش Section Overview

• دستورات برای اجرای تمیز dbt Commands For a Clean dbt run

• استفاده از پروفایل های مختلف dbt Using Different dbt Profiles

• انتخابگرها Selectors

• برچسب ها Tags

• انتخاب آزمون غیر مستقیم Indirect Test Selection

• تست dbt با --warn-error dbt test With --warn-error

• ساخت dbt dbt build

• اسناد dbt تولید/سرویس می کنند dbt docs generate / serve

• خلاصه بخش Section Recap

dbt پیشرفته: Jinja و Macros Advanced dbt: Jinja and Macros

• نمای کلی بخش Section Overview

• نظرات، اظهارات و عبارات Jinja Jinja Comments, Statements, and Expressions

• 3 نوع ماکرو: توابع، قلاب، عملیات The 3 Types of Macro: Functions, Hooks, Operations

• (اختیاری) مرجع تابع dbt Jinja (Optional) dbt Jinja Function Reference

• ماکروها: عملیات Macros: Operations

• ماکروها: توابع (ساخت یک کلان پایه) Macros: Functions (Building a Basic Macro)

• ماکروها: قلاب Macros: Hooks

• عبارات Jinja: برای حلقه ها و تنظیم متغیرها Jinja Statements: for Loops and Setting Variables

• (اختیاری) Jinja: با استفاده از تابع هدف (Optional) Jinja: Using the Target Function

• خلاصه بخش Section Recap

dbt ابر dbt Cloud

• نمای کلی بخش Section Overview

• ایجاد یک حساب dbt Cloud Creating a dbt Cloud Account

• راه اندازی یک حساب خدمات Setting Up a Service Account

• اتصال GitHub به dbt Cloud Connecting GitHub to dbt Cloud

• dbt Cloud IDE The dbt Cloud IDE

• استقرار Jobs در dbt Cloud Deploying Jobs on dbt Cloud

• خلاصه بخش Section Recap