آموزش dbt در Databricks

سرفصل ها و درس ها

مقدمه Introduction

• معرفی دوره Course Introduction

• پیش نیازها Pre-requisites

• dbt چیست؟ What is dbt?

• جینجا چیست؟ What is Jinja?

• YAML چیست؟ What is YAML?

• DAG چیست؟ What is a DAG?

dbt Cloud معرفی و تنظیم منابع dbt Cloud Introduction and Resource Set Up

• مدیریت هزینه و نیازهای منابع Cost Management and Resource Requirements

• نحوه دریافت Databricks در نسخه آزمایشی رایگان How to get Databricks on Free Trials

• الزامات فضای کاری Databricks Databricks Workspace Requirements

• در حال بارگیری مجموعه داده خرده فروشی Loading the Retail Dataset

• راه اندازی dbt Cloud و نمای کلی UI Setting up dbt Cloud and UI Overview

• راه اندازی پروژه dbt Setting up the dbt Project

• اجزای اصلی dbt Core Components of dbt

• نسخه Git Control Essentials Git Version Control Essentials

مدل ها Models

• مروری بر تحولات داده Overview of the Data Transformations

• پیوند به ویکی دوره Link to Course Wiki

• ابتدا به مدل های dbt نگاه کنید First Look at dbt Models

• پاکسازی کد کامپایل شده Cleaning Compiled Code

• مدل سازی لایه برنز و منابع Modelling the Bronze Layer and Sources

• منبع طراوت Source Freshness

• مدل سازی لایه نقره ای Modelling the Silver Layer

• مدل سازی لایه طلا Modelling the Gold Layer

• ساختار پوشه و قراردادهای نامگذاری Folder Structure and Naming Conventions

• مقدمه ای بر ویژگی ها و تنظیمات Introduction to Properties and Configurations

• پیکربندی طرحواره سفارشی Custom Schema Configuration

• انتخاب گره Node Selection

تست های عمومی و منفرد Generic and Singular Tests

• مروری بر آزمون های عمومی و منفرد Overview of Generic and Singular Tests

• (FYI) "tests" در مقابل "data_tests": نام های مختلف، یک چیز (FYI) "tests" vs "data_tests": Different Names, Same Thing

• تست های عمومی در منابع Generic Tests on Sources

• تست های عمومی بر روی مدل ها Generic Tests on Models

• تست های مفرد Singular Tests

• ساخت dbt dbt build

بذرها و آنالیزها Seeds and Analyses

• دانه ها Seeds

• تجزیه و تحلیل می کند Analyses

Jinja، توابع، ماکروها و بسته ها Jinja, Functions, Macros and Packages

• مقدمه ای بر نحو Jinja Introduction to Jinja Syntax

• متغیرها در Jinja Variables in Jinja

• IF شرط IF Condition

• برای حلقه ها For Loops

• توابع Functions

• ماکروها Macros

• بسته ها Packages

متریال سازی در dbt Materializations in dbt

• مروری بر مادی سازی ها Overview of Materializations

• جداول و نماها (خلاصه) Tables and Views (Recap)

• جداول افزایشی (قسمت 1) Incremental Tables (Part 1)

• جداول افزایشی (قسمت 2) Incremental Tables (Part 2)

• عبارات جدول رایج (CTE) Common Table Expressions (CTEs)

• زودگذر Ephemeral

• عکس های فوری و SCD نوع 2 Snapshots and SCD Type 2

• تنظیمات جدول خاص Databricks Databricks Specific Table Configurations

تست پیشرفته Advanced Testing

• خلاصه و مرور کلی Recap and Overview

• انتخاب آزمون Test Selection

• تنظیمات تست اضافی Additional Test Configurations

• تست های عمومی سفارشی Custom Generic Tests

• تست با dbt_utils Testing with dbt_utils

• تست با dbt_expectations Testing with dbt_expectations

• مقدمه ای بر تست واحد در dbt Introduction to Unit Testing in dbt

• نسخه آزمایشی واحد تست Unit Testing Demo

ادغام تغییرات ما در Main Merging our Changes to Main

• ادغام تغییرات ما در Main Merging our Changes to Main

استقرار Deployment

• محیط های استقرار Deployment Environments

• ایجاد محیط تولید Creating a Production Environment

• اولین کار استقرار ما Our First Deploy Job

• اضافه کردن یک طرح فرود در کاتالوگ محصولات ما Adding a Landing Schema in our Prod Catalog

• متغیرهای هدف Target Variables

• متغیرهای محیطی Environment Variables

• افزودن توضیحات به مستندات Adding Descriptions to the Documentation

• قلاب Hooks

dbt Core dbt Core

• dbt Core در مقابل dbt Cloud dbt Core vs dbt Cloud

• بررسی اجمالی تنظیم محیط توسعه Development Environment Set Up Overview

• حساب GitHub و Repo GitHub Account and Repo

• نصب Git (ویندوز) Installing Git (Windows)

• نصب پایتون (ویندوز) Installing Python (Windows)

• نصب پایتون (MacOS) Installing Python (MacOS)

• نصب و بررسی اجمالی کد ویژوال استودیو Visual Studio Code Installation and Overview

• ناوبری خط فرمان Command Line Navigation

• شبیه سازی مخزن GitHub ما و نسخه ی نمایشی جریان های کاری پایه GitHub Cloning our GitHub Repository and Demo of Basic GitHub Workflows

• پیکربندی گواهی‌های SSL (macOS) Configuring SSL Certificates (macOS)

• نصب dbt-core و dbt-databricks Installing dbt-core and dbt-databricks

• راه اندازی پروژه هسته dbt ما Initializing our dbt Core Project

• نسخه ی نمایشی هسته dbt - ساخت پروژه های dbt به صورت محلی dbt Core Demo - Building dbt Projects Locally

• dbt Core Demo - افزودن محیط هدف Prod dbt Core Demo - Adding a Prod Target Environment

• استفاده از dbt در گردش کار Databricks Using dbt in a Databricks Workflow

• مروری بر برنامه افزودنی کاربر Power Power User Extension Overview

• نسخه نمایشی برنامه افزودنی کاربر Power Power User Extension Demo

تبریک میگم Congratulations

• آفرین برای تکمیل دوره! Well done on completing the course!