آموزش پروژه مهندسی داده انتها به انتها

معرفی Introduction

• تبدیل داده های پیچیده به بینش Transform complex data into insights

• آنچه شما باید بدانید What you should know

1. بررسی اجمالی و آماده سازی پروژه 1. Project Overview and Preparation

• نمای کلی معماری پروژه Project architecture overview

• راه اندازی پروژه Project setup

• آشنایی با پایگاه داده Big Star Collectibles Understanding the Big Star Collectibles database

• راه اندازی انبار داده شما Setting up your data warehouse

2. استخراج و بارگذاری داده ها 2. Data Extraction and Loading

• شروع کار با ابزارهای ELT: مقدمه ای بر Airbyte Getting started with ELT tools: An introduction to Airbyte

• استقرار Airbyte برای همگام سازی داده ها Deploying Airbyte for data synchronization

• تنظیم منابع و مقصدها در Airbyte Setting up sources and destinations in Airbyte

• ایجاد اتصالات در Airbyte Establishing connections in Airbyte

• همگام سازی و پیمایش در میان داده ها Synchronizing and navigating through data

3. شروع تبدیل داده ها و مدل سازی 3. Starting Data Transformation and Modeling

• مقدمه ای بر مدل سازی داده ها با dbt Introduction to data modeling with dbt

• آشنایی با ساختار پروژه dbt Understanding the structure of a dbt project

• شروع پروژه dbt شما Initiating your dbt project

• پیکربندی منابع داده در dbt Configuring data sources in dbt

• چالش: یک بررسی تازگی اضافه کنید Challenge: Add a freshness check

• راه حل: یک بررسی تازگی اضافه کنید Solution: Add a freshness check

4. تبدیل داده ها و مدل سازی 4. Data Transformation and Modeling

• ایجاد و سفارشی سازی مدل های dbt شما Creating and customizing your dbt models

• بررسی و اجرای dbt Reviewing and executing dbt

• ایمن سازی داده های خود با تست های dbt Securing your data with dbt tests

• چالش: تست ها را به مدل Marts اضافه کنید Challenge: Add tests to the Marts model

• راه حل: تست ها را به مدل Marts اضافه کنید Solution: Add tests to the Marts model

• خودکارسازی اسناد در dbt Automating documentation in dbt

• تکمیل پروژه dbt: یک چرخه توسعه کامل Completing your dbt project: A full development cycle

5. هماهنگ سازی داده ها 5. Data Orchestration

• مقدمه ای بر ارکستراسیون داده ها با داگستر Introduction to data orchestration with Dagster

• ادغام مدل های dbt با دارایی های Dagster Integrating dbt models with Dagster assets

• ادغام اتصالات Airbyte با دارایی های Dagster Integrating Airbyte connections with Dagster assets

• تحقق دارایی ها با استفاده از Dagit Materializing assets using Dagit

• چالش: برنامه ای را به خط لوله داده خود اضافه کنید Challenge: Add a schedule to your data pipeline

• راه حل: برنامه ای را به خط لوله داده خود اضافه کنید Solution: Add a schedule to your data pipeline

نتیجه Conclusion

• یک رشته در حال تکامل An evolving field