لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش گردشهای کاری مهندسی تحلیل با dbt
- آخرین آپدیت
دانلود Analytics Engineering Workflows with dbt
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
این دوره به شما کمک میکند تا مهارتهای خود را در مهندسی تحلیل (Analytics Engineering) ارتقا دهید و تواناییهای عملی لازم برای ساخت پروژههای dbt مقیاسپذیر و قابل اعتماد را کسب کنید. شما با تقویت درک خود از توسعه SQL قابل استفاده مجدد با استفاده از Jinja و ماکروها شروع خواهید کرد و یاد میگیرید که چگونه منطق تبدیل دادهها را برای سیستمهای دادهای بزرگ سازماندهی کنید. پس از آن، مدلهای افزایشی (Incremental Models)، اسنپشاتها، استراتژیهای تست، شیوههای مستندسازی و مفاهیم اصلی مشاهدهپذیری (Observability) را که از گردشهای کاری تحلیل قابل اعتماد پشتیبانی میکنند، بررسی خواهید کرد. این دوره با تکنیکهای همکاری و اتوماسیون گردش کار به پایان میرسد، جایی که کنترل نسخه مبتنی بر Git، خط لولههای یکپارچگی مستمر (CI Pipelines) و کارهای زمانبندی شده dbt را پیادهسازی خواهید کرد.
با یک رویکرد کاربردی و عملی، این دوره مفاهیم پیشرفتهای مانند ایجاد منطق ماژولار با ماکروها، بهینهسازی عملکرد با پردازش افزایشی، ساختاربندی پروژهها در لایههای شفاف، اعتبارسنجی مدلها با تستهای Schema و سفارشی، مدیریت متادیتا و بررسی Lineage در dbt Docs را پوشش میدهد. شما یاد خواهید گرفت که چگونه سازماندهی تمیز پروژه را حفظ کنید، استانداردهای تست و مستندسازی را پیادهسازی کنید، نتایج اجرا و لاگها را تحلیل کنید و از اتوماسیون آماده تولید در محیطهای تحلیل مدرن پشتیبانی کنید.
در پایان این دوره، شما قادر خواهید بود:
• منطق SQL قابل استفاده مجدد را با استفاده از Jinja و ماکروها بسازید
• مدلهای افزایشی و اسنپشات را طراحی و پیادهسازی کنید
• پروژههای dbt را برای حفظ یک DAG تمیز و سازمانیافته بازنویسی (Refactor) کنید
• مدلهای پیشرفته dbt را ایجاد، اجرا، تست و مستند کنید
• شیوههای تست، مستندسازی و مشاهدهپذیری را برای تضمین کیفیت دادهها به کار ببرید
• با استفاده از Git همکاری کرده و گردشهای کاری توسعه dbt را بازبینی کنید
• خط لولههای یکپارچگی مستمر (CI) را برای اعتبارسنجی خودکار مدلها پیکربندی کنید
• کارهای dbt را برای اجرای قابل اعتماد در محیط تولید زمانبندی و نظارت کنید
این دوره برای مهندسان تحلیل مشتاق، مهندسان داده، توسعهدهندگان BI و متخصصان SQL طراحی شده است که میخواهند مهارتهای خود را در شیوههای پیشرفته dbt، چارچوبهای کیفیت داده، گردشهای کاری مشارکتی و تبدیلهای خودکار گسترش دهند. این دوره برای هر کسی که به دنبال ساخت خط لولههای تحلیل قابل اعتماد، مقیاسپذیر و دارای مستندات کامل در محیطهای داده مدرن است، ایدهآل است.
سرفصل ها و درس ها
توسعه پیشرفته dbt
Advanced dbt Development
معرفی تخصص
Specialization Introduction
معرفی دوره
Course Introduction
مفاهیم اصلی قالبهای Jinja
Core concepts of Jinja Templates
الگوهای ماکرو برای SQL بدون تکرار (DRY) و پارامتری کردن
Macro Patterns for DRY SQL and Parameterization
ایجاد یک ماکرو برای مجموع فروش پویا
Create a Macro for Dynamic Total Sales
اعمال ماکرو در چندین مدل
Apply Macro across Multiple Models
الگوهای مدل افزایشی و استراتژیهای تازگی دادهها
Incremental Model Patterns and Freshness Strategies
اسنپشاتها برای ردیابی SCD و حسابرسی
Snapshots for SCD Tracking and Audits
تبدیل fact_orders به مدل افزایشی
Convert fact_orders to Incremental
ایجاد یک اسنپشات برای dim_customers
Create a dim_customers Snapshot
ساختار لایهای پروژه: Staging، Core و Marts
Layered Project Structure - Staging, Core and Marts
نگهداری از DAG و جلوگیری از چرخهها
Maintaining the DAG and Avoiding Cycles
تجدید ساختار دایرکتوریها بر اساس لایهها
Restructure Directories by Layers
بازسازی مستندات برای تایید یکپارچگی DAG
Regenerate Docs to Verify DAG Integrity
کیفیت داده، تست و مستندسازی
Data Quality, Testing, and Documentation
تستهای Schema: منحصر به فرد بودن، عدم تهی بودن و روابط
Schema Tests - unique, not_null, Relationships
تستهای SQL سفارشی: شدت و آستانهها
Custom SQL Tests - Severity and Thresholds
افزودن تستها به fact_orders و dim_customers
Add Tests to fact_orders and dim_customers
نوشتن یک تست سفارشی برای مجموعهای نامعتبر
Write a Custom Test for Invalid Totals
مستندسازی مدلها و ستونها در YAML
Document Models and Columns in YAML
مالکیت، اکسپوزرها و نگهداری
Ownership, Exposures and Maintenance
بهروزرسانی توضیحات و مالکان در YAML
Update Descriptions and Owners in YAML
بازسازی و ارائه سایت dbt Docs
Regenerate and Serve dbt Docs site
بررسیهای تازگی داده (Freshness) و SLAها
Freshness Checks and SLAs
خواندن نتایج اجرا و لاگهای dbt
Reading dbt run Results and Logs
تهیه گزارش خلاصه تست و اجرا
Produce a Test and Run Summary Report
همکاری و اتوماسیون گردش کار
Collaboration and Workflow Automation
مبانی Git و گردشهای کاری PR
Git Basics and PR Workflows
شاخه بندی، ادغام و تاریخچه نسخهها
Branching, Merging and Version History
مقداردهی اولیه و ارسال مخزن dbt به GitHub
Initialize and Push dbt Repo to GitHub
باز کردن و بازبینی یک PR برای تغییر مدل
Open and Review a PR for a Model Change
سیستم CI/CD برای پروژههای داده
CI/CD for Data Projects
راهاندازی GitHub Actions برای dbt
GitHub Actions Setup for dbt
پیکربندی گردش کار برای اجرای dbt Build
Configure a Workflow to run dbt Build
بررسی لاگهای CI و آرتیفکتهای تست
Inspect CI Logs and Test Artifacts
خودکارسازی اجراهای dbt
Automating dbt runs
زمانبندی با dbt Cloud یا Cron
Scheduling with dbt Cloud/Cron
زمانبندی یک Job شبانه
Schedule a Nightly Job
تایید موفقیت و اعلانها در لاگها
Verify Success and Notifications in Logs
نمایش نظرات