لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش مهندسی تحلیل کاربردی و بصریسازی دادهها با dbt
- آخرین آپدیت
دانلود Applied Analytics Engineering and Visualization with dbt
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
این دوره شما را با مهارتهای عملی مهندسی تحلیل (Analytics Engineering) با تمرکز بر آمادهسازی، تبدیل، بهینهسازی و بصریسازی دادهها با استفاده از dbt آشنا میکند. شما ابتدا با بررسی و بازنویسی (Refactoring) مدلهای موجود dbt شروع خواهید کرد تا از سازگاری دادهها مطمئن شوید، تبدیلهای تکراری را حذف کرده و منطق دادهها را در لایههای تمیز و قابل نگهداری سازماندهی کنید. در ادامه، الگوهای استاندارد پاکسازی را به کار گرفته، ماکروهای قابل استفاده مجدد را پیادهسازی کرده و کیفیت دادهها را با استفاده از تستهای dbt تضمین خواهید کرد. همچنین مدلهای KPI کسبوکار را برای پشتیبانی از تحلیلهای سطح مدیریتی طراحی و گسترش میدهید.
سپس، درک خود را از تنظیمات عملکرد (Performance Tuning) از طریق تحلیل برنامههای اجرا (Execution Plans)، بهینهسازی Joinها و فیلترها و ارزیابی متریالیزاسیونهای مدل برای افزایش سرعت، کاهش هزینه و افزایش قابلیت اطمینان عمیقتر میکنید. شما یاد میگیرید که چگونه با تفسیر لاگهای dbt، بررسی آرتیفکتها، مدیریت خطاها و بهکارگیری مفاهیم تازگی دادهها (Freshness) و SLA، قابلیت مشاهدهپذیری خط لوله داده (Pipeline Observability) را بهبود ببخشید تا جریانهای کاری تولیدی قابل اعتماد باشند.
بخش نهایی دوره بر بصریسازی و ارائه بینشها تمرکز دارد. شما خروجیهای dbt را به یک ابزار BI متصل میکنید، مجموعهدادهها را پیکربندی مینمایید، داشبوردهایی بر اساس مدلهای KPI میسازید، گزارشهای مدیریتی طراحی کرده، بهروزرسانیها را خودکار میکنید و نتایج را به گونهای به اشتراک میگذارید که از تصمیمگیریهای دادهمحور در سازمان پشتیبانی کند.
این دوره با رویکردی عملی، به شما میآموزد که چگونه منطق تبدیل را استاندارد کنید، مدلهای KPI ماژولار بسازید، عملکرد را بهینه کنید، سلامت خط لوله را مانیتور کنید و خروجیهای تحلیلی را در پلتفرمهای BI ادغام نمایید. در پایان این دوره، شما قادر خواهید بود:
•بررسی و بازنویسی وابستگیهای مدل dbt برای حفظ یک DAG تمیز و کارآمد
•استانداردسازی پاکسازی دادهها با استفاده از ماکروهای قابل استفاده مجدد و استراتژیهای اعتبارسنجی
•ساخت مدلهای KPI و تبدیلهای کسبوکاری چند لایه
•تحلیل عملکرد کوئریها و بهکارگیری تکنیکهای بهینهسازی
•انتخاب و پیکربندی متریالیزاسیونهای dbt بر اساس نیازهای عملکردی و هزینه
•مانیتورینگ و حفظ قابلیت اطمینان خط لوله با استفاده از لاگها، آرتیفکتها و قوانین تازگی دادهها
•اتصال خروجیهای dbt به ابزارهای BI و آمادهسازی مجموعهدادهها برای داشبوردها
•ساخت داشبوردهای KPI و خودکارسازی جریانهای کاری گزارشدهی
•انتقال موثر بینشها از طریق گزارشهای خوشطراحی و تکنیکهای داستانسرایی دادهها
این دوره برای مهندسان تحلیل، مهندسان داده، توسعهدهندگان BI و متخصصان SQL طراحی شده است که میخواهند مهارتهای خود را در توسعه dbt، طراحی SQLهای بازاستفادهپذیر، متدهای کیفیت داده و خودکارسازی جریانهای کاری ارتقا دهند.
سرفصل ها و درس ها
بررسی آمادهسازی و تبدیل دادهها
Data Preparation and Transformation Review
معرفی تخصص
Specialization Introduction
معرفی دوره
Course Introduction
مرور مجدد DAG و Lineage در dbt
Revisiting dbt DAG and lineage
یکپارچگی وابستگیها و پاکسازی تبدیلهای تکراری
Dependency Integrity and Redundant Transformation Cleanup
بررسی DAG و حذف مدلهای زائد
Inspect DAG - Removing Redundant Models
اعتبارسنجی تبدیلهای بازنویسی شده
Validate Refactored Transformations
الگوهای پاکسازی و مدیریت انواع دادهها
Cleaning Patterns and Type Handling
استراتژیهای اعتبارسنجی در لایه Staging
Validation Strategies in Staging
بهکارگیری ماکروهای پاکسازی در stg_customers
Apply Reusable Cleaning Macros to stg_customers
اعتبارسنجی با تستهای dbt
Validate with dbt Tests
متریکهای مشتق شده و مدلهای KPI
Derived Metrics and KPI Models
تبدیلهای چند مرحلهای و منطق کسبوکار ماژولار
Multi-step/layered Transformations and Modular Business Logic
ساخت مدلهای KPI
Build KPI models
اتصال KPIها در یک مدل خلاصه مدیریتی
Join KPIs into an Executive Summary Model
تنظیمات عملکرد و بهینهسازی
Performance Tuning and Optimization
برنامههای اجرا و هزینه؛ دستور EXPLAIN در PostgreSQL
Execution Plans and Cost - EXPLAIN in PostgreSQL
بهینهسازی ایندکسها و Joinها برای کاهش اسکنها
Indexing and Join Optimization - Reducing Scans
پروفایل کردن کوئریها با EXPLAIN
Profile queries with EXPLAIN
بهینهسازی Joinها و فیلترها برای کاهش زمان اجرا
Optimize Joins and Filters for Runtime Gains
انتخابهای متریالیزاسیون و سبک-سنگین کردنها
Materialization Choices and Trade-offs
استفاده بهینه از Incremental، Partition و Ephemeral
Efficient incrementals, partitions, ephemerals
پیکربندی مجدد متریالیزاسیون در مدلهای کلیدی
Reconfigure Materializations on Key Models
مقایسه عملکرد قبل و بعد از بهینهسازی
Compare Performance Before vs After
مدیریت خطاها و اجرای مجدد؛ مفاهیم Freshness و SLA
Handling Failures and Reruns - Freshness and SLA Concepts
تفسیر لاگها و آرتیفکتهای dbt و استراتژیهای هشدار
Interpreting dbt logs and Artifacts - Alerting Strategies
بررسی لاگها و بازیابی اجراهای ناموفق
Review logs, Recover Failed Runs
بصریسازی و گزارشدهی
Visualization and Reporting
مرور کلی یکپارچهسازی BI و آمادهسازی مدلهای dbt
BI Integration Overview - Preparing dbt Models
نمایش نظرات