آزمون کیفیت داده آزاد شد: از تئوری تا اجرا - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• این دوره برای چه کسانی است؟ Who is this course for?

• پیش نیازهای دوره Prerequisite for the course

• ساختار دوره Course structure

• تمرین همراه با من: منابع Practice Along with Me: Resources

اصول کیفیت داده و ابعاد اندازه گیری Fundamentals of Data Quality & Measurement Dimensions

• کیفیت داده چیست؟ What is Data Quality?

• اهمیت کیفیت داده Importance of Data Quality

• ابعاد اندازه گیری کیفیت داده Data Quality Measurement Dimensions

• دقت Accuracy

• کامل بودن Completeness

• سازگاری Consistency

• به موقع بودن Timeliness

• اعتبار Validity

• منحصر به فرد بودن Uniqueness

• آزمون: ابعاد اندازه گیری کیفیت داده Quiz : Data Quality Measurement Dimensions

• خلاصه Summary

مقدمه ای بر تست کیفیت داده Introduction to Data Quality Testing

• تست کیفیت داده چیست؟ What is Data Quality Testing?

• اهمیت تست کیفیت داده Importance of Data Quality Testing

• تفاوت: تست داده در مقابل تست کیفیت داده Difference : Data Testing vs Data Quality Testing

• ابزارهای تست کیفیت داده Data Quality Testing Tools

• خط لوله داده معمولی با ادغام تست کیفیت Typical Data Pipeline with Quality Testing Integration

• بهترین شیوه ها: تست کیفیت داده Best Practices : Data Quality Testing

• خلاصه Summary

شروع کار با Great Expectations (GX Core) Getting Started with Great Expectations (GX Core)

• چرا Great Expectations (GX)؟ Why Great Expectations (GX)?

• معرفی کتابخانه Great Expectations Introduction to the Great Expectations Library

• GX Core: بلوک های سازنده GX Core : Building Blocks

• نصب پایتون و Jupyter Notebook Python & Jupyter Notebook Installation

• نصب و راه اندازی Great Expectations Installing and Setting Up Great Expectations

• ایجاد اولین گردش کار GX Core: قسمت 1 Creating First GX Core workflow : Part 1

• ایجاد اولین گردش کار GX Core: قسمت 2 Creating First GX Core workflow : Part 2

• تفسیر نتیجه اعتبارسنجی Interpreting Validation Result

• سفارشی سازی نتیجه اعتبارسنجی: قسمت 1 Customising Validation Result : Part 1

• سفارشی سازی نتیجه اعتبارسنجی: قسمت 2 Customising Validation Result : Part 2

• آزمون اصول GX Core GX Core Fundamentals Quiz

• خلاصه Summary

بررسی عمیق انتظارات Deep Dive into Expectations

• ایجاد انتظارات پارامتری شده: قسمت 1 Creating Parameterised Expectations : Part 1

• ایجاد انتظارات پارامتری شده: قسمت 2 Creating Parameterised Expectations : Part 2

• انتظارات شرطی: قسمت 1 Conditional Expectations : Part 1

• انتظارات شرطی: قسمت 2 Conditional Expectations : Part 2

• انتظارات سفارشی: قسمت 1 Custom Expectations : Part 1

• انتظارات سفارشی: قسمت 2 Custom Expectations : Part 2

• کاوش در گالری انتظارات - سطح جدول Exploring Expectations Gallery - Table Level

• کاوش در گالری انتظارات - سطح ستون Exploring Expectations Gallery - Column Level

• کاوش در گالری انتظارات - تجمع ستون Exploring Expectations Gallery - Column Aggregate

• کاوش در گالری انتظارات - توزیع ستون Exploring Expectations Gallery - Column Distribution

• کاوش در گالری انتظارات - مبتنی بر مجموعه Exploring Expectations Gallery - Set Based

• خلاصه Summary

کاوش در اقدامات Exploring Actions

• معرفی اقدامات Introduction to Actions

• ادغام اقدام SendEmail در گردش کار Integrating SendEmail Action in Workflow

• اقدامات داخلی موجود در GX Core Built in Actions available in GX Core

• خلاصه Summary

افزایش دید کیفیت داده با Data Docs Enhancing Data Quality Visibility with Data Docs

• معرفی Data Docs Introduction to Data Docs

• ادغام Data Docs در گردش کار Integrating Data Docs in Workflow

• بررسی Data Docs تولید شده Reviewing generated Data Docs

• خلاصه Summary

مفاهیم پیشرفته Advanced Concepts

• مقیاس بندی تست با استفاده از دسته های متعدد و پایگاه داده Sqlite Scaling Testing using Multiple Batches & Sqlite Database

• منابع داده متعدد در یک گردش کار واحد Multiple Datasources in a Single Workflow

• انتظار SQL سفارشی Customised SQL Expectation

• Data Context پایدار Persistant Data Context

• نکته: نوت بوک برای دو سخنرانی بعدی Note : Notebook for next two lectures

• Data Context پایدار - بررسی ساختار فایل Persistant Data Context - File Structure Walkthrough

• بارگیری مجدد Data Context Reloading Data Context

• مدیریت داده های حساس Manage Sensitive Data

• قطعه کد - مدیریت اسرار Code Snippet - Managing Secrets

• بهترین شیوه ها Best Practices

• خلاصه Summary

نتیجه گیری و گام های بعدی Conclusion and Next Steps

• گام های بعدی Next Steps

• متشکرم! Thank You!