پاکسازی داده ها در آموزش ضروری پایتون

سرفصل ها و درس ها

معرفی Introduction

• چرا داده های پاک مهم هستند؟ Why is clean data important?

• آنچه باید بدانید What you should know

1. داده های بد 1. Bad Data

• انواع خطاها Types of errors

• ارزش از دست رفته Missing values

• ارزش های بد Bad values

• تکراری Duplicates

• فصلنامه Chapter Quiz

2. علل خطاها 2. Causes of Errors

• خطاهای انسانی Human errors

• خطاهای ماشین Machine errors

• خطاهای طراحی Design errors

• چالش: طراحی رابط کاربری Challenge: UI design

• راه حل: طراحی رابط کاربری Solution: UI design

• فصل مسابقه Chapter Quiz

3. تشخیص خطاها 3. Detecting Errors

• طرحواره ها Schemas

• اعتبار سنجی Validation

• یافتن داده های مفقود شده Finding missing data

• دانش حوزه Domain knowledge

• زیر گروه ها Subgroups

• چالش: داده های بد را پیدا کنید Challenge: Find bad data

• راه حل: داده های بد را پیدا کنید Solution: Find bad data

• فصل مسابقه Chapter Quiz

4. جلوگیری از خطاها 4. Preventing Errors

• قالب های سریال سازی Serialization formats

• امضای دیجیتالی Digital signatures

• خطوط داده و اتوماسیون Data pipelines and automation

• معاملات Transactions

• سازماندهی داده ها و داده های مرتب Data organization and tidy data

• معیارهای کیفیت پردازش و داده ها Process and data quality metrics

• چالش: ETL Challenge: ETL

• راه حل: ETL Solution: ETL

• فصل مسابقه Chapter Quiz

5. رفع خطاها 5. Fixing Errors

• تغییر نام زمینه ها Renaming fields

• رفع انواع Fixing types

• پیوستن و تقسیم داده ها Joining and splitting data

• حذف اطلاعات بد Deleting bad data

• پر کردن مقادیر از دست رفته Filling missing values

• تغییر شکل داده ها Reshaping data

• چالش: درآمد کارگاه Challenge: Workshop earnings

• راه حل: درآمد کارگاه Solution: Workshop earnings

• فصلنامه Chapter Quiz

نتیجه Conclusion

• مراحل بعدی Next steps