پاکسازی داده ها در آموزش ضروری پایتون

سرفصل ها و درس ها

معرفی Introduction

• استفاده از GitHub Codespaces با این دوره Using GitHub Codespaces with this course

• چرا داده های پاک مهم هستند؟ Why is clean data important?

• آنچه شما باید بدانید What you should know

1. داده های بد 1. Bad Data

• ارزش های بد Bad values

• موارد تکراری Duplicates

• ارزش از دست رفته Missing values

• انواع خطاها Types of errors

2. علل خطاها 2. Causes of Errors

• راه حل: طراحی UI Solution: UI design

• خطاهای ماشین Machine errors

• چالش: طراحی UI Challenge: UI design

• خطاهای انسانی Human errors

• خطاهای طراحی Design errors

3. تشخیص خطاها 3. Detecting Errors

• راه حل: داده های بد را پیدا کنید Solution: Find bad data

• اعتبار سنجی Validation

• چالش: داده های بد را پیدا کنید Challenge: Find bad data

• دانش دامنه Domain knowledge

• زیر گروه ها Subgroups

• طرحواره ها Schemas

• یافتن داده های از دست رفته Finding missing data

4. جلوگیری از خطاها 4. Preventing Errors

• فرمت های سریال سازی Serialization formats

• چالش: ETL Challenge: ETL

• معاملات Transactions

• امضای دیجیتالی Digital signature

• معیارهای کیفیت فرآیند و داده Process and data quality metrics

• راه حل: ETL Solution: ETL

• سازماندهی داده ها و داده های مرتب Data organization and tidy data

• خطوط لوله داده و اتوماسیون Data pipelines and automation

5. رفع خطاها 5. Fixing Errors

• چالش: درآمد کارگاهی Challenge: Workshop earnings

• حذف داده های بد Deleting bad data

• انواع تعمیر Fixing types

• پر کردن مقادیر از دست رفته Filling missing values

• راه حل: درآمد کارگاهی Solution: Workshop earnings

• پیوستن و تقسیم داده ها Joining and splitting data

• تغییر شکل داده ها Reshaping data

• تغییر نام فیلدها Renaming fields

نتیجه Conclusion

• مراحل بعدی Next steps