آموزش پاک‌سازی داده‌ها برای علوم داده موثر: جذب داده‌ها، شناسایی ناهنجاری‌ها، جایگذاری مقادیر و مهندسی ویژگی‌ها - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• واژگان و اصطلاحات Nomenclature

• انجام ۸۰ درصد باقی‌مانده از کار Doing the other 80% of the work

• رندرینگ بصری Visual rendering

• انواع آلودگی‌های داده‌ای Types of grime

• بهداشت داده‌ها Data hygiene

• پاک‌سازی داده‌ها برای علوم داده موثر Cleaning data for effective data science

1. جذب داده‌ها: فرمت‌های جدولی 1. Data Ingestion: Tabular Formats

• فرمت CSV CSV

• چرا صفحات گسترده (Spreadsheets) مضر هستند Spreadsheets considered harmful

• سایر فرمت‌ها Other formats

• مباحث تکمیلی Topics

2. جذب داده‌ها: فرمت‌های سلسله‌مراتبی 2. Data Ingestion: Hierarchical Formats

• پایگاه‌های داده NoSQL NoSQL databases

• فرمت XML XML

• فرمت JSON JSON

• مباحث تکمیلی Topics

3. جذب داده‌ها: تغییر کاربرد منابع داده 3. Data Ingestion: Repurposing Data Sources

• مباحث تکمیلی Topics

• فرمت‌های تصویری Image formats

• استخراج داده‌های وب (Web Scraping) Web scraping

• فرمت PDF Portable Document Format

4. شناسایی ناهنجاری‌ها 4. Anomaly Detection

• داده‌های پرت (Outliers) Outliers

• داده‌های با کدگذاری اشتباه Miscoded data

• مقادیر نگهبان (Sentinels) Sentinels

• زبان SQL SQL

• داده‌های گم‌شده Missing data

• مباحث تکمیلی Topics

• محدوده‌های ثابت Fixed bounds

• فرمت‌های سلسله‌مراتبی Hierarchical formats

5. کیفیت داده‌ها 5. Data Quality

• مباحث تکمیلی Topics

• روندهای سوگیری (Biasing Trends) Biasing trends

• داده‌های گم‌شده Missing data

• عدم تعادل در کلاس‌ها Class imbalance

• قانون بنفورد Benford’s law

• نرمال‌سازی و مقیاس‌بندی Normalization and scaling

6. جایگذاری مقادیر 6. Value Imputation

• جایگذاری بر اساس روند Trend imputation

• جایگذاری بر اساس مقادیر معمول Typical value imputation

• مباحث تکمیلی Topics

• نمونه‌برداری Sampling

جمع‌بندی Conclusion

• خلاصه نهایی Summary