آموزش بهبود کیفیت داده در تجزیه و تحلیل داده ها و یادگیری ماشین

سرفصل ها و درس ها

معرفی Introduction

• آیا این دوره برای شما مناسب است؟ Is this course right for you?

دانلود مطالب دوره (کد پایتون) Download course materials (Python code)

• کد را دانلود کنید Download the code

چرا کیفیت داده مهم است Why data quality matters

• خلاصه بخش Section summary

• دیتا هست یا داده؟؟ Is data or are data??

• در مورد منشاء و کیفیت داده ها On the origins and quality of data

• مشکلات احتمالی داده ها Potential problems with data

• GIGO (زباله داخل، زباله بیرون) GIGO (garbage in, garbage out)

• کیفیت داده ها بر تصمیم گیری های داده محور تأثیر می گذارد Data quality influences data-driven decisions

تضمین کیفیت داده بالا Ensuring high data quality

• خلاصه بخش Section summary

• مدیریت اطلاعات Data management

• اسناد داده ها Data documentation

• ممیزی داده ها Data audits

• آنچه در اسناد داده ها باید گنجانده شود What to include in data documentation

• مراحل پاکسازی داده ها Data cleaning phases

• قبل از دریافت داده، کیفیت را بهبود بخشید Improve quality before getting data

• بهبود کیفیت در حین جمع آوری داده ها Improve quality during data collection

• بهبود کیفیت پس از جمع آوری داده ها Improve quality after data collection

• بهبود کیفیت در طول تجزیه و تحلیل داده ها Improve quality during data analysis

• خطرات نتایج مغرضانه Risks of biased results

• چه زمانی کیفیت داده ها را به حداکثر برسانیم When to maximize data quality

ارزیابی کیفیت داده ها Assessing data quality

• خلاصه بخش Section summary

• ارزیابی کیفیت کیفی در مقابل کمی Qualitative vs. quantitative quality assessments

• ارزیابی کیفیت داده ها با چشم و الگوریتم Evaluating data quality by eye and by algorithm

• ارزیابی کیفی از طریق بازرسی بصری Qualitative assessments via visual inspection

• کد: تجسم توزیع داده ها Code: Visualizing data distributions

• ارزیابی های واریانس Variance assessments

• همبستگی ها و ماتریس های همبستگی Correlations and correlation matrices

• نرخ خطای داده Data error rates

• اندازه های نمونه Sample sizes

• کد: اندازه گیری کیفیت داده ها Code: Measuring data quality

تبدیل داده ها Data transformations

• خلاصه بخش Section summary

• مقیاس بندی Z-score Z-score scaling

• حداقل/حداکثر مقیاس Min/max scaling

• بنینگ (گرد کردن) Binning (rounding)

• نرمال سازی واحد Unit normalization

• تبدیل رتبه Rank transform

• تبدیل های غیر خطی Nonlinear transformations

• کد: تبدیل داده ها Code: Transforming data

اطلاعات پرت و گمشده Outliers and missing data

• خلاصه بخش Section summary

• موارد پرت چیست؟ What are outliers?

• روش z-score The z-score method

• روش z-score اصلاح شده The modified z-score method

• برخورد با داده های از دست رفته Dealing with missing data

• کد: برخورد با داده های بد یا از دست رفته Code: Dealing with bad or missing data

یک دانشمند داده با کیفیت بالا باشید Be a high-quality data scientist

• خلاصه بخش Section summary

• همگام با تحولات علم داده Keeping up with data science developments

• آیا می توانید همه چیز را بدانید؟ Can you know everything?

• آنچه دانشمندان داده می خواهند What data scientists want

جایزه Bonus

• مواد جایزه Bonus material