پردازش متن با آموزش پایتون

سرفصل ها و درس ها

مقدمه Introduction

• نیاز به مهارت های استخراج متن در علم داده The need for text mining skills in data science

1. استخراج متن 1. Text Mining

• متن کاوی امروز Text mining today

• مفاهیم اسناد Document concepts

• مفاهیم پارسی Corpus concepts

• معرفی کتابخانه NLTK Introduction to the NLTK library

• تنظیم محیط Setting up the environment

2. خواندن متن 2. Reading Text

• خواندن پرونده های خام Reading raw files

• خواندن فایلها با دستگاه خواننده Reading files with corpus reader

• کشف جسد Exploring the corpus

• تجزیه و تحلیل جنازه Analyzing the corpus

3. پاکسازی و استخراج متن 3. Text Cleansing and Extraction

• نشانه گذاری Tokenization

• پاک کردن متن Cleansing text

• حذف کلمه را متوقف کنید Stop word removal

• اشتعال Stemming

• لمس کردن Lemmatization

4. پردازش پیشرفته متن 4. Advanced Text Processing

• ساخت n-گرم Building n-grams

• برچسب زدن بخش هایی از گفتار Tagging parts of speech

• فرکانس سند فرکانس معکوس مدت (TF-IDF) Term frequency-inverse document frequency (TF-IDF)

• ساخت یک ماتریس TF-IDF Building a TF-IDF matrix

5- بهترین روشها 5. Best Practices

• ذخیره متن Storing text

• پردازش داده های متنی Processing text data

• پردازش مقیاس پذیر داده های متن Scalable processing of text data

نتیجه Conclusion

• مراحل بعدی Next steps