آموزش مبانی پردازش زبان طبیعی (NLP) - آخرین آپدیت

مقدمه‌ای بر NLP و زبان‌شناسی Introduction to NLP and Lingustics

• معرفی تخصص Specialization Introduction

• معرفی دوره Course Introduction

• NLP چیست؟ What is NLP?

• طبقه‌بندی و نحوه عملکرد NLP Classification and Working of NLP

• تاریخچه توسعه NLP History of NLP Development

• چالش‌های کلیدی: ابهام، تغییرات و سوگیری Key Challenges: Ambiguity, Variation, Bias

• بررسی بیشتر چالش‌های NLP Further Exploration of NLP Challenges

• کاربردهای واقعی NLP در دنیای امروز Real-World NLP Applications

• رویکردهای مبتنی بر قانون در مقابل رویکردهای آماری Rule-Based vs. Statistical Approaches

• ریخت‌شناسی: کلمات، ریشه‌ها و لِماها Morphology: Words, Stems, Lemmas

• ساختاردهی جملات Sentence Structuring

• تجزیه نحوی (Parsing) Parsing

• معناشناسی در NLP: درک معنا و متن Semantics in NLP: Understanding Meaning and Context

• کاربردشناسی: متن و معنای محاوره‌ای Pragmatics: Context and Conversational Meaning

• تحلیل گفتمان در NLP Discourse Analysis in NLP

• مراحل گردش کار در یک پروژه NLP Steps in an NLP Workflow

• پاک‌سازی اولیه متن: کلمات توقف، کوچک‌سازی حروف و توکن‌بندی Basic Text Cleaning: Stopwords, Lowercasing, Tokenization

• مقدمه‌ای بر Word Embeddings: کدگذاری One Hot Introduction to Word Embeddings: One-Hot Encoding

• مدیریت نویزها و کاراکترهای خاص Handling Noise and Special Characters

• دموی عملی: کوچک‌سازی، حذف کلمات توقف و توکن‌بندی Demonstration: Lowercasing, Stopword Removal and Tokenization

• دموی عملی: کدگذاری One Hot Demonstration: One-Hot Encoding

• خلاصه مقدمه‌ای بر NLP و زبان‌شناسی Summary of Introduction to NLP and Linguistics

پردازش متن و مهندسی ویژگی Text Processing and Feature Engineering

• استفاده از Regex برای NLP Using Regex for NLP

• انواع توکن‌بندی: توکن‌بندی زیر-کلمه (Subword) Types of Tokenization: Subword tokenization

• انواع توکن‌بندی: توکن‌بندی کاراکتری Types of Tokenization: Character tokenization

• مدیریت علائم نگارشی و کاراکترهای خاص Handling Punctuation and Special Characters

• تکنیک‌های نرمال‌سازی: اکسان‌ها، یونیکد و کاراکترهای خاص Normalization Techniques: Accents, Unicode, Special Characters

• دموی عملی: توکن‌بندی کلمات Demonstration: Word Tokenization

• دموی عملی: توکن‌بندی زیر-کلمه Demonstration: Subword Tokenization

• دموی عملی: نرمال‌سازی Demonstration: Normalization

• ریشه‌یابی (Stemming) مبتنی بر قانون Rule Based Stemming

• استمِر پورتر (Porter Stemmer) Porter Stemmer

• استمِر اسنوبال (Snowball Stemmer) Snowball Stemmer

• استمِر لنکستر (Lancaster Stemmer) Lancaster Stemmer

• استمرهای Lovins، Krovetz و ریشه‌یابی آگاه به متن Lovins Stemmer, Krovetz Stemmer and Context-Aware Stemming

• مقدمه‌ای بر لمانتاسیون (Lemmatization) Introduction to Lemmatization

• کاربردهای لمانتاسیون Applications of Lemmatization

• لمانتاسیون‌های مبتنی بر قانون، دیکشنری، ترکیبی و یادگیری ماشین Rule-Based, Dictionary, Hybrid and Machine Learning Based Lemmatizations

• لمانتاسیون: رویکردهای مختلف Lemmatization: Different Approaches

• ریشه‌یابی مبتنی بر قانون و استمر پورتر Rule Based Stemming and Porter Stemmer

• بررسی Snowball، Lancaster و Lovins Snowball, Lancaster and Lovins

• دموی عملی: تکنیک‌های لمانتاسیون Demonstration: Lemmatization Techniques

• دموی عملی: Text Blob، WordNet و لمانتایزر عصبی با Stanza Demonstration: Text Blob, WordNet, and Neural Lemmatizer using Stanza

• برچسب‌گذاری اجزای سخن (POS Tagging) Part-of-Speech (POS) Tagging

• نمایش متن: کیسه کلمات (Bag of Words) Text Representation: Bag of Words (BoW)

• نمایش متن: TF-IDF Text Representation: TF-IDF

• جاسازی کلمات: Word2Vec Word Embeddings: Word2Vec

• جاسازی کلمات: GloVe Word Embeddings: GloVe

• جاسازی کلمات: FastText Word Embeddings: FastText

• استخراج ویژگی با استفاده از BoW و TF-IDF Feature extraction using Bag of Words and TF-IDF

• مدیریت مجموعه‌داده‌های نویزی (غلط‌های تایپی، ایموجی‌ها، اختصارات) Handling Noisy Datasets (Typos, Emojis, Abbreviations)

• پردازش متون ترکیبی (چندزبانه) Processing Code-Mixed (Multilingual) Text

• پیش‌پردازش متن در زمینه‌های تخصصی (پزشکی، حقوقی، مالی) Text Preprocessing in Domain-Specific Contexts (e.g., Medical, Legal, Financial)

• دموی عملی: مدیریت نویزها، غلط‌های تایپی و ایموجی‌ها Demonstration: Handling Noisy Datasets - Typos, Emojis and Abbreviations

• دموی عملی: پردازش متون چندزبانه Demonstration: Processing Code-Mixed (Multilingual) Text

• طبقه‌بندی متن در NLP با استفاده از مدل‌های رایج یادگیری ماشین Text Classification in NLP using Common ML Models

• مدل‌های رایج ML: Naïve Bayes و SVM Common ML Models: Naïve Bayes, SVM

• انتخاب ویژگی برای طبقه‌بندی Feature Selection for Classification

• کاربردها و چالش‌های انتخاب ویژگی Applications and Challenges of Feature Selection

• معیارهای ارزیابی: دقت (Accuracy) و صحت (Precision) Peformance Metrics: Accuracy and Precision

• معیارهای ارزیابی: فراخوانی (Recall) و امتیاز F1 Peformance Metrics: Recall and F1 Score

• یادگیری نظارت شده برای طبقه‌بندی متن Supervised Learning for Text Classification

• دموی طبقه‌بندی متن با استفاده از مجموعه داده توییترهای کووید-۱۹ Text Classification Demo using COVID-19 Tweets Dataset

• استخراج ویژگی، آموزش و ارزیابی عملکرد مدل Feature Extraction, Train and Evaluate Model Performance

• مقایسه مدل‌ها برای دستیابی به بهترین عملکرد Comparing Models for Best Performance

• خلاصه پردازش متن و مهندسی ویژگی Summary of Text Processing and Feature Engineering

شناسایی موجودات نام‌دار (NER) و تجزیه نحوی Named Entity Recognition (NER) & Parsing

• NER چیست و کجا استفاده می‌شود؟ What is NER and where It's Used?

• مدل‌های پیش‌آموزش‌دیده NER: SpaCy و StanfordNLP Pretrained NER Models: SpaCy, StanfordNLP

• مدل‌های NER مبتنی بر ترنسفورمر (BERT NER و رویکردهای RoBERTa) Transformer-Based NER Models (BERT-NER, RoBERTa-Based Approaches)

• چالش‌های NER: ابهام و تداخل موجودات Challenges in NER: Ambiguity, Overlapping Entities

• الگوریتم‌های تجزیه نحوی: Earley و CYK Parsing Algorithms: Earley, CYK

• تجزیه وابستگی با SpaCy و StanfordNLP Dependency Parsing with SpaCy & StanfordNLP

• ساخت درخت نحو در پایتون Building a Syntax Tree in Python

• دموی عملی: آماده‌سازی داده‌ها برای تجزیه نحوی Demonstration: Data Preparation for Parsing

• دموی عملی: تجزیه ساختاری و وابستگی Demonstration: Constituency and Dependency Parsing

• تکنیک‌های استخراج رابطه Relation Extraction Techniques

• حل ارجاعات (ردیابی موجودات در متن) Coreference Resolution (Tracking Entities in Text)

• خلاصه‌سازی متن: استخراجی و انتزاعی Text Summarization: Extractive & Abstractive

• خلاصه شناسایی موجودات نام‌دار (NER) و تجزیه نحوی Summary of Named Entity Recognition (NER) & Parsing

جمع‌بندی دوره و ارزیابی Course Wrap-Up and Assessment

• جمع‌بندی دوره: مبانی پردازش زبان طبیعی Course Summary: Natural Language Processing Essentials