آموزش پردازش زبان طبیعی (NLP) - آخرین آپدیت

مقدمه دوره Course Introduction

• مقدمه دوره Course Introduction

• ملاقات با مدرس: پروفسور دکتر چتانا گاوانکار Meet Your Instructor: Prof. Dr. Chetana Gavankar

آشنایی با پردازش زبان طبیعی Introduction to Natural Language Processing

• تعریف NLP NLP Definition

• کاربردهای NLP NLP Applications

• چرا NLP دشوار است؟ Why NLP is Hard?

• درک زبان طبیعی (NLU) Natural Language Understanding

• سطوح درک زبان Levels of Language Understanding

• تولید زبان طبیعی (NLG) Natural Language Generation

• سازماندهی سیستم NLP Organisation of NLP System

• ارزیابی درونی در مقابل بیرونی Intrinsic vs. Extrinsic Evaluation

• چالش‌ها در ارزیابی Challenges in Evaluation

• مرور ابزارهای NLP NLP Tools Overview

• دموی ابزارهای NLP Demo of NLP Tools

• توسعه اپلیکیشن پایه NLP با استفاده از ابزارها Basic NLP Application Development Using NLP Tools

• جمع‌بندی ماژول Module Wrap-Up

پیش‌پردازش و تحلیل متن در NLP Text Preprocessing and Analysis in NLP

• عبارات با قاعده (Regular Expressions) Regular Expressions

• کلمات و پیکره‌ها (Corpora) Words and Corpora

• بخش‌بندی جملات Sentence Segmentation

• دموی کد بخش‌بندی Code Demo Segmentation

• توکن‌گذاری (Tokenization) Tokenization

• روش‌های توکن‌گذاری Tokenization Methods

• دموی کد توکن‌گذاری Code Demo Tokenization

• نرمال‌سازی Normalization

• دموی کد نرمال‌سازی Code Demo Normalization

• ریشه‌یابی (Stemming) Stemming

• دموی کد ریشه‌یابی Code Demo Stemming

• لِماتیزاسیون (Lemmatization) Lemmatization

• دموی کد لِماتیزاسیون Code Demo Lemmatization

• جمع‌بندی ماژول Module Wrap-Up

معناشناسی برداری Vector Semantics

• معناشناسی لغوی Lexical Semantics

• چرا بردارها؟ Why Vectors?

• کلمات و بردارها Word and Vectors

• مدل کیسه کلمات (Bag of Words) Bag of Words

• محاسبه شباهت کلمات Computing Word Similarity

• شباهت کسینوسی Cosine Similarity

• مثال شباهت کسینوسی Cosine Similarity Example

• بسامد کلمه (Term Frequency) Term Frequency

• بسامد معکوس اسناد (IDF) Inverse Document Frequency

• TF-IDF TF-IDF

• دموی کلمات به عنوان بردار Demo of Words as Vectors

• دموی TF-IDF Demo of TF-IDF

• جمع‌بندی ماژول Module Wrap-Up

جاسازی کلمات (Word Embedding) Word Embedding

• Word2Vec Word2Vec

• نمایش کلمه One-Hot ساده Basic 1-Hot Word Representation

• نمایش کلمات مبتنی بر ویژگی Feature Based Word Representations

• مقدمه‌ای بر الگوریتم Skip-gram Skip Gram Algorithm Introduction

• احتمالات Skip-gram Skip Gram Probabilities

• رویکرد نمونه‌برداری منفی Skip-gram (SGNS) Skip-Gram Negative Sampling (SGNS) Approach

• مثال داده‌های آموزشی منفی در Skip-gram Skip-Gram Negative Training Data Example

• تابع زیان Log Loss در SGNS SGNS Log Loss Function

• مشتق تابع زیان SGNS Derivative of SGNS Loss Function

• مثال SGNS بخش اول SGNS Example Part 1

• مثال SGNS بخش دوم SGNS Example Part 2

• مدل کیسه کلمات پیوسته (CBOW) Continuous Bag of Words (CBOW)

• جمع‌بندی ماژول Module Wrap Up

مدل‌سازی زبان N-gram N-gram Language Modeling

• مدل‌سازی زبان چیست؟ What is Language Modeling?

• کاربردهای مدل‌سازی زبان Language Modelling Applications

• چگونه یک مدل زبانی بسازیم How to Build a Language Model

• فرض مارکوف Markov Assumption

• مدل‌های زبانی N-gram N-gram Language Models

• محاسبات Bi-gram Bi-gram Computation

• احتمالات خام Raw Probabilities

• خطرات بیش‌برازش (Overfitting) Perils of Overfitting

• هموارسازی لاپلاس Laplace Smoothing

• درون‌یابی و عقب‌نشینی (Interpolation & Backoff) Interpolation & Backoff

• مدل چقدر خوب است؟ How Good is the Model?

• ارزیابی بیرونی Extrinsic Evaluation

• Perplexity و مثال آن Perplexity & It's Example

• دموی ماژول Module Demo

• جمع‌بندی ماژول Module Wrap-Up

شبکه‌های عصبی و مدل‌های زبان عصبی Neural Networks and Neural Language Models

• واحد شبکه عصبی Neural Network Unit

• توابع فعال‌ساز غیرخطی Non-Linear Activation Functions

• پرسپترون با مثال Perceptron with Examples

• پرسپترون چندلایه Multi-Layer Perceptron

• تابع Softmax با مثال Softmax Function with Example

• شبکه عصبی تمام‌متصل (Feed Connected) Feed Connected Neural Network

• شبکه پیش‌خور (Feedforward) Feedforward Network

• الگوریتم رفت (Forward) Forward Algorithm

• الگوریتم پس‌انتشار (Backpropagation) Backpropagation Algorithm

• آموزش شبکه عصبی Training Neural Network

• مدل‌سازی زبان عصبی Neural Language Modeling

• آموزش مدل زبان عصبی Training Neural Language Model

• مقایسه N-gram و مدل زبان عصبی N-gram Versus Neural Language Model

• دموی مدل زبان عصبی Neural LM Demo

• LLM چیست؟ What is LLM?

• موارد استفاده از LLM LLM Use Cases

• جمع‌بندی ماژول Module Wrap Up

برچسب‌گذاری نقش کلمات (POS Tagging) Part of Speech Tagging

• طرح کلی ماژول Outline of the Module

• برچسب‌گذاری نقش کلمات (POS) چیست؟ What is POS Tagging?

• چالش‌ها در POS Tagging Challenges in POS Tagging

• مجموعه برچسب‌های POS POS Tagsets

• زنجیره مارکوف Markov Chain

• مدل مارکوف پنهان (HMM) Hidden Markov Model

• مدل مارکوف پنهان به عنوان برچسب‌گذار POS Hidden Markov Model as POS Tagger

• الگوریتم ویتربی (Viterbi) Viterbi Algorithm

• مثال الگوریتم ویتربی Viterbi Algorithm - Example

• مرور رگرسیون لجستیک Logistic Regression - Overview

• مرور رگرسیون لجستیک چندجمله‌ای Multinomial Logistic Regression - Overview

• مدل‌های مارکوف با حداکثر آنتروپی (MEMM) Maximum Entropy Markov Models (MEMM)

• جمع‌بندی ماژول Module Wrap Up

تجزیه و کاربردها Parsing and Applications

• طرح کلی ماژول Outline of the Module

• مقدمه‌ای بر دستور زبان‌های مستقل از متن (CFGs) Introduction to Context-Free Grammars (CFGs)

• ساختار عبارت و اجزا Constituency and Phrase Structure

• ابهام در دستور زبان Ambiguity in Grammar

• فرم نرمال چامسکی (CNF) و نرمال‌سازی دستور زبان Chomsky Normal Form (CNF) and Grammar Normalisation

• درخت‌های تجزیه و دستور زبان تجربی Treebanks and Empirical Grammar

• الگوریتم CKY CKY Algorithm

• آموزش گام‌به‌گام الگوریتم CKY CKY Algorithm - Walkthrough

• بازیابی درخت تجزیه از جدول CKY Parse Tree Recovery From CKY Table

• تجزیه اجزا مبتنی بر شبکه عصبی Neural Span-based Constituency Parsing

• تجزیه وابستگی (Dependency Parsing) چیست؟ What is Dependency Parsing?

• فرمالیسم وابستگی Dependency Formalism

• روابط وابستگی جهانی Universal Dependency Relations

• تجزیه وابستگی مبتنی بر انتقال Transition-Based Dependency Parsing

• آموزش گام‌به‌گام تجزیه وابستگی مبتنی بر انتقال Transition-Based Dependency Parsing - Walkthrough

• ایجاد یک Oracle Creating an Oracle

• تجزیه وابستگی مبتنی بر گراف Graph-Based Dependency Parsing

• جمع‌بندی ماژول Module Wrap Up

معنای کلمات، رفع ابهام و وب معنایی Word Senses, Disambiguation, and the Semantic Web

• طرح کلی ماژول Outline of the Module

• معنای کلمه چیست؟ What is a Word Sense?

• هم‌نامی در مقابل چندمعنایی Homonymy vs Polysemy

• روابط معنایی Sense Relations

• مقدمه‌ای بر WordNet و مجموعه‌های معنایی (Synsets) Introduction to WordNet and Synsets

• روابط در WordNet Relations in WordNet

• ناوبری در سلسله‌مراتب و ساختارهای گراف WordNet Navigating WordNet Hierarchies and Graph Structures

• رفع ابهام معنایی کلمه (WSD) چیست؟ What is Word Sense Disambiguation?

• WSD تحت نظارت Supervised WSD

• WSD مبتنی بر دانش: الگوریتم Lesk Knowledge-Based WSD: Lesk Algorithm

• از وب نحوی به وب معنایی: مشکل چیست؟ From Syntactic Web to Semantic Web: What's the Problem?

• چشم‌انداز وب معنایی: یکپارچه‌سازی و خودکارسازی داده‌ها Semantic Web Vision: Data Integration and Automation

• هستی‌شناسی‌ها (Ontologies) Ontologies

• زبان‌های هستی‌شناسی و لایه‌های آن‌ها Ontology Languages and Their Layers

• گراف دانش چیست؟ What is a Knowledge Graph?

• کاربردها در NLP Applications in NLP

• جمع‌بندی ماژول Module Wrap Up

پیامدهای اخلاقی Ethical Implications

• RNNها چیستند و چرا نقص دارند؟ What RNNs Are and Why They Fall Short

• چرا به Attention نیاز داریم؟ Why Do We Need Attention

• توضیح مکانیزم Attention The Attention Mechanism Explained

• از Attention تا معماری ترنسفورمر From Attention to Transformer Architecture

• ساختار سطح بالای ترنسفورمر High-Level Structure of the Transformer

• جزئیات Self-Attention Self-Attention in Detail

• Multi-Head Attention Multi-Head Attention

• کدگذاری‌های موقعیتی (Positional Encodings) Positional Encodings

• گونه‌های محبوب ترنسفورمر Popular Transformer Variants

• خلاصه‌سازی متن چیست و چه کاربردی دارد؟ What Text Summarisation is and its Uses

• انواع خلاصه‌سازی متن Types of Text Summarisation

• خلاصه‌سازی طبیعی متن Natural Text Summarisation

• مراحل خلاصه‌سازی متن Stages of Text Summarisation

• دموی خلاصه‌سازی متن Demo of Text Summarisation

• مسائل اخلاقی در NLP Ethical Issues in NLP

• طراحی اخلاقی اپلیکیشن‌های NLP Ethical Design of NLP Applications

آزمون پایان دوره End Term Examination