آموزش پردازش زبان طبیعی (NLP) - آخرین آپدیت

مقدمه‌ای بر پردازش زبان طبیعی Introduction to Natural Language Processing

• مقدمه دوره Course Introduction

• آشنایی با مدرس: پروفسور دکتر چتانا گاوانکار Meet Your Instructor: Prof. Dr. Chetana Gavankar

• تعریف NLP NLP Definition

• کاربردهای NLP NLP Applications

• چرا NLP دشوار است؟ Why NLP is Hard?

• درک زبان طبیعی (NLU) Natural Language Understanding

• سطوح درک زبان Levels of Language Understanding

• تولید زبان طبیعی (NLG) Natural Language Generation

• ساختار سیستم NLP Organisation of NLP System

• ارزیابی درونی در مقابل بیرونی Intrinsic vs. Extrinsic Evaluation

• چالش‌ها در ارزیابی Challenges in Evaluation

• مروری بر ابزارهای NLP NLP Tools Overview

• نمایش عملی ابزارهای NLP Demo of NLP Tools

• توسعه برنامه کاربردی پایه با استفاده از ابزارهای NLP Basic NLP Application Development Using NLP Tools

• جمع‌بندی فصل Module Wrap-Up

پیش‌پردازش و تحلیل متن در NLP Text Preprocessing and Analysis in NLP

• عبارات باقاعده (Regular Expressions) Regular Expressions

• کلمات و مجموعه‌متن‌ها (Corpora) Words and Corpora

• قطعه‌بندی جملات Sentence Segmentation

• دموی کد قطعه‌بندی Code Demo Segmentation

• توکن‌گذاری (Tokenization) Tokenization

• روش‌های توکن‌گذاری Tokenization Methods

• دموی کد توکن‌گذاری Code Demo Tokenization

• نرمال‌سازی Normalization

• دموی کد نرمال‌سازی Code Demo Normalization

• ریشه‌یابی (Stemming) Stemming

• دموی کد ریشه‌یابی Code Demo Stemming

• لِماتیزاسیون (Lemmatization) Lemmatization

• دموی کد لِماتیزاسیون Code Demo Lemmatization

• جمع‌بندی فصل Module Wrap-Up

معناشناسی برداری Vector Semantics

• معناشناسی واژگانی Lexical Semantics

• چرا بردارها؟ Why Vectors?

• کلمات و بردارها Word and Vectors

• مدل کیسه کلمات (Bag of Words) Bag of Words

• محاسبه شباهت کلمات Computing Word Similarity

• شباهت کسینوسی Cosine Similarity

• مثالی از شباهت کسینوسی Cosine Similarity Example

• فراوانی ترم (Term Frequency) Term Frequency

• معکوس فراوانی اسناد (IDF) Inverse Document Frequency

• روش TF-IDF TF-IDF

• دموی کلمات به عنوان بردار Demo of Words as Vectors

• دموی TF-IDF Demo of TF-IDF

• جمع‌بندی فصل Module Wrap-Up

جاسازی کلمات (Word Embedding) Word Embedding

• روش Word2Vec Word2Vec

• نمایش ساده کلمه (One-Hot Encoding) Basic 1-Hot Word Representation

• نمایش‌های کلمه مبتنی بر ویژگی Feature Based Word Representations

• مقدمه‌ای بر الگوریتم Skip-gram Skip Gram Algorithm Introduction

• احتمالات Skip-gram Skip Gram Probabilities

• رویکرد نمونه‌برداری منفی در Skip-gram (SGNS) Skip-Gram Negative Sampling (SGNS) Approach

• مثالی از داده‌های آموزشی منفی در SGNS Skip-Gram Negative Training Data Example

• تابع زیان Log Loss در SGNS SGNS Log Loss Function

• مشتق تابع زیان SGNS Derivative of SGNS Loss Function

• مثال SGNS بخش اول SGNS Example Part 1

• مثال SGNS بخش دوم SGNS Example Part 2

• مدل کیسه کلمات پیوسته (CBOW) Continuous Bag of Words (CBOW)

• جمع‌بندی فصل Module Wrap Up

مدل‌سازی زبان N-gram N-gram Language Modeling

• مدل‌سازی زبان چیست؟ What is Language Modeling?

• کاربردهای مدل‌سازی زبان Language Modelling Applications

• چگونه یک مدل زبانی بسازیم How to Build a Language Model

• فرض مارکوف Markov Assumption

• مدل‌های زبانی N-gram N-gram Language Models

• محاسبات Bi-gram Bi-gram Computation

• احتمالات خام Raw Probabilities

• خطرات بیش‌برازش (Overfitting) Perils of Overfitting

• هموارسازی لاپلاس Laplace Smoothing

• درون‌یابی و عقب‌گرد (Interpolation & Backoff) Interpolation & Backoff

• مدل چقدر خوب است؟ How Good is the Model?

• ارزیابی بیرونی Extrinsic Evaluation

• سرگشتگی (Perplexity) و مثال آن Perplexity & It's Example

• دموی فصل Module Demo

• جمع‌بندی فصل Module Wrap-Up

شبکه‌های عصبی و مدل‌های زبان عصبی Neural Networks and Neural Language Models

• واحد شبکه عصبی Neural Network Unit

• توابع فعال‌ساز غیرخطی Non-Linear Activation Functions

• پرسپترون با مثال Perceptron with Examples

• پرسپترون چندلایه Multi-Layer Perceptron

• تابع Softmax با مثال Softmax Function with Example

• شبکه عصبی با اتصال مستقیم Feed Connected Neural Network

• شبکه پیش‌خور (Feedforward) Feedforward Network

• الگوریتم رفت (Forward Algorithm) Forward Algorithm

• الگوریتم پس‌انتشار (Backpropagation) Backpropagation Algorithm

• آموزش شبکه عصبی Training Neural Network

• مدل‌سازی زبان عصبی Neural Language Modeling

• آموزش مدل زبان عصبی Training Neural Language Model

• مقایسه N-gram و مدل زبان عصبی N-gram Versus Neural Language Model

• دموی مدل زبان عصبی Neural LM Demo

• LLM چیست؟ What is LLM?

• موارد استفاده از LLM LLM Use Cases

• جمع‌بندی فصل Module Wrap Up

برچسب‌گذاری اجزای کلام (POS Tagging) Part of Speech Tagging

• سرفصل‌های این فصل Outline of the Module

• برچسب‌گذاری اجزای کلام (POS Tagging) چیست؟ What is POS Tagging?

• چالش‌ها در POS Tagging Challenges in POS Tagging

• مجموعه برچسب‌های POS POS Tagsets

• زنجیره مارکوف Markov Chain

• مدل مارکوف پنهان (HMM) Hidden Markov Model

• مدل مارکوف پنهان به عنوان برچسب‌گذار POS Hidden Markov Model as POS Tagger

• الگوریتم ویتربی (Viterbi) Viterbi Algorithm

• مثالی از الگوریتم ویتربی Viterbi Algorithm - Example

• مروری بر رگرسیون لجستیک Logistic Regression - Overview

• مروری بر رگرسیون لجستیک چندجمله‌ای Multinomial Logistic Regression - Overview

• مدل‌های مارکوف با حداکثر آنتروپی (MEMM) Maximum Entropy Markov Models (MEMM)

• جمع‌بندی فصل Module Wrap Up

تجزیه (Parsing) و کاربردها Parsing and Applications

• سرفصل‌های این فصل Outline of the Module

• مقدمه‌ای بر دستور زبان‌های مستقل از بافت (CFGs) Introduction to Context-Free Grammars (CFGs)

• اجزا و ساختار عبارات Constituency and Phrase Structure

• ابهام در دستور زبان Ambiguity in Grammar

• فرم نرمال چامسکی (CNF) و نرمال‌سازی دستور زبان Chomsky Normal Form (CNF) and Grammar Normalisation

• درخت‌بانک‌ها و دستور زبان تجربی Treebanks and Empirical Grammar

• الگوریتم CKY CKY Algorithm

• بررسی گام‌به‌گام الگوریتم CKY CKY Algorithm - Walkthrough

• بازیابی درخت تجزیه از جدول CKY Parse Tree Recovery From CKY Table

• تجزیه اجزا مبتنی بر بازه عصبی Neural Span-based Constituency Parsing

• تجزیه وابستگی (Dependency Parsing) چیست؟ What is Dependency Parsing?

• فرمالیسم وابستگی Dependency Formalism

• روابط وابستگی جهانی Universal Dependency Relations

• تجزیه وابستگی مبتنی بر انتقال Transition-Based Dependency Parsing

• بررسی گام‌به‌گام تجزیه وابستگی مبتنی بر انتقال Transition-Based Dependency Parsing - Walkthrough

• ایجاد یک پیش‌گو (Oracle) Creating an Oracle

• تجزیه وابستگی مبتنی بر گراف Graph-Based Dependency Parsing

• جمع‌بندی فصل Module Wrap Up

معنای کلمات، رفع ابهام و وب معنایی Word Senses, Disambiguation, and the Semantic Web

• سرفصل‌های این فصل Outline of the Module

• معنای کلمه چیست؟ What is a Word Sense?

• هم‌آوا بودن در مقابل چندمعنایی Homonymy vs Polysemy

• روابط معنایی Sense Relations

• مقدمه‌ای بر WordNet و مجموعه‌های معنایی (Synsets) Introduction to WordNet and Synsets

• روابط در WordNet Relations in WordNet

• ناوبری در سلسله‌مراتب و ساختارهای گراف WordNet Navigating WordNet Hierarchies and Graph Structures

• رفع ابهام معنایی کلمات (WSD) چیست؟ What is Word Sense Disambiguation?

• WSD تحت نظارت Supervised WSD

• WSD مبتنی بر دانش: الگوریتم Lesk Knowledge-Based WSD: Lesk Algorithm

• از وب نحو به وب معنایی: مشکل کجاست؟ From Syntactic Web to Semantic Web: What's the Problem?

• چشم‌انداز وب معنایی: یکپارچه‌سازی و خودکارسازی داده‌ها Semantic Web Vision: Data Integration and Automation

• هستی‌شناسی‌ها (Ontologies) Ontologies

• زبان‌های هستی‌شناسی و لایه‌های آن‌ها Ontology Languages and Their Layers

• گراف دانش چیست؟ What is a Knowledge Graph?

• کاربردها در NLP Applications in NLP

• جمع‌بندی فصل Module Wrap Up

پیامدهای اخلاقی Ethical Implications

• RNNها چیستند و چرا محدودیت دارند؟ What RNNs Are and Why They Fall Short

• چرا به مکانیزم توجه (Attention) نیاز داریم؟ Why Do We Need Attention

• توضیح مکانیزم توجه The Attention Mechanism Explained

• از مکانیزم توجه تا معماری ترنسفورمر From Attention to Transformer Architecture

• ساختار سطح بالای ترنسفورمر High-Level Structure of the Transformer

• جزئیات خود-توجهی (Self Attention) Self-Attention in Detail

• توجه چندسر (Multi-Head Attention) Multi-Head Attention

• کدگذاری‌های موقعیتی Positional Encodings

• انواع محبوب ترنسفورمرها Popular Transformer Variants

• خلاصه‌سازی متن چیست و کاربردهای آن What Text Summarisation is and its Uses

• انواع خلاصه‌سازی متن Types of Text Summarisation

• خلاصه‌سازی طبیعی متن Natural Text Summarisation

• مراحل خلاصه‌سازی متن Stages of Text Summarisation

• دموی خلاصه‌سازی متن Demo of Text Summarisation

• مسائل اخلاقی در NLP Ethical Issues in NLP

• طراحی اخلاق‌مدار در برنامه‌های کاربردی NLP Ethical Design of NLP Applications