آموزش پردازش زبان طبیعی (NLP) با پایتون برای مبتدیان [ویدئویی] - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• معرفی دوره Introduction to the Course

• معرفی مدرس Introduction to the Instructor

• معرفی کمک‌مدرس Introduction to the Co-Instructor

• توضیحات کلی دوره Course Introduction

مقدمه‌ای بر عبارات منظم (Regular Expressions) Introduction (Regular Expressions)

• عبارات منظم چیست؟ What is Regular Expression

• چرا از عبارات منظم استفاده می‌کنیم؟ Why Regular Expression

• چت‌بات ELIZA ELIZA Chatbot

• پکیج عبارات منظم در پایتون Python Regular Expression Package

متاکاراکترها (عبارات منظم) Metacharacters (Regular Expressions)

• متاکاراکترها Metacharacters

• تمرین کروشه بزرگ در متاکاراکترها Metacharacters Bigbrackets Exercise

• پاسخ تمرین کروشه بزرگ Meta Characters Bigbrackets Exercise Solution

• تمرین دوم کروشه بزرگ Metacharacters Bigbrackets Exercise 2

• پاسخ تمرین دوم کروشه بزرگ Metacharacters Bigbrackets Exercise 2 - Solution

• متاکاراکتر Cap Metacharacters Cap

• تمرین سوم متاکاراکتر Cap Metacharacters Cap Exercise 3

• پاسخ تمرین سوم متاکاراکتر Cap Metacharacters Cap Exercise 3 - Solution

• بک‌اسلش (Backslash) Backslash

• ادامه مبحث بک‌اسلش Backslash Continued

• ادامه مبحث بک‌اسلش (بخش اول) Backslash Continued - 01

• تمرین کروشه مربعی با بک‌اسلش Backslash Squared Brackets Exercise

• پاسخ تمرین کروشه مربعی Backslash Squared Brackets Exercise Solution

• راه حل جایگزین برای تمرین کروشه مربعی Backslash Squared Brackets Exercise - Another Solution

• تمرین بک‌اسلش Backslash Exercise

• پاسخ تمرین بک‌اسلش و تمرین توالی‌های خاص Backslash Exercise Solution and Special Sequences Exercise

• پاسخ تمرین توالی‌های خاص Solution and Special Sequences Exercise Solution

• متاکاراکتر ستاره (Asterisk) Metacharacter Asterisk

• تمرین متاکاراکتر ستاره Metacharacter Asterisk Exercise

• پاسخ تمرین متاکاراکتر ستاره Metacharacter Asterisk Exercise Solution

• تکلیف متاکاراکتر ستاره Metacharacter Asterisk Homework

• تطبیق حریصانه (Greedy Matching) در متاکاراکتر ستاره Metacharacter Asterisk Greedy Matching

• متاکاراکترهای علامت مثبت و علامت سوال Metacharacter Plus and Question Mark

• تمرین کروشه آکولا (Curly Brackets) Metacharacter Curly Brackets Exercise

• پاسخ تمرین کروشه آکولا Metacharacter Curly Brackets Exercise Solution

اشیاء الگو یا Pattern Objects (عبارات منظم) Pattern Objects (Regular Expressions)

• اشیاء الگو (Pattern Objects) Pattern Objects

• تمرین متد match در اشیاء الگو Pattern Objects Match Method Exercise

• پاسخ تمرین متد match Pattern Objects Match Method Exercise Solution

• مقایسه متد match در مقابل متد search Pattern Objects Match Method Versus Search Method

• متد finditer در اشیاء الگو Pattern Objects Finditer Method

• پاسخ تمرین متد finditer Pattern Objects Finditer Method Exercise Solution

متاکاراکترهای بیشتر (عبارات منظم) More Metacharacters (Regular Expressions)

• متاکاراکتر منطقی OR Metacharacters Logical Or

• الگوهای شروع و پایان در متاکاراکترها Metacharacters Beginning and End Patterns

• پرانتزها در متاکاراکترها Metacharacters Parentheses

اصلاح رشته‌ها (عبارات منظم) String Modification (Regular Expressions)

• اصلاح رشته‌ها String Modification

• توکنایزر کلمات با استفاده از متد split Word Tokenizer Using Split Method

• تمرین متد sub Sub Method Exercise

• پاسخ تمرین متد sub Sub Method Exercise Solution

کلمات و توکن‌ها (پیش‌پردازش متن) Words and Tokens (Text Preprocessing)

• کلمه چیست؟ What is a Word

• وابستگی تعریف کلمه به نوع تسک Definition of Word is Task Dependent

• واژگان (Vocabulary) و پیکره (Corpus) Vocabulary and Corpus

• توکن‌ها Tokens

• توکنایز کردن در Spacy Tokenization in Spacy

طبقه‌بندی تحلیل احساسات (پیش‌پردازش متن) Sentiment Classification (Text Preprocessing)

• معرفی پروژه کوچک طبقه‌بندی نظرات Yelp Yelp Reviews Classification Mini Project Introduction

• مقداردهی اولیه واژگان در پروژه Yelp Yelp Reviews Classification Mini Project Vocabulary Initialization

• افزودن توکن‌ها به واژگان در پروژه Yelp Yelp Reviews Classification Mini Project Adding Tokens to Vocabulary

• توابع جستجو در واژگان پروژه Yelp Yelp Reviews Classification Mini Project Look Up Functions in Vocabulary

• ساخت واژگان از روی داده‌ها در پروژه Yelp Yelp Reviews Classification Mini Project Building Vocabulary from Data

• کدگذاری One Hot در پروژه Yelp Yelp Reviews Classification Mini Project One-Hot Encoding

• پیاده‌سازی One Hot Encoding در پروژه Yelp Yelp Reviews Classification Mini Project One-Hot Encoding Implementation

• کدگذاری اسناد در پروژه Yelp Yelp Reviews Classification Mini Project Encoding Documents

• پیاده‌سازی کدگذاری اسناد در پروژه Yelp Yelp Reviews Classification Mini Project Encoding Documents Implementation

• تقسیم داده‌ها به آموزش و تست در پروژه Yelp Yelp Reviews Classification Mini Project Train Test Splits

• محاسبه ویژگی‌ها در پروژه Yelp Yelp Reviews Classification Mini Project Feature Computation

• طبقه‌بندی نهایی در پروژه Yelp Yelp Reviews Classification Mini Project Classification

توکنایز کردن مستقل از زبان (پیش‌پردازش متن) Language Independent Tokenization (Text Preprocessing)

• معرفی مفصل توکنایز کردن Tokenization in Detial Introduction

• چالش‌های توکنایز کردن Tokenization is Hard

• توکنایز کردن با روش Byte Pair Encoding (BPE) Tokenization Byte Pair Encoding

• مثال Byte Pair Encoding Tokenization Byte Pair Encoding Example

• اجرای BPE روی داده‌های تست Tokenization Byte Pair Encoding on Test Data

• پیاده‌سازی BPE: دریافت تعداد جفت‌ها Tokenization Byte Pair Encoding Implementation Get Pair Counts

• پیاده‌سازی BPE: ادغام در پیکره Tokenization Byte Pair Encoding Implementation Merge in Corpus

• پیاده‌سازی BPE: آموزش BFE Tokenization Byte Pair Encoding Implementation BFE Training

• پیاده‌سازی BPE: کدگذاری BFE Tokenization Byte Pair Encoding Implementation BFE Encoding

• پیاده‌سازی BPE: کدگذاری یک جفت Tokenization Byte Pair Encoding Implementation BFE Encoding One Pair

• پیاده‌سازی BPE: کدگذاری یک جفت (بخش دوم) Tokenization Byte Pair Encoding Implementation BFE Encoding One Pair 1

نرمال‌سازی متن (پیش‌پردازش متن) Text Normalization(Text Preprocessing)

• نرمال‌سازی کلمات: تبدیل به حروف کوچک (Case Folding) Word Normalization Case Folding

• نرمال‌سازی کلمات: ریشه‌یابی (Lemmatization) Word Normalization Lemmatization

• نرمال‌سازی کلمات: ساقه سازی (Stemming) Word Normalization Stemming

• نرمال‌سازی کلمات: قطعه‌بندی جملات Word Normalization Sentence Segmentation

تطبیق رشته و تصحیح املایی (پیش‌پردازش متن) String Matching and Spelling Correction (Text Preprocessing)

• تصحیح املایی: معرفی کمترین فاصله ویرایشی (Minimum Edit Distance) Spelling Correction Minimum Edit Distance Introduction

• مثال کمترین فاصله ویرایشی Spelling Correction Minimum Edit Distance Example

• پر کردن جدول فاصله ویرایشی Spelling Correction Minimum Edit Distance Table Filling

• برنامه‌نویسی پویا در فاصله ویرایشی Spelling Correction Minimum Edit Distance Dynamic Programming

• شبه‌کد فاصله ویرایشی Spelling Correction Minimum Edit Distance Pseudocode

• پیاده‌سازی فاصله ویرایشی Spelling Correction Minimum Edit Distance Implementation

• رفع باگ در پیاده‌سازی فاصله ویرایشی Spelling Correction Minimum Edit Distance Implementation Bug fixing

• پیاده‌سازی نهایی تصحیح املایی Spelling Correction Implementation

مدل‌سازی زبان Language Modeling

• مدل زبانی چیست؟ What is a Language Model

• تعریف رسمی مدل زبانی Language Model Formal Definition

• نفرین ابعاد در مدل زبانی Language Model Curse of Dimensionality

• فرض مارکوف و N-Gram ها Language Model Markov Assumption and N-Grams

• تنظیمات پیاده‌سازی مدل زبانی Language Model Implementation Setup

• پیاده‌سازی تابع N-grams Language Model Implementation N-grams Function

• پیاده‌سازی تابع به‌روزرسانی تعداد (Update Counts) Language Model Implementation Update Counts Function

• پیاده‌سازی تابع مدل احتمالی Language Model Implementation Probability Model Function

• پیاده‌سازی خواندن پیکره Language Model Implementation Reading Corpus

• پیاده‌سازی نمونه‌برداری متن Language Model Implementation Sampling Text

مدل‌سازی موضوعی با نمایش کلمات و اسناد Topic Modelling with Word and Document Representations

• بردارهای One Hot One-Hot Vectors

• پیاده‌سازی بردارهای One Hot One-Hot Vectors Implementation

• محدودیت‌های بردارهای One Hot One-Hot Vectors Limitations

• استفاده از One Hot برای برچسب‌گذاری هدف One-Hot Vectors Used as Target Labeling

• فرکانس اصطلاحات (TF) برای نمایش اسناد Term Frequency for Document Representations

• پیاده‌سازی TF برای نمایش اسناد Term Frequency for Document Representations Implementations

• فرکانس اصطلاحات برای نمایش کلمات Term Frequency for Word Representations

• استفاده از TF-IDF برای نمایش اسناد TFIDF for Document Representations

• پیاده‌سازی TF-IDF: خواندن پیکره TFIDF for Document Representations Implementation Reading Corpus

• پیاده‌سازی TF-IDF: محاسبه فرکانس سند TFIDF for Document Representations Implementation Computing Document Frequency

• پیاده‌سازی TF-IDF: محاسبه نهایی TF-IDF TFIDF for Document Representations Implementation Computing TFIDF

• مدل‌سازی موضوعی با TF-IDF (بخش ۱) Topic Modeling with TFIDF 1

• مدل‌سازی موضوعی با TF-IDF (بخش ۲) Topic Modeling with TFIDF 2

• مدل‌سازی موضوعی با TF-IDF (بخش ۳) Topic Modeling with TFIDF 3

• مدل‌سازی موضوعی با TF-IDF (بخش ۴) Topic Modeling with TFIDF 4

• مدل‌سازی موضوعی با Gensim Topic Modeling with Gensim

جاسازی کلمات LSI Word Embeddings LSI

• ماتریس هم‌وقوعی کلمات (Co-Occurrence Matrix) Word Co-Occurrence Matrix

• مقایسه ماتریس هم‌وقوعی با ماتریس اصطلاحات سند Word Co-Occurrence Matrix Versus Document-Term Matrix

• پیاده‌سازی ماتریس هم‌وقوعی: آماده‌سازی داده‌ها Word Co-Occurrence Matrix Implementation Preparing Data

• پیاده‌سازی ماتریس هم‌وقوعی: آماده‌سازی داده‌ها (بخش ۲) Word Co-Occurrence Matrix Implementation Preparing Data 2

• پیاده‌سازی ماتریس هم‌وقوعی: استخراج واژگان Word Co-Occurrence Matrix Implementation Preparing Data Getting Vocabulary

• پیاده‌سازی ماتریس هم‌وقوعی: تابع نهایی Word Co-Occurrence Matrix Implementation Final Function

• مدیریت مشکلات حافظه در پیکره‌های بزرگ Word Co-Occurrence Matrix Implementation Handling Memory Issues on Large Corpora

• پراکندگی (Sparsity) در ماتریس هم‌وقوعی Word Co-Occurrence Matrix Sparsity

• اطلاعات متقابل نقطه‌ای مثبت (PPMI) Word Co-Occurrence Matrix Positive Point Wise Mutual Information PPMI

• استفاده از PCA برای جاسازی‌های متراکم PCA for Dense Embeddings

• تحلیل معنایی نهفته (LSA) Latent Semantic Analysis

• پیاده‌سازی تحلیل معنایی نهفته Latent Semantic Analysis Implementation

معناشناسی کلمات Word Semantics

• شباهت کسینوسی (Cosine Similarity) Cosine Similarity

• به‌دست آوردن نرم بردارهای کسینوسی Cosine Similarity Getting Norms of Vectors

• نرمال‌سازی بردارها در شباهت کسینوسی Cosine Similarity Normalizing Vectors

• شباهت کسینوسی برای بیش از یک بردار Cosine Similarity with More than One Vector

• یافتن مشابه‌ترین کلمات در واژگان Cosine Similarity Getting Most Similar Words in the Vocabulary

• رفع باگ در یافتن مشابه‌ترین کلمات Cosine Similarity Getting Most Similar Words in the Vocabulary Fixing bug

• جاسازی‌های Word2Vec و شباهت کسینوسی Cosine Similarity Word2Vec Embeddings

• قیاس‌های کلامی (Word Analogies) Word Analogies

• پیاده‌سازی قیاس‌های کلامی (بخش ۱) Words Analogies Implementation 1

• پیاده‌سازی قیاس‌های کلامی (بخش ۲) Word Analogies Implementation 2

• بصری‌سازی کلمات Word Visualizations

• پیاده‌سازی بصری‌سازی کلمات Word Visualizations Implementation

• پیاده‌سازی بصری‌سازی کلمات (بخش ۲) Word Visualizations Implementation 2

Word2vec (اختیاری) Word2vec(Optional)

• جاسازی‌های استاتیک و دینامیک Static and Dynamic Embeddings

• خود-نظارتی (Self Supervision) Self Supervision

• چکیده الگوریتم Word2Vec Word2Vec Algorithm Abstract

• Word2Vec: چرا نمونه‌برداری منفی (Negative Sampling)؟ Word2Vec: Why Negative Sampling

• Word2Vec: مدل Skip Gram چیست؟ Word2Vec: What is Skip Gram

• Word2Vec: نحوه تعریف قانون احتمال Word2Vec: How to Define Probability Law

• تابع سیگموئید در Word2Vec Word2Vec Sigmoid

• رسمی کردن تابع زیان (Loss Function) در Word2Vec Word2Vec Formalizing Loss Function

• تابع زیان Word2Vec Word2Vec Loss Function

• گام گرادیان کاهشی در Word2Vec Word2Vec Gradient Descent Step

• پیاده‌سازی Word2Vec: آماده‌سازی داده‌ها Word2Vec Implementation Preparing Data

• پیاده‌سازی Word2Vec: گام گرادیان Word2Vec Implementation Gradient Step

• پیاده‌سازی Word2Vec: تابع درایور Word2Vec Implementation Driver Function

ضرورت یادگیری عمیق برای NLP (یادگیری عمیق DNN) Need of Deep Learning for NLP (NLP with Deep Learning DNN)

• چرا از RNN برای NLP استفاده می‌کنیم؟ Why RNNs for NLP

• نصب PyTorch و معرفی تنسورها PyTorch Installation and Tensors Introduction

• مشتق‌گیری خودکار در PyTorch Automatic Differentiation PyTorch

مقدمه (یادگیری عمیق DNN) Introduction (NLP with Deep Learning DNN)

• چرا از DNN در یادگیری ماشین استفاده می‌کنیم؟ Why DNNs in Machine Learning

• قدرت نمایش و ظرفیت بهره‌برداری از داده‌ها در DNN Representational Power and Data Utilization Capacity of DNN

• پرسپترون (Perceptron) Perceptron

• پیاده‌سازی پرسپترون Perceptron Implementation

• معماری DNN DNN Architecture

• پیاده‌سازی گام پیشرو (Forward step) در DNN DNN Forwardstep Implementation

• چرا به تابع فعال‌ساز (Activation Function) نیاز داریم؟ DNN Why Activation Function is Required

• ویژگی‌های تابع فعال‌ساز DNN Properties of Activation Function

• توابع فعال‌ساز در PyTorch DNN Activation Functions in PyTorch

• تابع زیان (Loss Function) چیست؟ DNN What is Loss Function

• تابع زیان در PyTorch DNN Loss Function in PyTorch

آموزش (یادگیری عمیق DNN) Training (NLP with Deep Learning DNN)

• گرادیان کاهشی (Gradient Descent) در DNN DNN Gradient Descent

• پیاده‌سازی گرادیان کاهشی در DNN DNN Gradient Descent Implementation

• روش‌های استوکاستیک، بچ و مینی‌بچ در گرادیان کاهشی DNN Gradient Descent Stochastic Batch Minibatch

• خلاصه‌ای از گرادیان کاهشی DNN DNN Gradient Descent Summary

• پیاده‌سازی گام گرادیان در DNN DNN Implementation Gradient Step

• پیاده‌سازی گرادیان کاهشی استوکاستیک (SGD) DNN Implementation Stochastic Gradient Descent

• پیاده‌سازی گرادیان کاهشی بچ (Batch) DNN Implementation Batch Gradient Descent

• پیاده‌سازی گرادیان کاهشی مینی‌بچ DNN Implementation Minibatch Gradient Descent

• پیاده‌سازی DNN در PyTorch DNN Implementation in PyTorch

هایپرپارامترها (یادگیری عمیق DNN) Hyperparameters (NLP with Deep Learning DNN)

• مقداردهی اولیه وزن‌ها در DNN DNN Weights Initializations

• نرخ یادگیری (Learning Rate) در DNN DNN Learning Rate

• نرمال‌سازی بچ (Batch Normalization) در DNN DNN Batch Normalization

• پیاده‌سازی Batch Normalization DNN Batch Normalization Implementation

• بهینه‌سازی‌های DNN DNN Optimizations

• درآپ‌اوت (Dropout) در DNN DNN Dropout

• پیاده‌سازی Dropout در PyTorch DNN Dropout in PyTorch

• توقف زودهنگام (Early Stopping) DNN Early Stopping

• هایپرپارامترهای DNN DNN Hyperparameters

• مثال CIFAR10 با PyTorch DNN PyTorch CIFAR10 Example

مقدمه (یادگیری عمیق RNN) Introduction (NLP with Deep Learning RNN)

• شبکه RNN چیست؟ What is RNN

• درک RNN با یک مثال ساده Understanding RNN with a Simple Example

• کاربردهای RNN: تشخیص فعالیت انسانی RNN Applications Human Activity Recognition

• کاربردهای RNN: شرح تصاویر (Image Captioning) RNN Applications Image Captioning

• کاربردهای RNN: ترجمه ماشینی RNN Applications Machine Translation

• کاربردهای RNN: تشخیص گفتار و پیش‌بینی قیمت سهام RNN Applications Speech Recognition Stock Price Prediction

• مدل‌های RNN RNN Models

پروژه کوچک مدل‌سازی زبان (یادگیری عمیق RNN) Mini-Project Language Modelling (NLP with Deep Learning RNN)

• مدل‌سازی زبان: پیش‌بینی کلمه بعدی Language Modeling Next Word Prediction

• اندیس واژگان در پیش‌بینی کلمه بعدی Language Modeling Next Word Prediction Vocabulary Index

• جاسازی (Embeddings) اندیس واژگان Language Modeling Next Word Prediction Vocabulary Index Embeddings

• معماری RNN برای پیش‌بینی کلمه بعدی Language Modeling Next Word Prediction RNN Architecture

• پیاده‌سازی پایتون پیش‌بینی کلمه بعدی (بخش ۱) Language Modeling Next Word Prediction Python 1

• پیاده‌سازی پایتون پیش‌بینی کلمه بعدی (بخش ۲) Language Modeling Next Word Prediction Python 2

• پیاده‌سازی پایتون پیش‌بینی کلمه بعدی (بخش ۳) Language Modeling Next Word Prediction Python 3

• پیاده‌سازی پایتون پیش‌بینی کلمه بعدی (بخش ۴) Language Modeling Next Word Prediction Python 4

• پیاده‌سازی پایتون پیش‌بینی کلمه بعدی (بخش ۵) Language Modeling Next Word Prediction Python 5

• پیاده‌سازی پایتون پیش‌بینی کلمه بعدی (بخش ۶) Language Modeling Next Word Prediction Python 6

پروژه کوچک طبقه‌بندی احساسات (یادگیری عمیق RNN) Mini-Project Sentiment Classification (NLP with Deep Learning RNN)

• پیاده‌سازی واژگان (Vocabulary) Vocabulary Implementation

• توابع کمکی پیاده‌سازی واژگان Vocabulary Implementation Helpers

• پیاده‌سازی واژگان از روی فایل Vocabulary Implementation From File

• بردارساز (Vectorizer) Vectorizer

• تنظیمات RNN RNN Setup

• تنظیمات RNN (بخش ۱) RNN Setup 1

استفاده از RNN در PyTorch (یادگیری عمیق RNN) RNN in PyTorch (NLP with Deep Learning RNN)

• مقدمه‌ای بر RNN در PyTorch RNN In PyTorch Introduction

• لایه Embedding در PyTorch RNN in PyTorch Embedding Layer

• استفاده از nn.Rnn در PyTorch RNN in PyTorch Nn Rnn

• اشکال خروجی در RNN PyTorch RNN in PyTorch Output Shapes

• واحدهای گیت‌دار (Gated Units) RNN in PyTorch Gated Units

• واحدهای GRU و LSTM در PyTorch RNN in PyTorch Gated Units GRU LSTM

• شبکه‌های RNN دوطرفه (Bidirectional RNN) RNN in PyTorch Bidirectional RNN

• اشکال خروجی در RNN دوطرفه RNN in PyTorch Bidirectional RNN Output Shapes

• جداسازی اشکال خروجی در RNN دوطرفه RNN in PyTorch Bidirectional RNN Output Shapes Separation

• مثالی از RNN در PyTorch RNN in PyTorch Example

مدل‌های پیشرفته RNN (یادگیری عمیق RNN) Advanced RNN Models (NLP with Deep Learning RNN)

• ساختار Encoder-Decoder در RNN RNN Encoder Decoder

• مکانیسم توجه (Attention) در RNN RNN Attention

ترجمه ماشینی عصبی Neural Machine Translation

• معرفی مجموعه‌داده‌ها و پکیج‌ها Introduction to Dataset and Packages

• پیاده‌سازی کلاس Language Implementing Language Class

• تست کلاس Language و پیاده‌سازی نرمال‌سازی Testing Language Class and Implementing Normalization

• خواندن فایل داده‌ها Reading Datafile

• خواندن و ساخت واژگان Reading Building Vocabulary

• ساخت EncoderRNN EncoderRNN

• ساخت DecoderRNN DecoderRNN

• گام پیشرو در DecoderRNN DecoderRNN Forward Step

• توابع کمکی DecoderRNN DecoderRNN Helper Functions

• ماژول آموزش Training Module

• گرادیان کاهشی استوکاستیک Stochastic Gradient Descent

• آموزش NMT (ترجمه ماشینی عصبی) NMT Training

• ارزیابی NMT NMT Evaluation