آموزش پردازش زبان طبیعی: NLP با ترانسفورماتور در پایتون

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• بررسی اجمالی دوره Course Overview

• تنظیم محیط Environment Setup

• سلام! و منابع بیشتر Hello! and Further Resources

• راه اندازی CUDA CUDA Setup

• راه اندازی محلی جایگزین Alternative Local Setup

• راه اندازی جایگزین Colab Alternative Colab Setup

• راه اندازی سیلیکون اپل Apple Silicon Setup

NLP و ترانسفورماتورها NLP and Transformers

• سه دوره هوش مصنوعی The Three Eras of AI

• جوانب مثبت و منفی AI عصبی Pros and Cons of Neural AI

• بردارهای کلمه Word Vectors

• شبکه های عصبی راجعه Recurrent Neural Networks

• حافظه کوتاه مدت طولانی Long Short-Term Memory

• توجه رمزگذار-رمزگشای Encoder-Decoder Attention

• توجه به خود Self-Attention

• توجه چند سر Multi-head Attention

• رمزگذاری موقعیتی Positional Encoding

• سرهای ترانسفورماتور Transformer Heads

پیش پردازش برای NLP Preprocessing for NLP

• کلمات متوقف Stopwords

• مقدمه Tokens Introduction

• نشانه های خاص مدل خاص Model-Specific Special Tokens

• ساقه زدن Stemming

• لیمیت سازی Lemmatization

• نرمال سازی یونی کد - معادل متعارف و سازگاری Unicode Normalization - Canonical and Compatibility Equivalence

• نرمال سازی یونی کد - ترکیب و تجزیه Unicode Normalization - Composition and Decomposition

• نرمال سازی یونیکد - NFD و NFC Unicode Normalization - NFD and NFC

• نرمال سازی یونیکد - NFKD و NFKC Unicode Normalization - NFKD and NFKC

توجه Attention

• مقدمه توجه Attention Introduction

• تراز بندی با نقطه محصول Alignment With Dot-Product

• توجه به محصول Dot-Product Attention

• توجه به خود Self Attention

• توجه دو طرفه Bidirectional Attention

• توجه به محصول با چند نقطه و مقیاس Multi-head and Scaled Dot-Product Attention

طبقه بندی زبان Language Classification

• مقدمه ای بر تحلیل احساسات Introduction to Sentiment Analysis

• مدل های پیش ساخته Flair Prebuilt Flair Models

• مقدمه ای بر مدل های احساسی با ترانسفورماتور Introduction to Sentiment Models With Transformers

• توکن سازی و نشانه های ویژه BERT Tokenization And Special Tokens For BERT

• پیشگویی Making Predictions

[پروژه] مدل احساس با TensorFlow و ترانسفورماتورها [Project] Sentiment Model With TensorFlow and Transformers

• بررسی اجمالی پروژه Project Overview

• دریافت داده ها (Kaggle API) Getting the Data (Kaggle API)

• پیش پردازش Preprocessing

• ساخت یک مجموعه داده Building a Dataset

• تغییر Dataset ، دسته ای ، تقسیم و ذخیره Dataset Shuffle, Batch, Split, and Save

• ساخت و ذخیره کنید Build and Save

• بارگیری و پیش بینی Loading and Prediction

طبقه بندی متن طولانی با BERT Long Text Classification With BERT

• طبقه بندی متن طولانی با استفاده از ویندوز Classification of Long Text Using Windows

• روش Window در PyTorch Window Method in PyTorch

شناسایی نهاد با نام (NER) Named Entity Recognition (NER)

• مقدمه ای بر spaCy Introduction to spaCy

• استخراج نهادها Extracting Entities

• ner walkthrough NER Walkthrough

• احراز هویت با API Reddit Authenticating With The Reddit API

• کشیدن داده ها با API Reddit Pulling Data With The Reddit API

• استخراج ORG از داده های Reddit Extracting ORGs From Reddit Data

• گرفتن فرکانس موجودیت Getting Entity Frequency

• لیست سیاه نهاد Entity Blacklist

• NER با احساسات NER With Sentiment

• NER با roBERTa NER With roBERTa

پرسش و پاسخ Question and Answering

• دامنه باز و درک خواندن Open Domain and Reading Comprehension

• بازیگران ، خوانندگان و مولد ها Retrievers, Readers, and Generators

• معرفی SQuAD 2.0 Intro to SQuAD 2.0

• پردازش داده های آموزش SQuAD Processing SQuAD Training Data

• (اختیاری) پردازش داده های آموزش SQuAD با Match-Case (Optional) Processing SQuAD Training Data with Match-Case

• پردازش داده های SQuAD Dev Processing SQuAD Dev Data

• اولین مدل پرسش و پاسخ ما Our First Q&A Model

معیارهای زبان Metrics For Language

• عملکرد پرسش و پاسخ با دقیق مسابقه (EM) Q&A Performance With Exact Match (EM)

• معرفی ROUGE Metric Introducing the ROUGE Metric

• ROUGE در پایتون ROUGE in Python

• استفاده از ROUGE در پرسش و پاسخ Applying ROUGE to Q&A

• به یاد بیاورید، دقت و F1 Recall, Precision and F1

• طولانی ترین پیامد مشترک (LCS) Longest Common Subsequence (LCS)

• عملکرد پرسش و پاسخ با ROUGE Q&A Performance With ROUGE

Reader-Retriever QA With Haystack Reader-Retriever QA With Haystack

• مقدمه ای برای Retriever-Reader و Haystack Intro to Retriever-Reader and Haystack

• Elasticsearch چیست؟ What is Elasticsearch?

• نصب Elasticsearch (ویندوز) Elasticsearch Setup (Windows)

• راه اندازی Elasticsearch (Linux) Elasticsearch Setup (Linux)

• جستجوی الاستیک در Haystack Elasticsearch in Haystack

• بازیابی پراکنده Sparse Retrievers

• پاک کردن فهرست Cleaning the Index

• اجرای یک گیرنده BM25 Implementing a BM25 Retriever

• FAISS چیست؟ What is FAISS?

• FAISS در Haystack FAISS in Haystack

• مواد بیشتر برای Faiss Further Materials for Faiss

• DPR چیست؟ What is DPR?

• معماری DPR The DPR Architecture

• پشته Retriever-Reader Retriever-Reader Stack

[پروژه] Open-Domain QA [Project] Open-Domain QA

• ساختار پشته ODQA ODQA Stack Structure

• ایجاد پایگاه داده Creating the Database

• ساخت خط لوله Haystack Building the Haystack Pipeline

شباهت Similarity

• مقدمه ای بر تشابه Introduction to Similarity

• استخراج آخرین سنسور حالت پنهان Extracting The Last Hidden State Tensor

• بردارهای جمله با میانگین جمع شدن Sentence Vectors With Mean Pooling

• استفاده از تشابه کسینوس Using Cosine Similarity

• شباهت با ترانسفورماتور جمله Similarity With Sentence-Transformers

• یادگیری بیشتر Further Learning

مدل های ترانسفورماتور تنظیم دقیق Fine-Tuning Transformer Models

• راهنمای تصویری آموزش قبل از آموزش BERT Visual Guide to BERT Pretraining

• مقدمه ای بر BERT برای کد پیش آموزش Introduction to BERT For Pretraining Code

• BERT قبل از آموزش - مدلسازی با زبان نقاب (MLM) BERT Pretraining - Masked-Language Modeling (MLM)

• قبل از آموزش BERT - پیش بینی جمله بعدی (NSP) BERT Pretraining - Next Sentence Prediction (NSP)

• منطق MLM The Logic of MLM

• تنظیم دقیق با MLM - آماده سازی داده ها Fine-tuning with MLM - Data Preparation

• تنظیم دقیق با MLM - آموزش Fine-tuning with MLM - Training

• تنظیم دقیق با MLM - آموزش با مربی Fine-tuning with MLM - Training with Trainer

• منطق NSP The Logic of NSP

• تنظیم دقیق با NSP - آماده سازی داده ها Fine-tuning with NSP - Data Preparation

• تنظیم دقیق با NSP - DataLoader Fine-tuning with NSP - DataLoader

• حلقه آموزش تنظیم دقیق تنظیمات NSP را تنظیم کنید Setup the NSP Fine-tuning Training Loop

• منطق MLM و NSP The Logic of MLM and NSP

• تنظیم دقیق با MLM و NSP - آماده سازی داده ها Fine-tuning with MLM and NSP - Data Preparation

• تنظیم DataLoader و تنظیم دقیق مدل برای MLM و NSP Setup DataLoader and Model Fine-tuning For MLM and NSP

مدل های ترانسفورماتور قبل از آموزش Pre-Training Transformer Models

• راهنمای تصویری برای پیش‌آموزش BERT Visual Guide to BERT Pretraining

• مقدمه‌ای بر BERT برای کد پیش‌آموزشی Introduction to BERT For Pretraining Code

• پیش‌آموزش BERT - مدل‌سازی با زبان نقاب‌دار (MLM) BERT Pretraining - Masked-Language Modeling (MLM)

• پیش‌آموزش BERT - پیش‌بینی جمله بعدی (NSP) BERT Pretraining - Next Sentence Prediction (NSP)

• منطق MLM The Logic of MLM

• پیش آموزش با MLM - آماده سازی داده ها Pre-training with MLM - Data Preparation

• پیش آموزش با MLM - آموزش Pre-training with MLM - Training

• پیش آموزش با MLM - آموزش با ترینر Pre-training with MLM - Training with Trainer

• منطق NSP The Logic of NSP

• پیش آموزش با NSP - آماده سازی داده ها Pre-training with NSP - Data Preparation

• پیش آموزش با NSP - DataLoader Pre-training with NSP - DataLoader

• حلقه آموزش پیش از آموزش NSP را راه اندازی کنید Setup the NSP Pre-training Training Loop

• منطق MLM و NSP The Logic of MLM and NSP

• پیش آموزش با MLM و NSP - آماده سازی داده ها Pre-training with MLM and NSP - Data Preparation

• راه اندازی DataLoader و مدل Pre-training برای MLM و NSP Setup DataLoader and Model Pre-training For MLM and NSP