آموزش مقدمه ای بر مدل های ترانسفورماتور برای NLP

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

1. مقدمه ای بر مدل های توجه و زبان 1. Introduction to Attention and Language Models

• معماری رمزگذار-رمزگشا Encoder-decoder architectures

• تاریخچه مختصری از NLP A brief history of NLP

• چگونه مدل های زبان به متن نگاه می کنند How language models look at text

• توجه با توجه Paying attention with attention

• مباحث درس 1 Lesson 1 topics

2. چگونه ترانسفورماتورها از توجه برای پردازش متن استفاده می کنند 2. How Transformers Use Attention to Process Text

• آشنایی با ترانسفورماتورها Introduction to transformers

• توجه چند سر Multi-headed attention

• توجه محصول به نقطه مقیاس شده Scaled dot product attention

• مباحث درس 2 Lesson 2 topics

3. انتقال یادگیری 3. Transfer Learning

• تنظیم دقیق ترانسفورماتورها با PyTorch Fine-tuning transformers with PyTorch

• مقدمه ای بر PyTorch Introduction to PyTorch

• مقدمه ای بر یادگیری انتقالی Introduction to transfer learning

• مباحث درس 3 Lesson 3 topics

4. درک زبان طبیعی با BERT 4. Natural Language Understanding with BERT

• مباحث درس 4 Lesson 4 topics

• تعبیه‌های فراوان BERT The many embeddings of BERT

• توکن سازی WordPiece WordPiece tokenization

• مقدمه ای بر BERT Introduction to BERT

5. پیش آموزش و تنظیم دقیق BERT 5. Pretraining and Fine-Tuning BERT

• مباحث درس 5 Lesson 5 topics

• تنظیم دقیق BERT برای حل وظایف NLP Fine-tuning BERT to solve NLP tasks

• وظیفه مدلسازی زبان ماسک شده The Masked Language Modeling task

• وظیفه پیش بینی جمله بعدی The Next Sentence Prediction task

6. دست روی BERT 6. Hands-On BERT

• مباحث درس 6 Lesson 6 topics

• BERT برای طبقه بندی نشانه BERT for token classification

• طعم های برت Flavors of BERT

• BERT برای طبقه بندی توالی BERT for sequence classification

• BERT برای پرسش/پاسخ BERT for question/answering

7. تولید زبان طبیعی با GPT 7. Natural Language Generation with GPT

• آشنایی با خانواده GPT Introduction to the GPT family

• مباحث درس 7 Lesson 7 topics

• یادگیری چند شات Few-shot learning

• پیش آموزش GPT Pretraining GPT

• توجه چند سر پوشیده شده Masked multi-headed attention

8. GPT دستی 8. Hands-On GPT

• GPT برای دیکته کد GPT for code dictation

• مباحث درس 8 Lesson 8 topics

• GPT برای تکمیل سبک GPT for style completion

9. کاربردهای بیشتر BERT و GPT 9. Further Applications of BERT and GPT

• آموزش چند کار GPT به طور همزمان با مهندسی سریع Teaching GPT multiple tasks at once with prompt engineering

• شبکه های BERT سیامی برای جستجوی معنایی Siamese BERT networks for semantic searching

• مباحث درس 9 Lesson 9 topics

10. T5 بازگشت به اصول 10. T5 Back to Basics

• توجه متقابل Cross-attention

• مباحث درس 10 Lesson 10 topics

• رمزگذارها و رمزگشاها خوش آمدید: معماری T5 Encoders and decoders welcome: T5's architecture

11. Hands-On T5 11. Hands-On T5

• مباحث درس 11 Lesson 11 topics

• استفاده از T5 برای خلاصه سازی انتزاعی Using T5 for abstractive summarization

• نتایج خارج از قفسه با T5 Off-the-shelf results with T5

12. Vision Transformer 12. The Vision Transformer

• تنظیم دقیق سیستم زیرنویس تصویر Fine-tuning an image captioning system

• آشنایی با ترانسفورماتور بینایی (ViT) Introduction to the vision transformer (ViT)

• مباحث درس 12 Lesson 12 topics

13. استقرار مدل های ترانسفورماتور 13. Deploying Transformer Models

• استقرار یک مدل BERT تنظیم شده با استفاده از FastAPI Deploying a fine-tuned BERT model using FastAPI

• مقدمه ای بر MLOps Introduction to MLOps

• به اشتراک گذاری مدل های ما در HuggingFace Sharing our models on HuggingFace

• مباحث درس 13 Lesson 13 topics

14. استفاده از مدل های زبانی بسیار بزرگ 14. Using Massively Large Language Models

• GPT-3 و ChatGPT GPT-3 and ChatGPT

• سایر LLMها و جستجوی معنایی با تعبیه‌های OpenAI Other LLMs and semantic search with OpenAI embeddings

• مباحث درس 14 Lesson 14 topics

• مدل های مدرن زبان بزرگ Modern large language models

نتیجه گیری Conclusion

• خلاصه Summary