آموزش مدل‌های زبانی بزرگ: طبقه‌بندی متن برای NLP با استفاده از BERT - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• پردازش زبان طبیعی با ترنسفورمرها Natural language processing with transformers

• نحوه استفاده از فایل‌های تمرینی How to use the exercise files

1. پردازش زبان طبیعی و ترنسفورمرها 1. NLP and Transformers

• تاریخچه ترنسفورمرها Transformers history

• نحوه استفاده از ترنسفورمرها در NLP How transformers are used in NLP

• ترنسفورمرها در محیط عملیاتی Transformers in production

• راه حل: اندازه‌های مدل BERT Solution: BERT model sizes

• چالش: اندازه‌های مدل BERT Challenge: BERT model sizes

2. مدل BERT و یادگیری انتقالی 2. BERT and Transfer Learning

• یادگیری انتقالی Transfer learning

• سوگیری در BERT Bias in BERT

• مدل BERT چگونه آموزش دید؟ How was BERT trained?

3. معماری ترنسفورمر و BERT 3. Transformer Architecture and BERT

• ترنسفورمر: بررسی کلی معماری Transformer: Architecture overview

• مکانیزم توجه چندسر و شبکه پیش‌خور Multi-head attention and feedforward network

• مدل BERT و توکنایزیشن BERT model and tokenization

• کدگذاری‌های مکانی و جاسازی‌های قطعه‌ای Positional encodings and segment embeddings

• توکنایزرها Tokenizers

• خود-توجهی (Self-attention) Self-attention

4. طبقه‌بندی متن 4. Text Classification

• مدل BERT و طبقه‌بندی متن BERT and text classification

• پروژه Tiny IMDb Tiny IMDb

• کتابخانه Datasets The Datasets library

• اجرای یک دوره آموزشی A training run

• بررسی کلی مجموعه داده IMDb Overview of IMDb dataset

• استفاده از توکنایزر Using a tokenizer

جمع‌بندی Conclusion

• گام‌های بعدی Next steps

• اجراهای آموزشی تکمیلی Additional training runs

• مدل BERT مدرن: به‌روزرسانی‌ها Modern BERT: Updates