آموزش ترانسفورماتورها: طبقه بندی متن برای NLP با استفاده از BERT

مقدمه Introduction

• پردازش زبان طبیعی با ترانسفورماتور Natural language processing with transformers

• نحوه استفاده از فایل های تمرین How to use the exercise files

1. NLP و ترانسفورماتورها 1. NLP and Transformers

• نحوه استفاده از ترانسفورماتورها در NLP How transformers are used in NLP

• ترانسفورماتور در حال تولید Transformers in production

• تاریخچه ترانسفورماتورها Transformers history

• چالش: اندازه های مدل BERT Challenge: BERT model sizes

• راه حل: اندازه های مدل BERT Solution: BERT model sizes

2. BERT و آموزش انتقال 2. BERT and Transfer Learning

• تعصب در BERT Bias in BERT

• BERT چگونه آموزش داده شد؟ How was BERT trained?

• انتقال یادگیری Transfer learning

3. معماری ترانسفورماتور و BERT 3. Transformer Architecture and BERT

• ترانسفورماتور: نمای کلی معماری Transformer: Architecture overview

• مدل BERT و نشانه گذاری BERT model and tokenization

• کدگذاری های موقعیتی و جاسازی های بخش Positional encodings and segment embeddings

• توکن سازها Tokenizers

• توجه به خود Self-attention

• توجه چند سر و شبکه بازخورد Multi-head attention and feedforward network

4. طبقه بندی متن 4. Text Classification

• BERT و طبقه بندی متن BERT and text classification

• کتابخانه مجموعه داده ها The Datasets library

• مروری بر مجموعه داده های IMDb Overview of IMDb dataset

• استفاده از توکنایزر Using a tokenizer

• IMDb کوچک Tiny IMDb

• یک اجرا آموزشی A training run

نتیجه Conclusion

• آموزش های اضافی اجرا می شود Additional training runs