مقدمه ای بر مدل های زبان بزرگ

سرفصل ها و درس ها

معرفی Introduction

• تاثیر و عملکرد مدل های زبان بزرگ The impact and functionality of large language models

1. ترانسفورماتورها در NLP 1. Transformers in NLP

• مدل های زبان بزرگ چیست؟ What are large language models?

• مدل های زبان بزرگ چگونه آموزش می بینند؟ قبل از آموزش How are large language models trained? Pre-training

• ساخت مدل های زبان بزرگ از دستورالعمل ها پیروی می کند Making large language models follow instructions

2. اجزای مدل زبان بزرگ 2. Large Language Model Components

• معماری ترانسفورماتور Transformer architecture

• پارامترها چیست What are parameters

• توکن ها چیست؟ What are tokens?

• طول زمینه چیست؟ What are context lengths?

3. مدل های زبان بزرگ 3. Large Language Models

• برت BERT

• قوانین مقیاس بندی Scaling laws

• GPT-3 GPT-3

• چینچیلا Chinchilla

• پالم و پالم 2 PaLM and PaLM 2

• ChatGPT و GPT-4 ChatGPT and GPT-4

• LLM ها را باز کنید Open LLMs

• مقایسه مدل های زبان بزرگ Comparing large language models

نتیجه Conclusion

• با مدل های زبان بزرگ جلوتر بروید Going further with large language models