هوش مصنوعی مولد: کار با مدل های زبان بزرگ

سرفصل ها و درس ها

معرفی Introduction

• یادگیری در مورد مدل های زبان بزرگ Learning about Large Language Models

1. ترانسفورماتورها در NLP 1. Transformers in NLP

• مدل های زبان بزرگ چیست؟ What are large language models?

• ترانسفورماتور در حال تولید Transformers in production

• Transformers: History Transformers: History

2. آموزش ترانسفورماتورها و معماری آنها 2. Training Transformers and Their Architecture

• انتقال یادگیری Transfer learning

• ترانسفورماتور: نمای کلی معماری Transformer: Architecture overview

• توجه به خود Self-attention

• توجه چند سر و شبکه فید فوروارد Multi-head attention and Feed Forward Network

3. مدل های زبان بزرگ 3. Large Language Models

• GPT-3 GPT-3

• موارد استفاده از GPT-3 GPT-3 use cases

• چالش ها و کاستی های GPT-3 Challenges and shortcomings of GPT-3

• GLaM GLaM

• مدل NLG مگاترون-تورینگ Megatron-Turing NLG Model

• گوفر Gopher

• قوانین مقیاس بندی Scaling laws

• چینچیلا Chinchilla

• نیمکت بزرگ BIG-bench

• نخل PaLM

• OPT و BLOOM OPT and BLOOM

نتیجه Conclusion

• با ترانسفورمرز جلوتر بروید Going further with Transformers