آموزش کار با مدل های زبان بزرگ در هوش مصنوعی

سرفصل ها و درس ها

معرفی Introduction

• خوش آمدی Welcome

• معرفی Introduction

ترانسفورماتورها در NLP Transformers in NLP

• مدل های زبان بزرگ چیست؟ What are large language models?

• ترانسفورماتور در حال تولید Transformers in production

• Transformers: History Transformers: History

ترانسفورماتورهای آموزشی Training Transformers

• انتقال یادگیری Transfer learning

• ترانسفورماتور: نمای کلی معماری Transformer: Architecture overview

• توجه به خود Self-attention

• توجه چند سر و شبکه فید فوروارد Multi-head attention and Feed Forward Network

مدل های زبان بزرگ Large Language Models

• GPT-3 GPT-3

• موارد استفاده از GPT-3 GPT-3 use cases

• چالش های GPT-3 Challenges of GPT-3

• GLaM GLaM

• مدل NLG مگاترون-تورینگ Megatron-Turing NLG Model

• گوفر Gopher

• قوانین مقیاس بندی Scaling laws

• چینچیلا Chinchilla

• نیمکت بزرگ BIG-bench

• نخل PaLM

• OPT و BLOOM OPT and BLOOM

نتیجه Conclusion

• نتیجه Conclusion