آموزش مقدمه ای بر مدل های زبان بزرگ (LLM)

سرفصل ها و درس ها

مقدمه ای بر مدل های زبان بزرگ Introduction to Large Language Models

• معرفی Introduction

• مواد درسی و دفترچه یادداشت Course materials and notebooks

• LLM چیست؟ What are LLMs?

• LLM چقدر است؟ How large is an LLM?

• مدل های هدف عمومی General purpose models

• قبل از آموزش و تنظیم دقیق Pre-training and fine tuning

• LLM ها برای چه چیزی می توانند استفاده شوند؟ What can LLMs be used for?

معماری ترانسفورماتور The Transformer Architecture

• خلاصه یادگیری عمیق Deep learning recap

• مشکل RNN ها The problem with RNNs

• راه حل: توجه تنها چیزی است که نیاز دارید The solution: attention is all you need

• معماری ترانسفورماتور The transformer architecture

• تعبیه های ورودی Input embeddings

• توجه چند سر Multi-headed attention

• لایه فید فوروارد Feed-forward layer

• توجه چند سر پوشیده شده Masked multihead attention

• پیش بینی خروجی های نهایی Predicting the final outputs

شروع کار با مدل های GPT Getting started with GPT models

• GPT به چه معناست؟ What does GPT mean?

• توسعه ChatGPT The development of ChatGPT

• OpenAI API OpenAI API

• تولید متن Generating text

• سفارشی کردن خروجی GPT Customizing GPT Output

• خلاصه کردن متن کلمه کلیدی Keyword text summarization

• کدنویسی یک چت بات ساده Coding a simple chatbot

• مقدمه ای بر Langchain در پایتون Introduction to Langchain in Python

• لانگ چین Langchain

• افزودن داده های سفارشی به ربات چت ما Adding custom data to our chatbot

ترانسفورماتورهای صورت در آغوش کشیدن Hugging Face Transformers

• بسته صورت در آغوش Hugging Face package

• خط لوله ترانسفورماتور The transformer pipeline

• توکنایزرهای از پیش آموزش دیده Pre-trained tokenizers

• توکن های خاص Special tokens

• صورت در آغوش گرفته و PyTorch، TensorFlow Hugging Face and PyTorch, TensorFlow

• ذخیره و بارگذاری مدل ها Saving and loading models

مدل های پرسش و پاسخ با BERT Question and answer models with BERT

• GPT در مقابل BERT GPT vs BERT

• معماری BERT BERT architecture

• در حال بارگیری مدل و توکنایزر Loading the model and tokenizer

• تعبیه‌های BERT BERT embeddings

• محاسبه پاسخ Calculating the response

• ایجاد یک ربات QA Creating a QA bot

• BERT، RoBERTa، DistilBERT BERT, RoBERTa, DistilBERT

طبقه بندی متن با XLNet Text classification with XLNet

• GPT در مقابل BERT در مقابل XLNET GPT vs BERT vs XLNET

• پیش پردازش داده های ما Preprocessing our data

• جاسازی های XLNet XLNet Embeddings

• تنظیم دقیق XLNet Fine tuning XLNet

• ارزیابی مدل ما Evaluating our model