آموزش بهینه‌سازی مدل زبانی بزرگ (LLM) با یادگیری تقویتی: روش DeepSeek، الگوریتم GRPO - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• معرفی محتوای دوره Course Content Introduction

• نوت‌بوک‌های Jupyter Jupyter Notebooks

کوانتیزاسیون، LoRA، SFT، Data Collator، آماده‌سازی داده‌ها… Quantization, LoRA, SFT, Data Collator, Data Preparation…

• کوانتیزاسیون چیست؟ چگونه بر اندازه و پارامترهای مدل تاثیر می‌گذارد؟ What is Quantization? How does it affect model size and parameters?

• ایجاد حساب Hugging Face و دریافت توکن Create a Hugging Face Account and Get a Token

• ایجاد نوت‌بوک Colab و آشنایی با کتابخانه‌ها Create a Colab Notebook and Get Familiar with the Libraries

• دانلود مدل با کوانتیزاسیون Download the Model with Quantization

• تفاوت‌های بین مدل‌های Base و Instruct Differences Between Base and Instruct Models

• دانلود و بررسی مجموعه داده Download and Examine the Dataset

• آماده‌سازی مجموعه داده، قالب چت و ادغام توکن‌های سفارشی Preparing Dataset, Chat Template, and Integrating Custom Tokens

• ادامه آماده‌سازی مجموعه داده و توکنیزاسیون Continuing Dataset Preparation and Tokenization

• Data Collator چیست؟ چگونه کار می‌کند؟ مثال عملی What is a Data Collator? How Does It Work? Practical Example

• LoRA چیست؟ چرا از آن استفاده می‌کنیم؟ What is LoRA? Why Use It?

• ادغام ماتریس‌های LoRA در مدل Integrating LoRA Matrices into the Model

• تنظیم آرگومان‌های آموزش (هایپرپارامترهای آموزش) Setting Training Arguments (Training Hyperparameters)

• تنظیم Trainer، شروع آموزش و ارزیابی نتایج Setting Trainer, Starting Training, and Evaluating Results

• ادغام ماتریس‌های LoRA آموزش‌دیده با مدل Merging Trained LoRA Matrices with the Model

• بارگذاری مدل در Hugging Face و استفاده از آن Uploading Model on Hugging Face and Using it

• هایپرپارامترهای موثر بر خروجی‌ها Hyperparameters Affecting the Outputs

افزودن توکن‌های جدید و ایجاد الگو برای توکنایزر Adding New Tokens and Creating Templates for the Tokenizer

• دانلود مدل و توکنایزر Download the Model and Tokenizer

• افزودن توکن‌های سفارشی جدید به توکنایزر Adding New Custom Tokens to the Tokenizer

• ایجاد الگو با توکن‌های سفارشی جدید و ادغام آن‌ها در مجموعه داده Creating Templates with New Custom Tokens and Integrating Them into the Dataset

DPO (بهینه‌سازی ترجیح مستقیم) DPO (Direct Preference Optimization)

• DPO چیست؟ چه فرمت داده‌ای را انتظار دارد؟ What is DPO? What Data Format Does It Expect?

• دانلود مدل و درک نحوه Padding کردن توسط Data Collator DPO Downloading Model & Understanding How the DPO Data Collator do Padding

• آماده‌سازی مجموعه داده برای DPO Preparing the Dataset for DPO

• افزودن ماتریس‌های LoRA به مدل Adding LoRA Matrices to the Model

• تنظیم آرگومان‌های آموزش (با DPOConfig) Setting Training Arguments (with DPOConfig)

• آموزش مدل و ادغام ماتریس‌های LoRA Training the Model and Merging the LoRA Matrices

GRPO (بهینه‌سازی سیاست نسبی گروهی) یادگیری تقویتی GRPO (Group Relative Policy Optimization) Reinforcement Learning

• مدل "استدلال" چیست؟ چگونه کار می‌کند؟ What is a “Reasoning” Model? How Does It Work?

• GRPO چیست؟ چگونه اعمال می‌شود؟ What is GRPO? How Is It Applied?

• Unsloth و VLLM چیستند؟ + دانلود مدل What are Unsloth and VLLM? + Download the Model

• بررسی مجموعه داده و مراحل اولیه آماده‌سازی Examining the Dataset and Initial Preparation Steps

• استخراج بخش‌های خاصی از داده: عبارات با قاعده و عملیات گروهی Extracting Specific Parts of Data: Regex and Group Operations

• داده‌ها با چه قالبی به توابع پاداش ارسال می‌شوند؟ In Which Format is Data Sent to Reward Functions?

• تابع پاداش اول 1st Reward Function

• تابع پاداش دوم 2nd Reward Function

• تابع پاداش سوم 3rd Reward Function

• تابع پاداش چهارم 4th Reward Function

• هایپرپارامترهای آموزش (با GRPO Config) Training Hyperparameters (with GRPO Config)

• شی Trainer و فرآیند آموزش Trainer Object and Training Process

• جدول نتایج پاداش‌ها و نمونه خروجی‌ها Results Table Rewards and Sample Outputs

• BONUS_New_GRPO_Notebook BONUS_New_GRPO_Notebook

BONUS_New_GRPO_Notebook BONUS_New_GRPO_Notebook

• BONUS_New_GRPO_Notebook BONUS_New_GRPO_Notebook