آموزش مدل‌های زبانی بزرگ متن‌باز: از صفر تا قهرمان - آخرین آپدیت

سرفصل ها و درس ها

مدل زبان چیست و خط لوله آموزش چگونه است What is a Language Model and how training pipeline looks like

• مقدمه ای بر آموزش مدل های زبانی Introduction to Training Language Models

• مدل ترنسفورمر: باز کردن قدرت یادگیری عمیق The Transformer Model: Unlocking the Power of Deep Learning

• معماری ترنسفورمر برای مدل های زبانی بزرگ Transformer Architectures for Large Language Models

مواد دوره Course Materials

• دانلود و استفاده از مواد دوره Download and use the course materials

راه اندازی محیط و آموزش اولین مدل زبانی خود Setup your environment and train you first Language Model

• آموزش یک مدل زبانی از ابتدا Training a Language Model from scratch

• راه اندازی محیط توسعه خود Setting up your development environment

تنظیم دقیق LLMها با تنظیم دقیق نظارت شده (LoRA، QLoRA، DoRA) Fine tuning LLMs with supervised fine-tune (LoRA, QLoRA, DoRA)

• تنظیم دقیق نظارت شده LLMها با LoRA و معرفی کوانتیزاسیون Supervised Fine-Tuning of LLMs with LoRA and intro to quantization

• آموزش تنظیم دقیق نظارت شده کامل LLM [کد] Train LLM full supervised tuning [Code]

• آموزش LLM با پارامترهای ثابت [کد] Train LLM with freezed params [Code]

• آموزش LLM با LoRA [کد] Training LLM with LoRA [Code]

• معرفی LoRA کوانتیزه شده (QLoRA) Introducing Quantized LoRA (QLoRA)

• آموزش LLM با QLoRA [کد] Training LLM with QLoRA [Code]

• معرفی تنظیم دقیق DoRA Introduction to DoRA fine tuning

• آموزش DoRA برای بهبود ثبات [کد] DoRA training to improve stability [Code]

بهبود عملکرد LLM و قوی کردن آموزش در برابر داده های نویزی Improve LLM performance and make training Robust to noisy data

• افزایش سرعت با Flash Attention Enhancing Speed with Flash Attention

• NEFTune - قوی کردن آموزش LLM NEFTune - Making LLM training Robust

• بهبود استحکام LLM و سرعت آموزش [کد] Enhancing LLM robustness and training speed [Code]

همسو کردن LLMها با ترجیحات انسانی با استفاده از DPO، KTO و ORPO Align LLMs to human preference using DPO, KTO and ORPO

• مقدمه ای بر بهینه سازی ترجیح مستقیم (DPO) Introduction to Direct Preference Optimization (DPO)

• همسو سازی آموزش DPO LLM با ترجیحات انسانی [کد] DPO training align LLM to human preference [Code]

• مرتب سازی آسان تر داده ها برای آموزش LLMها با KTO Easier Data Curation for Training LLMs with KTO

• آموزش KTO برای مرتب سازی بهتر داده ها [کد] KTO training for better data curation [Code]

• آموزش همه در یک با ORPO All in one training with ORPO

• آموزش همه در یک با ORPO [کد] All in one training with ORPO [Code]

تسریع آموزش LLM Accelerate LLM Training

• آموزش چند GPU - تسریع یادگیری عمیق Multi-GPU Training - Accelerate Deep Learning

• موازی سازی مدل چند GPU [کد] Multi GPU model parallel [Code]

• آموزش FSDP GPU [کد] FSDP GPU training [Code]

• Unsloth - چارچوبی برای تنظیم دقیق سریعتر Unsloth - A framework for faster fine tuning

• آموزش Unsloth بهبود سرعت و VRAM [کد] Unsloth training improve speed and VRAM [Code]