آموزش پیشرفته فاین‌تیونینگ (Fine-Tuning) با زبان Rust - آخرین آپدیت

مبانی یادگیری ماشین و محاسبات ML Foundations & Compute

• مفاهیم کلیدی: پارامترها، VRAM، گرادینت‌ها و LoRA Core Concepts: Parameters, VRAM, Gradients, and LoRA

• اشکال داده‌ها: اسکالرها، بردارها و ماتریس‌ها Data Shapes: Scalars, Vectors, and Matrices

• مبانی ML: شبکه‌های عصبی، ترنسفورمرها و توابع زیان ML Foundations: Neural Networks, Transformers, and Loss Functions

• دموی مقایسه‌ای محاسبات Scalar در مقابل SIMD و GPU Scalar vs SIMD vs GPU Compute Demo

• تفاوت آموزش (Training) و استنتاج (Inference) Training vs Inference

• معماری و خط لوله ترنسفورمر Transformer Architecture & Pipeline

• تئوری توکنایزیشن BPE در مقابل Word Tokenization BPE vs Word Tokenization Theory

• دموی ساخت یک خط لوله ترنسفورمر ساده Building a Toy Transformer Pipeline Demo

ساختار داخلی ترنسفورمر و معرفی LoRA Transformer Internals & LoRA Introduction

• دموی پیاده‌سازی توکنایزرهای BPE و Word BPE vs Word Tokenizer Implementation Demo

• مکانیزم توجه چگونه کار می‌کند: QKV و Softmax How Attention Works: QKV and Softmax

• دموی گام‌به‌گام مکانیزم توجه (Attention) Attention Mechanism Step-by-Step Demo

• شبکه‌های Feed Forward: جایی که تفکر اتفاق می‌افتد Feed-Forward Networks: Where Thinking Happens

• آنالوژی لیموناد در FFN: توضیح غیرخطی بودن FFN Lemonade Analogy: Non-Linearity Explained

• دموی FFN لیموناد: پیاده‌سازی تست چشایی FFN Lemonade Demo: Taste Test Implementation

• خلاصه مبانی ترنسفورمر Transformer Foundations Summary

• مفاهیم کلیدی LoRA: یادگیری تفاوت‌ها LoRA Key Concepts: Learning the Diff

• در LoRA تفاوت‌ها را آموزش دهید، نه کل مدل را LoRA: Train the Diff, Not the Whole Model

• دموی حذف رتبه (Rank Ablation) در LoRA LoRA Rank Ablation Demo

تکنیک QLoRA و مهندسی کورپوس QLoRA & Corpus Engineering

• کوانتایزیشن: بیت‌های کمتر، دقت کمتر Quantization: Fewer Bits, Less Precision

• دموی QLoRA: فاین‌تیونینگ بهینه در حافظه QLoRA Demo: Memory-Efficient Fine-Tuning

• مرور کلی خط لوله کامل فاین‌تیونینگ Complete Fine-Tuning Pipeline Overview

• بررسی کارت دیتاست در HuggingFace HuggingFace Dataset Card Overview

• خط لوله ساخت کورپوس: از استخراج تا انتشار Corpus Creation Pipeline: Extraction to Publication

• بررسی عمیق معماری Crate کورپوس Corpus Crate Architecture Deep Dive

• دموی رابط خط فرمان (CLI) ساخت کورپوس Corpus Creation CLI Demo

• خلاصه جامع فاین‌تیونینگ Fine-Tuning Summary

چالش پروژه نهایی Final Project Challenge