آموزش تکنیک‌های پیشرفته کوانتیزاسیون برای مدل‌های زبانی بزرگ (LLM) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• کوانتیزاسیون در مدل‌های LLM مدرن Quantization in modern LLMs

1. مبانی ریاضی 1. Mathematical Foundations

• آشنایی با کوانتیزاسیون و فرمت‌های دقت اعداد Introduction to quantization and number precision formats

• تحلیل خطای کوانتیزاسیون Quantization error analysis

2. کوانتیزاسیون پس از آموزش (PTQ) 2. Post-Training Quantization

• مقایسه طرح‌های کوانتیزاسیون یکنواخت و غیریکنواخت Uniform vs. non-uniform quantization schemes

• کوانتایز کردن اولین مدل ترنسفورمر شما Quantizing your first Transformer model

3. الگوریتم‌های پیشرفته کوانتیزاسیون 3. State-of-the-Art Quantization Algorithms

• روش AWQ: اصول و کاربردهای عملی AWQ: Principles and practical application

• روش GPTQ: اصول و کاربردهای عملی GPTQ: Principles and practical application

• روش SmoothQuant و تکنیک‌های نوظهور SmoothQuant and emerging techniques

4. آموزش آگاه از کوانتیزاسیون و بهینه‌سازی سخت‌افزاری 4. Quantization-Aware Training and Hardware Optimization

• استراتژی‌های بهینه‌سازی مختص سخت‌افزار Hardware-specific optimization strategies

• اصول QAT برای مدل‌های ترنسفورمر QAT fundamentals for Transformers

جمع‌بندی Conclusion

• چشم‌انداز آینده در کوانتیزاسیون LLM Future directions in LLM quantization