آموزش معماری استنتاج و سروینگ مدل‌های هوش مصنوعی مولد (GenAI) - آخرین آپدیت

سرفصل ها و درس ها

استنتاج مدل و انتخاب بهینه مدل Model Inference and Efficient Model Selection

• مقدمه‌ای بر استنتاج مدل Introduction to Model Inference

• فرآیند استنتاج در ترنسفورمر Transformer Inference Process

• پارامترهای نمونه‌برداری و اثرات آن‌ها Sampling Parameters and Effects

• معیارهای کلیدی عملکرد Key Performance Metrics

• اندازه مدل، بافتار و طول تولید متن Model Size, Context, and Generation Length

• استنتاج بافتار طولانی و KV cache Long-context Inference and KV-cache

• بهینه‌سازی استنتاج Inference Optimization

بهینه‌سازی دسته‌بندی و نرخ پردازش Batching and Throughput Optimization

• مقدمه‌ای بر دسته‌بندی (Batching) Introduction to Batching

• پیاده‌سازی استراتژی‌های دسته‌بندی Implementing Batching Strategies

• تحلیل کارایی دسته‌بندی Analyzing Batching Efficiency

• فریم‌ورک‌های بهینه‌سازی دسته‌بندی Frameworks for Optimized Batching

• دسته‌بندی در عمل Batching in Practice

مقیاس‌بندی GPU و ملاحظات زیرساختی GPU Scaling and Infrastructure Considerations

• مبانی معماری GPU GPU Architecture Fundamentals

• موازات مدل (Model Parallelism) Model Parallelism

• مقیاس‌بندی خودکار زیرساخت GPU Auto-scaling GPU Infrastructure

• بهینه‌سازی منابع GPU Optimizing GPU Resources

• دموی سرعت GPU GPU Speed Demo

مهندسی هزینه و استراتژی‌های بهینه‌سازی Cost Engineering and Optimization Strategies

• درک هزینه‌های GenAI Understanding GenAI Costs

• مانیتورینگ و تخصیص هزینه‌ها Cost Monitoring and Attribution

• تعادل بین هزینه و کیفیت Cost/Quality Trade-offs

• تکنیک‌های بهینه‌سازی هزینه Cost Optimization Techniques

• بهینه‌سازی نهایی هزینه Cost Optimization

تکنیک‌های پیشرفته استنتاج برای سرعت و کیفیت Advanced Inference Techniques for Speed and Quality

• مقدمه‌ای بر استنتاج پیشرفته Introduction to Advanced Inference

• رمزگشایی گمانه‌زن (Speculative Decoding) Speculative Decoding

• کوانتیزاسیون (Quantization) Quantization

• بهینه‌سازی‌های مکانیسم توجه (Attention) Attention Optimizations

• فشرده‌سازی مدل Model Compression

• سروینگ بهینه بافتارهای طولانی Efficient Long-context Serving

• استنتاج هوشمند Smart Inference