آموزش بنچ‌مارک و بهینه‌سازی عملکرد اپلیکیشن‌های LLM - آخرین آپدیت

مبانی عملکرد LLM و بنچ‌مارک‌ها Foundations of LLM Performance & Benchmarks

• خوش‌آمدگویی به بنچ‌مارکینگ اپلیکیشن‌های LLM Welcome to Benchmarking LLM Apps

• معیارهای حیاتی: تاخیر، توان عملیاتی و بهره‌وری توکن Metrics That Matter: Latency, Throughput & Token Efficiency

• ساخت یک سیستم بنچ‌مارک حداقلی (بررسی طراحی) Building a Minimal Benchmark Harness (Design Walkthrough)

• اجرای اولین خط پایه و خروجی گرفتن از داده‌ها Run Your First Baseline & Export the Data

یافتن و رفع گلوگاه‌ها: پرامپت، مدل و سیستم Finding & Fixing Bottlenecks: Prompt, Model, and System

• طراحی فراخوانی‌های API قابل اعتماد برای اپلیکیشن‌های LLM Designing Reliable API Calls for LLM Apps

• محدودیت نرخ (Rate Limits)، کشینگ و بودجه‌بندی توکن Rate Limits, Caching & Token Budgeting

• ساخت یک بک‌اند مقاوم برای APIهای LLM Building a Resilient Backend for LLM APIs

آزمایش در مقیاس بالا و برنامه عملیاتی عملکرد Experimentation at Scale & the Performance Playbook

• چرا طراحی آزمایش بهتر از حدس زدن است Why Experiment Design Beats Guesswork

• انتشار ایمن: کاناری، Feature Flagها و بازگشت (Rollbacks) Shipping Safely: Canaries, Feature Flags & Rollbacks

• اجرای تست A/B/C و انتخاب برنده Run an A/B/C Test & Pick a Winner

• جمع‌بندی دوره Course Wrap-up