آموزش تسلط بر ارزیابی LLM: ساخت سیستم‌های هوش مصنوعی قابل اعتماد و مقیاس‌پذیر - آخرین آپدیت

سرفصل ها و درس ها

مبانی ارزیابی LLM Fundamentals of LLM Evaluation

• گواهینامه پایان دوره Certificate of Completion

• چرا ارزیابی اهمیت دارد Why Evaluation Matters

• چالش‌های ارزیابی LLMها Challenges in Evaluating LLMs

• چرخه حیات ارزیابی The Evaluation Lifecycle

• مبانی مشاهده‌پذیری و ابزارگذاری Observability & Instrumentation Basics

• مقدمه‌ای بر تحلیل خطا Introduction to Error Analysis

• آزمایشگاه‌های عملی بخش اول Practical Labs for Section 1

تحلیل سیستماتیک خطا Systematic Error Analysis

• شروع سریع با داده‌های مصنوعی Bootstrapping with Synthetic Data

• برچسب‌گذاری و دسته‌بندی Annotation & Categorization

• از خطا تا اقدام From Error to Action

• اشتباهات رایج که باید از آن‌ها اجتناب کرد Pitfalls to Avoid

• آزمایشگاه: ساخت سیستم ردیابی خطا Lab: Build an Error Tracking System

• آزمایشگاه‌های عملی بخش دوم Practical Labs for Section 2

پیاده‌سازی ارزیابی‌های موثر Implementing Effective Evaluations

• طراحی و انواع معیارها Metric Design & Types

• ارزیابی در سطح تک‌نمونه در مقابل سطح سیستم Individual vs System-Level Evaluation

• ساختار و مدیریت مجموعه داده‌ها Dataset Structure and Management

• آزمایشگاه: ساخت خط لوله ارزیابی Lab: Build an Evaluation Pipeline

• آزمایشگاه‌های عملی بخش سوم Practical Labs for Section 3

پراکس‌های ارزیابی مشارکتی Collaborative Evaluation Practices

• گردش‌کارهای ارزیابی تیمی Team-Based Eval Workflows

• اندازه‌گیری توافق بین برچسب‌زن‌ها Measuring Annotator Agreement

• ایجاد اجماع Building Consensus

• آزمایشگاه: کارگاه همسوسازی Lab: Alignment Workshop

• آزمایشگاه‌های عملی بخش چهارم Practical Labs for Section 4

استراتژی‌های مختص به معماری Architecture-Specific Strategies

• ارزیابی سیستم‌های RAG RAG Systems Evaluation

• خط لوله‌های چند مرحله‌ای Multi-Step Pipelines

• ارزیابی استفاده از ابزارها و تعاملات چند مرحله‌ای Tool Usage & Multi-Turn Evaluation

• ارزیابی مدل‌های چندوجهی Multi-Modal Evaluation

• آزمایشگاه: مجموعه‌های تست بر اساس معماری Lab: Test Suites by Architecture

• آزمایشگاه‌های عملی بخش پنجم Practical Labs for Section 5

نظارت و ارزیابی مستمر Monitoring & Continuous Evaluation

• ردیابی و مشاهده‌پذیری Tracing & Observability

• گیت‌های ارزیابی CI/CD CI/CD Evaluation Gates

• ارزیابی A/B و آزمایش‌ها A/B and Experiment Evaluation

• طراحی ایمنی و نرده‌های حفاظتی Safety & Guardrail Design

• آزمایشگاه: داشبورد نظارتی Lab: Monitoring Dashboard

• آزمایشگاه‌های عملی، قالب‌ها و دستورالعمل‌ها Practical Labs, Templates, and Playbooks

ارزیابی با حضور انسان در چرخه Human-in-the-Loop Evaluation

• نمونه‌برداری استراتژیک Strategic Sampling

• بهینه‌سازی رابط کاربری بازبین Reviewer Interface Optimization

• آزمایشگاه: سیستم بازخورد مستمر Lab: Continuous Feedback System

• آزمایشگاه‌ها، قالب‌ها و دستورالعمل‌ها Labs, Templates & Playbooks

بهینه‌سازی هزینه در گردش‌کارهای ارزیابی Cost Optimization in Eval Workflows

• ارزش در مقابل هزینه Value vs Spend

• مسیریابی مدل (Model Routing) Model Routing

• آزمایشگاه: پروژه بهینه‌سازی هزینه Lab: Cost Optimization Project

• آزمایشگاه‌های بهینه‌سازی هزینه، قالب‌ها و دستورالعمل‌ها Cost Optimization Labs, Templates, and Playbooks