آموزش راهنمای جامع ارزیابی مدل‌های زبانی بزرگ (LLMs) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• ارزیابی LLMها: مقدمه Evaluating LLMs: Introduction

1. مبانی ارزیابی LLM 1. Foundations of LLM Evaluation

• سرفصل‌ها Topics

• مقدمه‌ای بر ارزیابی: چرا اهمیت دارد Introduction to evaluation: Why it matters

• معیارهای کلیدی برای وظایف رایج Key metrics for common tasks

• مقایسه وظایف مولد در مقابل وظایف درک مطلب Generative versus understanding tasks

2. ارزیابی وظایف مولد 2. Evaluating Generative Tasks

• ارزیابی وظایف پاسخ متن آزاد، بخش دوم Evaluating free text response tasks, part 2

• ارزیابی وظایف چندگزینه‌ای Evaluating multiple-choice tasks

• نظارت هوش مصنوعی بر هوش مصنوعی: LLM در نقش داور AIs supervising AIs: LLM as a judge

• ارزیابی وظایف پاسخ متن آزاد، بخش اول Evaluating free text response tasks, part 1

• سرفصل‌ها Topics

3. ارزیابی وظایف درک مطلب 3. Evaluating Understanding Tasks

• ساخت طبقه‌بندی‌کننده LLM با BERT و GPT Building an LLM classifier with BERT and GPT

• سرفصل‌ها Topics

• ارزیابی وظایف جاسازی (Embedding) Evaluating embedding tasks

• ارزیابی وظایف طبقه‌بندی Evaluating classification tasks

4. استفاده موثر از بنچمارک‌ها 4. Using Benchmarks Effectively

• تحلیل بنچمارک‌های رایج Interrogating common benchmarks

• سرفصل‌ها Topics

• نقش بنچمارک‌ها The role of benchmarks

• ارزیابی LLMها با استفاده از بنچمارک‌ها Evaluating LLMs with benchmarks

5. بررسی LLMها برای مدل جهانی 5. Probing LLMs for a World Model

• سرفصل‌ها Topics

• بررسی LLMها برای سنجش دانش Probing LLMs for knowledge

• بررسی LLMها برای بازی کردن Probing LLMs to play games

6. ارزیابی تنظیم دقیق (Fine Tuning) مدل‌های زبانی 6. Evaluating LLM Fine-Tuning

• سرفصل‌ها Topics

• معیارهای موفقیت در تنظیم دقیق (Fine Tuning) Metrics for fine-tuning success

• ارزیابی و پاک‌سازی داده‌ها Evaluating and cleaning data

• اهداف تنظیم دقیق Fine-tuning objectives

• نمایش عملی: ارزیابی تنظیم دقیق Practical demonstration: Evaluating fine-tuning

7. مطالعات موردی 7. Case Studies

• اندازه‌گیری سیستم‌های تولید تقویت شده با بازیابی (RAG) Measuring retrieval-augmented generation (RAG) systems

• رگرسیون سری‌های زمانی Time-series regression

• سرفصل‌ها Topics

• ارزیابی ایجنت‌های هوش مصنوعی: اتوماسیون وظایف و یکپارچگی ابزارها Evaluating AI agents: Task automation and tool integration

• ساخت و ارزیابی موتور توصیه با استفاده از LLMها Building and evaluating a recommendation engine using LLMs

• استفاده از ارزیابی برای مقابله با رانش هوش مصنوعی (AI Drift) Using evaluation to combat AI drift

8. خلاصه ارزیابی و چشم‌انداز آینده 8. Summary of Evaluation and Looking Ahead

• چشم‌انداز آینده: روندهای ارزیابی LLM Looking ahead: Trends in LLM evaluation

• زمان و نحوه ارزیابی When and how to evaluate

• سرفصل‌ها Topics

نتیجه‌گیری Conclusion

• ارزیابی LLMها: جمع‌بندی Evaluating LLMs: Summary