آموزش ارزیابی مدل‌های زبانی بزرگ (LLM) و تکنیک‌های Grounding - آخرین آپدیت

مقدمه Introduction

• راه‌اندازی محیط LLM Setting up your LLM environment

• درک تکنیک‌های Grounding برای LLMها Understanding grounding techniques for LLMs

1. توهمات پایه در LLM 1. Basic LLM Hallucinations

• چالش: یافتن یک توهم Challenge: Finding a hallucination

• توهم چیست؟ What is a hallucination?

• مقایسه توهمات در LLMهای مختلف Comparing hallucinations across LLMs

• راه حل: یافتن یک توهم Solution: Finding a hallucination

• مثال‌هایی از توهمات Hallucination examples

• خطرات توهمات Dangers of hallucinations

2. انواع توهمات 2. Types of Hallucinations

• استخراج ناقص اطلاعات Incomplete information extraction

• امتناع از پاسخ‌دهی Declining to respond

• ارجاعات نادرست Bad citations

• تکنیک‌های نمونه‌برداری و تنظیمات LLM LLM sampling techniques and adjustments

• آموزش LLMها روی داده‌های حساس به زمان Training LLMs on time-sensitive data

• پاسخ‌های مبهم Ambiguous responses

• ساختار خروجی نادرست Incorrect output structure

• داده‌های آموزشی با کیفیت پایین Poorly curated training data

• توهمات در تنظیم دقیق (Fine-tuning) Fine-tuning hallucinations

• وفاداری و زمینه (Context) Faithfulness and context

3. کاهش توهمات 3. Mitigating Hallucinations

• یادگیری Few-shot Few-shot learning

• تولید تقویت‌شده با بازیابی (RAG) Retrieval-augmented generation

• تنظیم دقیق مدل برای کاهش توهمات Model fine-tuning for mitigating hallucinations

• به‌روزرسانی نسخه‌های مدل LLM Updating LLM model versions

• چالش: اتوماسیون نظرات فروشگاه اینترنتی با LLMها Challenge: Automating ecommerce reviews with LLMs

• استدلال زنجیره افکار (Chain of Thought) Chain of thought reasoning

• قالب‌های ساختاریافته Structured templates

• مدیریت جریان‌های کاری از طریق مسیریابی مدل Orchestrating workflows through model routing

• راه حل: اتوماسیون نظرات فروشگاه اینترنتی با LLMها Solution: Automating ecommerce reviews with LLMs

4. شناسایی توهمات 4. Detecting Hallucinations

• تست کاربر LLM در دنیای واقعی Real-world LLM user testing

• بهینه‌سازی پرامپت‌ها با DSPY Optimizing prompts with DSPY

• چالش: ساخت یک عامل اطلاعات عمومی هوش مصنوعی جامع‌تر Challenge: A more well-rounded AI trivia agent

• راه حل: ساخت یک عامل اطلاعات عمومی هوش مصنوعی جامع‌تر Solution: A more well-rounded AI trivia agent

• ایجاد خط لوله‌های ارزیابی LLM Creating LLM evaluation pipelines

• سیستم‌های Human-in-the-loop (انسان در حلقه) Human-in-the-loop systems

• مدل‌های تخصصی برای شناسایی توهمات Specialized models for hallucination detection

• خط لوله‌های خودارزیابی LLM LLM self-assessment pipelines

• ساخت مجموعه داده‌های ارزیابی Building an evaluation dataset

• بهینه‌سازی شناسایی توهمات با DSPY Optimizing hallucination detections with DSPY

5. بررسی مقالات توهمات 5. Hallucination Paper Review

• Ragas: مقاله ارزیابی Ragas: Evaluation paper

• توهمات در مدل‌های ترجمه چندزبانه بزرگ Hallucinations in large multilingual translation models

• تنظیم ساعت: تنظیم دقیق زمانی LLM Set the Clock: LLM temporal fine-tuning

• مرور مقالات توهمات Review of hallucination papers

• آیا LLMها می‌دانند چه چیزی را نمی‌دانند؟ Do LLMs know what they don’t know?

جمع‌بندی Conclusion

• ادامه تمرین تکنیک‌های Grounding برای LLMها Continue your practice of grounding techniques for LLMs