آموزش ارزیابی کاربردهای مدل‌های زبانی بزرگ (LLM) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• دانلود منابع دوره Download Course Materials

بخش ۱: مبانی ارزیابی LLM Section 1: Foundations of LLM Evaluation

• انواع ارزیابی‌ها – درونی در مقابل بیرونی Types of evaluations – intrinsic vs extrinsic

• چه چیزی یک LLM را «خوب» می‌کند؟ (دقت، مفید بودن، ایمنی، تاخیر) What makes an LLM "good"? (accuracy, helpfulness, safety, latency)

• چالش‌های ارزیابی خروجی‌های مولد Challenges in evaluating generative outputs

• کوییز – بخش ۱: مبانی ارزیابی LLM Quiz – Section 1: Foundations of LLM Evaluation

بخش ۲: ابزارگذاری و مشاهده‌پذیری Section 2: Instrumentation & Observability

• ثبت ورودی‌ها، خروجی‌ها و متاداده‌های LLM Logging LLM inputs, outputs, and metadata

• راه‌اندازی خط‌لوله‌های مشاهده‌پذیری (OpenTelemetry, Prometheus و غیره) Setting up observability pipelines (OpenTelemetry, Prometheus, etc.)

• معیارهای ردیابی (تاخیر، مصرف توکن، رضایت کاربر) Metrics to track (latency, token usage, user satisfaction)

• کوییز – بخش ۲: ابزارگذاری و مشاهده‌پذیری Quiz – Section 2: Instrumentation & Observability

بخش ۳: تحلیل سیستماتیک خطا Section 3: Systematic Error Analysis

• دسته‌بندی شکست‌های LLM (توهم، سوگیری، سمیت) Categorizing LLM failures (hallucinations, bias, toxicity)

• چارچوب‌های تحلیل ریشه خطا (Root Cause Analysis) Root cause analysis frameworks

• حلقه‌های بازخورد و استراتژی‌های ثبت خطا Feedback loops and error logging strategies

• کوییز – بخش ۳: تحلیل سیستماتیک خطا Quiz –  Section 3: Systematic Error Analysis

بخش ۴: تکنیک‌های ارزیابی و رویکردهای داور LLM Section 4: Evaluation Techniques & LLM-Judge Approaches

• ارزیابی انسانی در مقابل ارزیابی خودکار Human evaluation vs automatic evaluation

• استفاده از LLMها برای نمره‌دهی به سایر LLMها (تکنیک‌های داور LLM) Using LLMs to grade other LLMs (LLM-as-a-judge techniques)

• مقایسه جفتی و روش‌های امتیازدهی Pairwise comparison and scoring methods

• کوییز – بخش ۴: تکنیک‌های ارزیابی و رویکردهای داور LLM Quiz – Section 4: Evaluation Techniques & LLM-Judge Approaches

بخش ۵: ارزیابی سیستم‌های RAG Section 5: Evaluating RAG Systems

• تفاوت تولید متنی تقویت‌شده با بازیابی (RAG) در چیست؟ What makes Retrieval-Augmented Generation different?

• ارزیابی کیفیت بازیابی (فراخوانی، دقت، مرتبط بودن) Evaluating retrieval quality (recall, precision, relevance)

• ارزیابی ترکیبی بازیابی + تولید Combined evaluation of retrieval + generation

• کوییز – بخش ۵: ارزیابی سیستم‌های RAG Quiz – Section 5: Evaluating RAG Systems

بخش ۶: مانیتورینگ تولید و ارزیابی مداوم Section 6: Production Monitoring & Continuous Evaluation

• طراحی ارزیابی در محیط‌های عملیاتی (Production) Designing evaluation in production environments

• ادغام ارزیابی در خط‌لوله‌های CI/CD یا جریان کاری Integrating eval into CI/CD or workflow pipelines

• سیستم‌های هشدار، آستانه‌ها و پاسخ به حوادث Alerting, thresholds, and incident response

• کوییز – بخش ۶: مانیتورینگ تولید و ارزیابی مداوم Quiz – Section 6: Production Monitoring & Continuous Evaluation

بخش ۷: بررسی انسانی و بهینه‌سازی هزینه Section 7: Human Review & Cost Optimization

• ایجاد سیستم‌های مقیاس‌پذیر بررسی انسانی در چرخه (Human-in-the-Loop) Creating scalable human-in-the-loop review systems

• ایجاد تعادل بین کیفیت ارزیابی و محدودیت‌های بودجه Balancing eval quality vs budget constraints

• استراتژی‌های انتخاب مدل و توکن برای کاهش هزینه‌ها Token and model selection strategies to reduce costs

• کوییز – بخش ۷: بررسی انسانی و بهینه‌سازی هزینه Quiz – Section 7: Human Review & Cost Optimization

جمع‌بندی دوره – نکات کلیدی Course Conclusion – Key Takeaways

• جمع‌بندی دوره – نکات کلیدی Course Conclusion – Key Takeaways