آموزش LLMOps: ارزیابی، مشاهده‌پذیری و کیفیت - آخرین آپدیت

سرفصل ها و درس ها

معیارها و چارچوب‌های ارزیابی LLM LLM Evaluation Metrics and Frameworks

• دسته‌بندی معیارهای ارزیابی LLM LLM Evaluation Metric Categories

• طراحی مجموعه‌داده‌های ارزیابی Designing Evaluation Datasets

• ارزیابی چندبعدی Multidimensional Evaluation

• استراتژی‌های ارزیابی چندوجهی Multimodal Evaluation Strategies

• دمو: مجموعه‌داده‌های ارزیابی چندوجهی Demo: Multimodal Evaluation Datasets

مشاهده‌پذیری، لاگ‌گیری و ارزیابی Observability, Logging, and Evaluation

• ثبت وقایع درخواست‌های GenAI Logging GenAI Requests

• طرح‌های لاگ‌گیری و انطباق‌پذیری Logging Schemas and Compliance

• تست رگرسیون برای GenAI Regression Testing for GenAI

• خط لوله‌های ارزیابی مستمر Continuous Evaluation Pipelines

• داشبوردهای ارزیابی Evaluation Dashboards

• دمو: مشاهده‌پذیری Demo: Observability

استراتژی‌های تست خودکار Automated Testing Strategies

• هرم تست GenAI GenAI Testing Pyramid

• تست واحد (Unit Testing) اجزای LLM Unit Testing of LLM Components

• جریان‌های کاری تست یکپارچه‌سازی Integration Testing Workflows

• تست مبتنی بر ویژگی (Property-based Testing) Property-based Testing

• دمو: تست‌های GenAI Demo: GenAI Tests

شناسایی رانش و مانیتورینگ مدل Drift Detection and Model Monitoring

• انواع رانش (Drift) در سیستم‌های GenAI Types of Drift in GenAI Systems

• سیستم‌های شناسایی رانش Drift Detection Systems

• داشبوردهای مانیتورینگ Monitoring Dashboards

• تست کاناری و استقرار تدریجی Canary Testing and Rollouts

• ردیابی آزمایش‌ها و بازگشت (Rollback) Experiment Tracking and Rollback

• دمو: ردیابی آزمایش‌ها Demo: Experiment Tracking