آموزش LLMOps: ارزیابی، مشاهده‌پذیری و کیفیت - آخرین آپدیت

سرفصل ها و درس ها

معیارها و چارچوب‌های ارزیابی LLM LLM Evaluation Metrics and Frameworks

• دسته‌بندی معیارهای ارزیابی LLM LLM Evaluation Metric Categories

• طراحی مجموعه‌داده‌های ارزیابی Designing Evaluation Datasets

• ارزیابی چندبعدی Multidimensional Evaluation

• استراتژی‌های ارزیابی چندوجهی Multimodal Evaluation Strategies

• دمو: مجموعه‌داده‌های ارزیابی چندوجهی Demo: Multimodal Evaluation Datasets

مشاهده‌پذیری، ثبت وقایع و ارزیابی Observability, Logging, and Evaluation

• ثبت درخواست‌های GenAI Logging GenAI Requests

• طرح‌های لاگینگ و انطباق Logging Schemas and Compliance

• تست رگرسیون برای GenAI Regression Testing for GenAI

• خط لوله‌های ارزیابی مداوم Continuous Evaluation Pipelines

• داشبوردهای ارزیابی Evaluation Dashboards

• دمو: مشاهده‌پذیری Demo: Observability

استراتژی‌های تست خودکار Automated Testing Strategies

• هرم تست GenAI GenAI Testing Pyramid

• تست واحد (Unit Testing) اجزای LLM Unit Testing of LLM Components

• گردش‌های کاری تست یکپارچه‌سازی Integration Testing Workflows

• تست مبتنی بر ویژگی (Property-based Testing) Property-based Testing

• دمو: تست‌های GenAI Demo: GenAI Tests

شناسایی رانش و مانیتورینگ مدل Drift Detection and Model Monitoring

• انواع رانش (Drift) در سیستم‌های GenAI Types of Drift in GenAI Systems

• سیستم‌های شناسایی رانش Drift Detection Systems

• داشبوردهای مانیتورینگ Monitoring Dashboards

• تست کاناری و استقرار تدریجی Canary Testing and Rollouts

• ردیابی آزمایش‌ها و بازگشت (Rollback) Experiment Tracking and Rollback

• دمو: ردیابی آزمایش‌ها Demo: Experiment Tracking