آموزش ارزیابی و قابلیت اطمینان عامل‌های هوش مصنوعی - مشاهده‌پذیری و ارزیابی با Galileo AI [ویدئویی] - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• چرا ارزیابی و مشاهده‌پذیری LLM اهمیت دارد؟ Why LLM Evaluations and Observability

• این دوره درباره چیست؟ What Is This Course?

• نقشه راه دوره Course Roadmap

• درباره مدرس About the Instructor

مشاهده‌پذیری LLM و عامل‌ها LLM / Agent Observability

• از نظارت سنتی تا مشاهده‌پذیری Traditional Monitoring to Observe

• چرا سیستم‌های AI به مشاهده‌پذیری نیاز دارند؟ Why AI Systems Need Observability

• اجزای کلیدی مشاهده‌پذیری LLM Key Components of LLM Observability

ارزیابی LLM و عامل‌ها LLM / Agent Evaluations

• چرا ارزیابی‌ها حیاتی هستند؟ Why Evaluations Are Critical

• انواع و رویکردهای ارزیابی LLM Types and Approaches for LLM Evaluations

• چالش‌های ارزیابی LLM Challenges to LLM Evaluations

مشاهده‌پذیری و ارزیابی LLMها در مقابل یادگیری ماشین سنتی Observability and Evaluations for LLMs vs Traditional ML

• چالش‌های منحصربه‌فرد مشاهده‌پذیری LLM در مقابل ML سنتی Unique Challenges to LLM Observability vs. Traditional ML

• عوامل ریسک و هزینه خاص در مشاهده‌پذیری و ارزیابی LLM Unique Risk and Cost Factors to LLM Observability and Evaluations

• تکرار و چرخه‌های چرخه عمر در توسعه LLM Iteration and Lifecycle Loops in LLM Development

ابزارها و رویکردهای مشاهده‌پذیری و ارزیابی LLM Tools and Approaches for LLM Observability and Evaluations

• چرا به یک پلتفرم اختصاصی نیاز است؟ Why a Dedicated Platform Is Needed

• نمای کلی پلتفرم‌های مشاهده‌پذیری و ارزیابی Landscape of Observability and Evaluation Platforms

بررسی عمیق پلتفرم Galileo و راه‌اندازی Galileo Platform Deep-Dive Overview and Setup

• Galileo چیست؟ What Is Galileo

• یکپارچه‌سازی‌ها Integrations

• مشکلات و راهکارهای Galileo Problems and Solutions with Galileo

• قیمت‌گذاری Pricing

• ساخت حساب کاربری Galileo Create a Galileo Account

• کلون کردن مخزن (Repo) Clone the Repo

• راه‌اندازی مخزن و محیط محلی Repo and Local Setup

لاگ‌گیری تعاملات LLM با Galileo Logging LLM Interactions with Galileo

• مقدمه‌ای بر مشاهده‌پذیری Observability Intro

• اصطلاحات لاگ‌گیری Logging Terminology

• چرا لاگ بگیریم؟ و روش‌های مختلف آن Why Log and Different Methods of Logging

• مبانی لاگ‌گیری دستی Manual Logging Basics

• انواع Span و متادیتا Span Types and Metadata

• دکوراتور لاگ (Log Decorator) Log Decorator

• استفاده از SDK گالیله برای OpenAI Galileo OpenAI SDK

• شبیه‌سازی یک اپلیکیشن LLM Simulating an LLM App

• مشاهده نتایج فراخوانی LLM در داشبورد Galileo Viewing Results of LLM Call in Galileo Dashboard

• جمع‌آوری لاگ‌ها از فراخوانی‌های واقعی عامل Real Agent Calls Gathering Logs

• گراف عامل (Agent Graph) Agent Graph

• یافتن سرنخ‌های ابزارهای معیوب و فراخوانی‌های LLM در گراف Agent Graph Finding Clues on Bad Tools and LLM Calls

• لاگ‌گیری، هشدارها، سیگنال‌ها و نمونه‌برداری از معیارها Logging, Alerts, Signals, and Metric Sampling

ارزیابی عملکرد LLM با Galileo Evaluating LLM Performance with Galileo

• از مشاهده تا ارزیابی From Observation to Evaluation

• قیاس با ارزیابی AI Analogy to AI Evaluation

• آزمایش‌ها و معیارها Experiments and Metrics

• ایجاد مجموعه‌داده Dataset Creation

• متادیتا Metadata

• نسخه‌بندی Versioning

• محیط تست آزمایش‌ها (Playground) Experiments Playground

• کدنویسی آزمایش‌ها Experiments Code

• معیارهای پاسخ جعبه‌ای (Box Response) Metrics Box Response

• معیارهای ایمنی و انطباق Metrics Safety and Compliance

• بیان و سطح اطمینان Expression and Confidence

• معیارهای عامل‌محور (Agentic Metrics) Agentic Metrics

• معیارهای عامل ۲ Agent Metrics 2

• معیارهای محلی Local Metrics

• معیارهای ثبت شده Registered Metrics

• استفاده از LLM به عنوان داور LLM as Judge

• مهندسی پرامپت Prompt Engineering

• استفاده از LLM به عنوان داور برای کد و سایر خروجی‌ها LLM as Judge Using Code and Other Output Types

جمع‌بندی Conclusion

• جمع‌بندی و گواهینامه Conclusion and Certificate