آموزش ارزیابی و مشاهده‌پذیری ایجنت‌های هوش مصنوعی LLM با Galileo AI - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• چرا ارزیابی‌ها و مشاهده‌پذیری LLM مهم هستند؟ Why LLM evaluations and observability?

• نکات دوره Course tips

• این دوره درباره چیست؟ What is this course?

• نقشه راه دوره Course roadmap

• منابع Resources

• درباره مدرس About the instructor

• کلیدهای موفقیت Keys to success

• راه‌های ارتباطی Ways to reach out

• ثبت امتیاز Leave a rating

• تماشا با کیفیت 1080p Watch in 1080p

مشاهده‌پذیری LLM و ایجنت LLM / Agent Observability

• از مانیتورینگ سنتی تا مشاهده‌پذیری Traditional monitoring to observability

• چرا سیستم‌های AI به مشاهده‌پذیری نیاز دارند؟ Why AI systems need observability

• اجزای کلیدی مشاهده‌پذیری LLM Key components of LLM observability

ارزیابی‌های LLM و ایجنت LLM / Agent Evaluations

• چرا ارزیابی‌ها حیاتی هستند؟ Why evaluations are critical

• انواع و رویکردهای ارزیابی LLM Types and approaches for LLM evaluations

• چالش‌های ارزیابی LLM Challenges to LLM evaluations

مشاهده‌پذیری و ارزیابی LLM در مقابل ML سنتی Observability and Evaluations for LLMs vs Traditional ML

• چالش‌های منحصر‌به‌فرد مشاهده‌پذیری LLM در مقابل ML سنتی Unique challenges to LLM observability vs. traditional ML

• عوامل ریسک و هزینه خاص در مشاهده‌پذیری و ارزیابی LLM Unique risk and cost factors to LLM observability and evaluations

• حلقه‌های تکرار و چرخه حیات در توسعه LLM Iteration and lifecycle loops in LLM development

ابزارها و رویکردهای مشاهده‌پذیری و ارزیابی LLM Tools and Approaches for LLM Observability and Evaluations

• چرا به یک پلتفرم تخصصی نیاز است؟ Why a dedicated platform is needed

• چشم‌انداز پلتفرم‌های مشاهده‌پذیری و ارزیابی Landscape of obsevability and evaluation platforms

بررسی عمیق و راه‌اندازی پلتفرم Galileo Galileo Platform Deep-Dive Overview and Setup

• Galileo چیست؟ What is Galileo

• یکپارچه‌سازی‌ها Integrations

• مشکلات و راهکارهای Galileo Problems and solutions with Galileo

• قیمت‌گذاری Pricing

• ساخت حساب کاربری Galileo Create a Galileo account

• کلون کردن مخزن (Repo) Clone the repo

• تنظیمات مخزن و محیط محلی Repo and local setup

ثبت تعاملات LLM با Galileo Logging LLM Interactions with Galileo

• مقدمه‌ای بر مشاهده‌پذیری Observability intro

• اصطلاحات لاگ‌گیری Logging terminology

• چرا لاگ بگیریم؟ و روش‌های مختلف لاگ‌گیری Why log and different methods of logging

• مبانی لاگ‌گیری دستی Manual logging basics

• انواع Span و متاداده‌ها Span types and metadata

• دکوراتور لاگ (Log Decorator) Log decorator

• SDKهای OpenAI در Galileo Galileo OpenAI SDK

• شبیه‌سازی یک اپلیکیشن LLM Simulation an LLM app

• مشاهده نتایج فراخوانی LLM در داشبورد Galileo Viewing results of LLM call in Galileo dashboard

• جمع‌آوری لاگ‌ها از فراخوانی‌های واقعی ایجنت Real agent calls gathering logs

• گراف ایجنت (Agent Graph) Agent graph

• یافتن سرنخ‌های ابزارهای معیوب و فراخوانی‌های LLM در گراف ایجنت Agent graph finding clues on bad tools and LLM calls

• لاگ‌گیری، هشدارها، سیگنال‌ها و نمونه‌برداری معیارها Logging, alerts, signals, and metric sampling

ارزیابی عملکرد LLM با Galileo Evaluating LLM Performance with Galileo

• از مشاهده تا ارزیابی From observation to evaluation

• شباهت‌سازی با ارزیابی AI Analogy to AI evaluation

• آزمایش‌ها و معیارها Experiments and metrics

• ساخت مجموعه‌داده (Dataset) Dataset creation

• متاداده‌ها Metadata

• نسخه‌بندی Versioning

• محیط آزمایشگاهی (Playground) آزمایش‌ها Experiments playground

• کدهای مربوط به آزمایش‌ها Experiments code

• معیارهای پاسخ جعبه‌ای (Box Response) Metrics box response

• معیارهای ایمنی و انطباق Metrics safety and compliance

• بیان و اطمینان (Expression and Confidence) Expression and confidence

• معیارهای ایجنتی (Agentic Metrics) Agentic metrics

• معیارهای ایجنت ۲ Agent metrics 2

• معیارهای محلی Local metrics

• معیارهای ثبت شده Registered metrics

• LLM به عنوان داور (LLM as judge) LLM as judge

• مهندسی پرامپت Prompt egineering

• استفاده از LLM به عنوان داور برای کدها و سایر انواع خروجی LLM as judge using code and other output types

جمع‌بندی Conclusion

• جمع‌بندی و گواهینامه Conclusion and Certification