آموزش ارزیابی عامل‌های هوش مصنوعی با Google ADK - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• شروع ارزیابی عامل‌های هوش مصنوعی با Google ADK Kickstart evaluation of AI agents with Google ADK

1. ارزیابی یک عامل هوش مصنوعی فعال 1. Evaluate a Working AI Agent

• مسیرها به جای رشته‌ها: تراژکتوری‌های اجرا Paths, not strings: Execution trajectories

• شروع پروژه: اجرای یک عامل تدارکات Project kickoff: Running a procurement agent

• چرا پاسخ‌های نهایی برای عامل‌ها گمراه‌کننده هستند Why final answers lie for agents

• زمانی که پاسخ «درست» خطرناک است: دموی تخطی از سیاست‌ها When “correct” is dangerous: A policy violation demo

2. آماده‌سازی عامل برای ارزیابی 2. Make the Agent Eval‑Ready

• اسکیما به عنوان قرارداد: الزام‌های Pydantic Schema as a contract: Pydantic enforcement

• اتصال ابزارها به عامل Binding tools to the agent

• اولین ارزیابی: آیا عامل ابزار درست را فراخواند؟ First eval: Did the agent call the right tool?

• ساختار پروژه ADK و فایل agent.yaml ADK project structure and agent.yaml

3. شناسایی شکست‌های منطقی 3. Expose Logic Failures

• تله‌های شبیه‌ساز: مجبور کردن عامل به استدلال Trap mocks: Forcing the agent to reason

• عیب‌یابی بصری با ADK Trace View Visual debugging with ADK Trace View

• آناتومی یک ردپا: تفکر، اقدام، مشاهده Anatomy of a trace: Thought, action, observation

4. رسمی‌سازی فرآیند ارزیابی 4. Formalizing Evaluation

• تست حافظه: تداوم بافتار (Context) Testing memory: Context persistence

• ثبت ردپاهای طلایی (Golden Traces) Capturing golden traces

• سازماندهی EvalSets برای مقیاس‌پذیری Organizing EvalSets for scale

• قوانین تطبیق تراژکتوری Trajectory matching rules

5. مقیاس‌پذیری ارزیابی با استفاده از متریک‌ها 5. Scaling Evaluation with Metrics

• متریک Pass@k و عدم قطعیت Pass@k and non‑determinism

• اجرای دسته‌های ارزیابی بدون رابط کاربری Running headless eval batches

• تفسیر امتیازات: تراژکتوری در مقابل معنایی Interpreting scores: Trajectory vs. semantic

• قابلیت اطمینان در مقابل شانس Reliability vs luck

6. داوران، گاردریل‌ها و آمادگی برای محیط عملیاتی 6. Judges, Guardrails, and Production Readiness

• رد ایمن درخواست‌ها از طریق منطق منفی Safe refusal via negative logic

• بررسی‌های مستند بودن و وفاداری به متن Groundedness and faithfulness checks

• مدل زبانی به عنوان داور (LLM-as-a-judge): روب ریک‌های سفارشی LLM‑as‑a‑judge: Custom rubrics

• گیت‌های رگرسیون در CI/CD Regression gates in CI/CD

7. جمع‌بندی و گام‌های بعدی 7. Synthesis and Next Steps

• دفترچه راهنمای عیب‌یابی: پرامپت در مقابل ابزار در مقابل مدل Debugging playbook: Prompt vs. tool vs. model

• از بررسی‌های حسی تا عامل‌های قابل تأیید From vibe checks to verifiable agents

• تبریک و ادامه مسیر Congratulations and keep going