آموزش ارزیابی‌های هوش مصنوعی: مبانی و نمونه‌های کاربردی - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• قدرت عامل‌های هوش مصنوعی و ارزیابی‌های AI The power of AI agents and AI evaluations

1. معرفی عامل‌های هوش مصنوعی و ارزیابی‌ها 1. Introducing AI Agents and Evaluations

• ارزیابی مزیت رقابتی و زیرساخت عامل‌های هوش مصنوعی شما Evaluating the moat and backbone of your AI agents

• درک مفهوم «مزیت رقابتی» (Moat) در عامل‌های هوش مصنوعی Understanding the "moat" in AI agents

• چرا بسیاری از عامل‌های هوش مصنوعی شکست می‌خورند؟ Why a lot of AI agents fail

• عامل‌های هوش مصنوعی چیستند؟ What are AI agents?

• چالش‌های تعریف ارزیابی‌های اختصاصی هوش مصنوعی Challenges in setting proprietary AI evaluations

• دموی سیستم‌های ارزیاب انسانی و خودکار با قابلیت کامل Demo of fully functional human and auto-evaluator systems

2. مدل‌های پایه و بنچ‌مارک‌ها در هوش مصنوعی 2. Foundation Models and Benchmarks in AI

• کارگاه عملی: انتخاب مدل مناسب با تحلیل بنچ‌مارک Hands-on lab: Choosing the right model with benchmark analysis

• درک و بهره‌برداری از بنچ‌مارک‌ها Understanding and leveraging benchmarks

• الزامات ضروری برای ارزیابی مدل‌ها Essential requirements for model evaluations

• مقدمه‌ای بر مدل‌های پایه هوش مصنوعی Introduction to AI foundation models

• تعریف نیازمندی‌ها برای ارزیابی مدل Define requirements for model evaluations

3. استراتژی‌های ارزیابی دستی و تست سطح اجزای هوش مصنوعی 3. Manual Evaluation Strategies and AI Component-Level Testing

• تعریف معیارهای ارزیابی از MVP تا نسخه نهایی (GA) Defining evaluation criteria from MVP to GA

• ارزیابی دستی بر اساس معیارها Manual evaluation with criteria

• کارگاه عملی: خودکارسازی ارزیابی AI با استفاده از LLM به عنوان داور Hands-on lab: Automating AI evaluation using LLM as judge

• تجزیه عامل‌های هوش مصنوعی به اجزای ارزیابی‌پذیر Decomposing AI agents into evaluative components

• کارگاه عملی: ارزیابی‌های خودکار Vibe code با استفاده از Cursor Hands-on lab: Vibe code auto evaluations using Cursor

• شناسایی اجزای پرخطر یا دشوار برای ارزیابی Identifying high-risk or hard-to-evaluate components

4. تکنیک‌های ارزیابی خودکار و بررسی عمیق معیارها 4. Automated Evaluation Techniques and Metrics Deep Dive

• کارگاه عملی: ساخت یک ارزیاب خودکار Hands-on lab: Building an automated evaluator

• بررسی عمیق معیارهای ارزیابی برای عامل‌های هوش مصنوعی Deep dive into evaluation metrics for AI agents

• تیم قرمز (Red Teaming): مقیاس‌بندی ارزیابی‌های خودکار بدون داده‌های مرجع (Ground Truth) Red teaming: Scaling automated evaluations without ground truth

• ارزیابی مستمر با نظارت و هشدارهای لحظه‌ای Continuous evaluation with real-time monitoring and alerts

جمع‌بندی Conclusion

• گام‌های بعدی چیست؟ What's next