آموزش ارزیابی‌های هوش مصنوعی برای همه: چگونه غیرمهندسان می‌توانند با هوش انسانی سیستم‌های AI بهتری بسازند - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• شما می‌توانید سیستم‌های AI بهتری بسازید You can build better AI systems

1. ساخت اولین ارزیابی AI شما: ردتیمینگ (Red Teaming) 1. Building Your First AI Evaluation: Red Teaming

• چرا ارزیابی‌های AI اهمیت دارند Why AI evals are important

• مقدمه‌ای بر مینی-پروژه (تمرین ردتیمینگ فروشگاه پیتزا) Introduction to the mini project (pizza shop red teaming exercise)

• ردتیمینگ و سایر ارزیابی‌ها در عمل Red teaming and other evals in practice

• کارگاه جامع ردتیمینگ AI از ابتدا تا انتها An AI red teaming workshop end-to-end

2. ارزیابی‌های بافت‌محور هوش مصنوعی 2. AI Contextual Evaluations

• مینی-پروژه: انتخاب و توجیه استراتژی ارزیابی Mini project: Select and justify your evaluation strategy

• نگاشت فضاهای مسئله: رویکردهای تاکسونومیک در مقابل هستی‌شناسی/گراف دانش Mapping problem spaces: Taxonomical vs. ontological/knowledge graph approaches

3. طراحی تاکسونومی‌ها و هستی‌شناسی‌ها 3. Designing Taxonomies and Ontologies

• طیف ارزیابی: از کاملاً خودکار تا کاملاً انسانی The evaluation spectrum: From fully automated to fully human

• تاکسونومی‌ها و هستی‌شناسی‌ها در عمل Taxonomies and ontologies in practice

• مینی-پروژه: راه‌اندازی تاکسونومی شما Mini project: Setting up your taxonomy

4. شناسایی حالت‌های شکست AI 4. Identifying AI Failure Modes

• گمراهی و اتکای بیش از حد Misdirection and over-reliance

• مینی-پروژه: شناسایی ریسک‌های اولویت‌دار برای نظرات جعلی رستوران پیتزا Mini project: Identify priority risks for fake pizza restaurant reviews

• ریسک‌های امنیتی و تقابلی Security and adversarial risks

• سوگیری در داده‌ها و مدل‌ها Bias in data and models

• واقع‌گرایی و توهمات (Hallucinations) Factuality and hallucinations

5. اجرای ارزیابی 5. Running the Evaluation

• بهترین روش‌های ردتیمینگ Red teaming best practices

• مینی-پروژه: پیش‌نویس برنامه ردتیمینگ شما Mini project: Draft your red teaming plan

• انتخاب پرامپت و طراحی سناریو (حاکمیت) Prompt selection and scenario design (governance)

• بررسی تخصصی و برچسب‌گذاری در ردتیمینگ Expert review and annotation in red teaming

6. پروژه نهایی: از یافته‌ها تا تصمیم‌گیری 6. Final Project: From Findings to Decision

• حالا چه کنیم؟ کار با نتایج ردتیمینگ Now what? Working with red team results

• استراتژی‌های کاهش ریسک و نرده‌های حفاظتی (Guardrails) Mitigation strategies and guardrails

• منابع تکمیلی و گام‌های بعدی Additional resources and next steps

• مینی-پروژه: انتخاب بهترین مدل AI و نهایی کردن ارزیابی Mini project: Select the best AI model and finalize your evaluation

• تحلیل و معنابخشی به داده‌های ردتیمینگ Making sense of red teaming data