آموزش امنیت محصولات هوش مصنوعی: تست، اعتبارسنجی و نگهداری - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• آنچه باید بدانید What you should know

• سلب مسئولیت Disclaimer

• تضمین استفاده امن و مسئولانه از هوش مصنوعی Ensuring safe and responsible use of AI

1. مدیریت موارد تست 1. Test Case Management

• راه‌اندازی آزمایشگاه تست Setting up a testing lab

• تست امنیتی با KiwiTCMS Security testing with KiwiTCMS

• الزامات تست در استانداردهای هوش مصنوعی Testing requirements in AI standards

• آشنایی با HuggingFace Introduction to HuggingFace

• تست امنیتی برای اپلیکیشن‌های هوش مصنوعی Security testing for AI applications

• مدیریت موارد تست با KiwiTCMS Test case management with KiwiTCMS

• مدیریت مدل‌های محلی با ollama Managing local models with ollama

• مقدمه‌ای بر امنیت هوش مصنوعی Introduction to AI security

• درک تهدیدات هوش مصنوعی Understanding AI threats

2. درک حملات 2. Understanding Attacks

• تزریق افکار (Injecting thoughts) Injecting thoughts

• حل چالش LOTR Solving the LOTR challenge

• تست تزریق پرامپت (Prompt Injection) Testing for prompt injection

• چالش‌های کدهای ایجنتی (Agentic Code) Challenges with agentic code

• آلودگی در هنگام دانلود Compromise during download

• شکستن قوانین Breaking the rules

• هنر تست هوش مصنوعی The ART of AI testing

• دسترسی به شل (Getting a shell) Getting a shell

• پیش‌بینی اسرار Predicting secrets

• نصب اپلیکیشن آسیب‌پذیر LLM Installing the vulnerable LLM application

3. تست امن و مسئولانه مدل‌های هوش مصنوعی 3. Responsible and Secure AI Model Testing

• اسکن فایل‌های pickle Scanning pickle files

• تست سمیت (Toxicity) Testing for toxicity

• بررسی جامع نظارت All along the watchtower

• آشنایی با DeepEval Introduction to DeepEval

• اسکن آسیب‌پذیری با garak Vulnerability scanning with garak

• اسکن پیشرفته برای مدل‌های مخرب Advanced scanning for malicious models

• تست مرتبط بودن (Relevance) Testing for relevance

• ابزارهای تست هوش مصنوعی AI testing tools

• توهمات با lettuce Hallucinations with lettuce

• مدل‌های گاردریل (Guardrail) Guardrail models

4. تیم قرمز (Red Teaming) 4. Red Teaming

• تیم قرمز هوش مصنوعی چیست؟ What is AI red teaming?

• آماده‌سازی هدف Preparing the target

• اجرای تیم قرمز روی تجهیزات هوش مصنوعی Red teaming our AI appliance

5. تست عملیاتی 5. Operational Testing

• لایه‌های پنهان هوش مصنوعی Hidden layers of AI

• اجرای LLM guard Running the LLM-guard

• گاردریل‌های هوش مصنوعی AI guardrails

• تست گاردریل EnkryptAI Testing the EnkryptAI guardrail

کنترل دسترسی Access Control

• ایجاد مدل کنترل دسترسی Creating the access control model

• آماده‌سازی برای کنترل دسترسی Preparing to control access

• کنترل دسترسی در عمل Access control in action

جمع‌بندی Conclusion

• گام‌های بعدی چیست؟ What's next?