آموزش تیم قرمز AI و تست نفوذ مدل‌های زبانی بزرگ (LLM) - آخرین آپدیت

سرفصل ها و درس ها

شروع به کار Getting Started

• راه‌اندازی آزمایشگاه تیم قرمز Set Up Your Red-Team Lab

مبانی تیم قرمز هوش مصنوعی Foundations of AI Red Teaming

• خوش‌آمدگویی؛ چرا تیم قرمز AI یک تخصص جدید است Welcome, Why AI Red Teaming Is a New Discipline

• درون یک LLM: توکن‌ها، کانتکست و محل قرارگیری حملات Inside an LLM, Tokens, Context, and Where Attacks Live

• چشم‌انداز تهدیدات LLM، استاندارد OWASP LLM Top 10 و MITRE ATLAS The LLM Threat Landscape, OWASP LLM Top 10 and MITRE ATLAS

• درگیر شدن تیم قرمز: محدوده (Scope)، قوانین درگیری (ROE) و مجوزها The Red-Team Engagement, Scope, ROE, and Authorization

• معرفی هدف: شرکت Stride و دستیار آن Sol Meet the Target, Stride and Its Assistant Sol

• آزمون ۱: مبانی تیم قرمز هوش مصنوعی Quiz 1 - Foundations of AI Red Teaming

• تمرین ۱: تعیین محدوده Sol و ترسیم سطح حمله Assignment 1 - Scope Sol and Map Its Attack Surface

اصول تزریق پرامپت و جیل‌بریک Prompt Injection & Jailbreaking Fundamentals

• تزریق پرامپت مستقیم: بازنویسی پرامپت سیستم Direct Prompt Injection, Overriding the System Prompt

• تزریق پرامپت غیرمستقیم: مسموم‌سازی داده‌های خوانده شده توسط مدل Indirect Prompt Injection, Poisoning the Data the Model Reads

• مبانی جیل‌بریک: نقش‌آفرینی، پرسونا و قالب‌بندی فرضی Jailbreaking 101, Roleplay, Persona, and Hypothetical Framing

• استخراج پرامپت سیستم و نشت اسرار System-Prompt Extraction and Secret Leakage

• ساخت یک محیط تست برای تزریق پرامپت Building a Prompt-Injection Test Harness

• آزمون ۲: تزریق پرامپت و جیل‌بریک Quiz 2 - Prompt Injection & Jailbreaking

• تمرین ۲: اجرای یک کمپین تزریق پرامپت Assignment 2 - Run a Prompt-Injection Campaign

جیل‌بریک پیشرفته و دور زدن فیلترها Advanced Jailbreaking & Evasion

• مبهم‌سازی و کدگذاری: Base64، Leetspeak و قاچاق توکن Obfuscation and Encoding, Base64, Leetspeak, Token Smuggling

• حملات چندمرحله‌ای و Crescendo Multi-Turn and Crescendo Attacks

• جیل‌بریک‌های Many-Shot و پنجره کانتکست Many-Shot and Context-Window Jailbreaks

• تولید خودکار جیل‌بریک: GCG و پسوندهای خصمانه Automated Jailbreak Generation, GCG and Adversarial Suffixes

• دور زدن از طریق زبان‌های متقاطع و زبان‌های کم‌منبع Cross-Lingual and Low-Resource-Language Bypass

• آزمون ۳: جیل‌بریک پیشرفته و دور زدن فیلترها Quiz 3 - Advanced Jailbreaking & Evasion

• تمرین ۳: ساخت ماتریس دور زدن (Evasion Matrix) Assignment 3 - Build an Evasion Matrix

ورودی‌های خصمانه و حملات داده‌ای Adversarial Inputs & Data Attacks

• مثال‌های خصمانه برای مدل‌های طبقه‌بندی و نظارت (Moderation) Adversarial Examples for Classifiers and Moderation Models

• استخراج داده‌های آموزشی و استنتاج عضویت Training-Data Extraction and Membership Inference

• مسموم‌سازی داده‌ها و حملات درگاه پشتی (Backdoor) Data Poisoning and Backdoor Attacks

• حملات سرقت و استخراج مدل Model Theft and Extraction Attacks

• آزمون ۴: ورودی‌های خصمانه و حملات داده‌ای Quiz 4 - Adversarial Inputs & Data Attacks

• تمرین ۴: مسموم‌سازی و شناسایی یک درگاه پشتی Assignment 4 - Poison and Detect a Backdoor

حمله به اپلیکیشن‌ها و ایجنت‌های LLM Attacking LLM Applications & Agents

• حمله به RAG: مسموم‌سازی بازیابی و تزریق کانتکست Attacking RAG, Retrieval Poisoning and Context Injection

• سوءاستفاده از فراخوانی ابزارها و توابع: از متن تا عمل Tool and Function-Calling Abuse, From Text to Action

• دسترسی‌های بیش از حد و اکسپلویت ایجنت‌های چندگانه Excessive Agency and Multi-Agent Exploitation

• آزمون ۵: حمله به اپلیکیشن‌ها و ایجنت‌های LLM Quiz 5 - Attacking LLM Apps & Agents

• تمرین ۵: مستندسازی زنجیره کشتار (Kill Chain) Assignment 5 - Kill-Chain Write-Up

دفاعات، گاردریل‌ها و مقاوم‌سازی Defenses, Guardrails & Hardening

• دفاع در عمق برای اپلیکیشن‌های LLM Defense in Depth for LLM Applications

• مدیریت ناامن خروجی: XSS، SSRF و اجرای کد (RCE) Insecure Output Handling, XSS, SSRF, and Code Execution

• گاردریل‌های ورودی و خروجی: فیلترها، طبقه‌بندها و توکن‌های قناری Input and Output Guardrails, Filters, Classifiers, Canary Tokens

• مقاوم‌سازی پرامپت سیستم و جداسازی امتیازات System-Prompt Hardening and Privilege Separation

• امن‌سازی RAG و ابزارهای ایجنتی: حداقل دسترسی و سندباکسینگ Securing RAG and Agentic Tool Use, Least Privilege and Sandboxing

• شناسایی و مانیتورینگ حملات در محیط عملیاتی Detecting and Monitoring Attacks in Production

• آزمون ۶: دفاعات، گاردریل‌ها و مقاوم‌سازی Quiz 6 - Defenses, Guardrails & Hardening

• تمرین ۶: طراحی یک برنامه مقاوم‌سازی دفاع در عمق Assignment 6 - Design a Defense-in-Depth Hardening Plan

اتوماسیون تیم قرمز و ابزارها Automated Red Teaming & Tooling

• زنجیره ابزارهای تیم قرمز AI: Garak، PyRIT و promptfoo The AI Red-Team Toolchain, Garak, PyRIT, promptfoo

• اسکن با Garak: پروب‌ها، شناسایی‌کننده‌ها و گزارش‌ها Scanning with Garak, Probes, Detectors, Reports

• مدیریت حملات با استفاده از PyRIT Orchestrating Attacks with PyRIT

• تیم قرمز مستمر در خط لوله CI/CD Continuous Red Teaming in CI-CD

• آزمون ۷: اتوماسیون تیم قرمز و ابزارها Quiz 7 - Automated Red Teaming & Tooling

• تمرین ۷: ساخت یک خط لوله تیم قرمز مستمر Assignment 7 - Build a Continuous Red-Team Pipeline

حاکمیت، گزارش‌نویسی و پروژه نهایی Governance, Reporting & Capstone

• نوشتن گزارش تیم قرمز: یافته‌ها، شدت خطر و شواهد Writing the Red-Team Report, Findings, Severity, Evidence

• چارچوب‌ها و انطباق: NIST AI RMF، EU AI Act و ISO 42001 Frameworks and Compliance, NIST AI RMF, EU AI Act, ISO 42001

• افشای مسئولانه و ایجاد یک برنامه AI مقاوم Responsible Disclosure and Building a Resilient AI Program

• پروژه نهایی: اجرای کامل عملیات تیم قرمز علیه Stride Capstone, Full Red-Team Engagement Against Stride

• آزمون ۸: حاکمیت، گزارش‌نویسی و پروژه نهایی Quiz 8 - Governance, Reporting & Capstone

• تمرین ۸: نوشتن گزارش نهایی عملیات Stride/Sol Assignment 8 - Write the Stride/Sol Engagement Report

• امتحان نهایی: تیم قرمز AI (۳۰ سوال) Final Exam - AI Red Teaming (30 Questions)

بخش اضافی Extra

• واژه‌نامه اصطلاحات تیم قرمز هوش مصنوعی Glossary of AI Red Teaming Terms