آموزش مهندسی امنیت برای سیستم‌های هوش مصنوعی عامل‌محور (Agentic AI) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه دوره: چرا امنیت هوش مصنوعی عامل‌محور اهمیت دارد (پیش‌نمایش) Course Introduction: Why Agentic AI Security Matters Preview

• نحوه استفاده از این مسترکلاس (پیش‌نمایش) How to Use This Masterclass Preview

ماژول ۱ — دنیای امنیت هوش مصنوعی عامل‌محور Module 1 — The Agentic AI Security Universe

• چه چیزی هوش مصنوعی عامل‌محور را متفاوت می‌کند؟ What Makes Agentic AI Different?

• انواع عامل‌ها (مبتنی بر ابزار، RAG، برنامه‌ریز-مجرا، چند-عاملی) (پیش‌نمایش) Types of Agents (Tool-based, RAG, Planner–Executor, Multi-agent) Preview

• سطح حمله جدید در هوش مصنوعی The New AI Attack Surface

• ریسک‌های خودمختاری، تفویض اختیار و برنامه‌ریزی Autonomy, Delegation, and Planning Risks

• چرا امنیت سایبری سنتی برای عامل‌ها شکست می‌خورد Why Traditional Cybersecurity Fails for Agents

• ریسک‌های تعامل انسان و عامل Human–Agent Interaction Risks

• رویدادهای واقعی: حوادث Copilot، Replit و AutoGPT Real-World Events: Copilot, Replit, AutoGPT Incidents

• پایه‌های معماری امن هوش مصنوعی Foundations of Secure AI Architecture

• ساخت تفکر امنیتی برای عصر هوش مصنوعی Building a Security Mindset for AI Era

• آزمایشگاه 1A: ساخت اولین عامل خود Lab 1A - Build Your First Agent

• آزمایشگاه 1B: نقشه‌برداری از ریسک‌های امنیتی Lab 1B - Map Security Risks

ماژول ۲ — تسلط بر یکپارچگی اهداف عامل Module 2 — Mastering Agent Goal Integrity

• «هدف عامل» واقعاً به چه معناست؟ What Does 'Agent Goal' Actually Mean?

• سیستم‌های برنامه‌ریزی و حالت‌های شکست Planning Systems & Failure Modes

• انحراف هدف، ربایش هدف و تزریق هدف Goal Drift, Goal Hijack, Goal Injection

• کانال‌های دستورات پنهان Hidden Instruction Channels

• اکسپلویت‌های هدف مبتنی بر تریگر (Trigger) Trigger-Based Goal Exploits

• مهندسی دفاعی اهداف Defensive Goal Engineering

• منشأ قصد و کپسول‌ها Intent Provenance & Capsules

• مانیتورینگ پیش‌بینانه انحراف هدف Predictive Goal Drift Monitoring

• نحوه حسابرسی قصد عامل How to Audit Agent Intent

• آزمایشگاه 2A: حمله ربایش هدف LAB 2A - Goal Hijack Attack

• آزمایشگاه 2B: اعتبارسنج هدف (Intent Validator) LAB 2B - Intent Validator

• آزمایشگاه 2C: شناسایی انحراف خاموش هدف Lab 2C - Detecting Silent Goal Drift

ماژول ۳ — امنیت ابزارها، سندباکسینگ و ایمنی اجرا Module 3 — Tool Security, Sandboxing & Execution Safety

• درک رابط‌های ابزاری (Tool Interfaces) Understanding Tool Interfaces

• عامل‌ها چگونه ابزارها را انتخاب می‌کنند How Agents Select Tools

• سوءاستفاده از ابزار و تفویض اختیار ناامن Tool Misuse & Unsafe Delegation

• موردهای واقعی نفوذ در محیط واقعی Real Compromises in the Wild

• طراحی یک زنجیره ابزار ایمن Designing a Secure Toolchain

• سندباکسینگ (Docker, VM, WASM) Sandboxing (Docker, VM, WASM)

• شناسایی سوءاستفاده از ابزار Detecting Tool Abuse

• کنترل خروجی (Egress) و جلوگیری از استخراج داده‌ها Egress Control & Exfiltration Prevention

• محدودیت نرخ (Rate Limits) و کنترل شعاع تخریب Rate Limits & Blast Radius Control

• ارکستراسیون امن Secure Orchestration

• آزمایشگاه 3A: اکسپلویت سوءاستفاده از ابزار LAB 3A - Exploit Tool Misuse

• آزمایشگاه 3B: ابزارهای با حداقل دسترسی (Least Privilege) Lab 3B - Least Privilege Tools

• آزمایشگاه 3C: سندباکس پایتون LAB 3C - Python Sandbox

ماژول ۴ — هویت AI، کنترل‌های دسترسی و امنیت اعتبارنامه‌ها Module 4 — AI Identity, Access Controls & Credential Security

• مدل‌های هویت غیرانسانی Non-Human Identity Models

• امتیازات تفویض شده و ارتقاء سطح دسترسی Delegated Privileges & Escalation

• حملات معاون گیج شده (Confused Deputy) Confused Deputy Attacks

• جعل هویت عامل و هویت‌های مصنوعی Agent Impersonation & Synthetic Identities

• نشت اعتبارنامه‌ها و ریسک‌های نشست (Session) Credential Leakage & Session Risks

• اجرای سیاست‌ها به عنوان کد (Policy as Code) Policy-as-Code Enforcement

• محدوده‌بندی هویت و مرزهای قابلیت‌ها Identity Scoping & Capability Boundaries

• پلتفرم‌های IAM: Entra, Bedrock, AgentForce IAM Platforms: Entra, Bedrock, AgentForce

• هویت Zero Trust برای عامل‌ها Zero-Trust Identity for Agents

• آزمایشگاه 4A: سوءاستفاده از اعتبارنامه‌ها Lab 4A - Credential Abuse

• آزمایشگاه 4B: هویت محدود شده (Scoped Identity) Lab 4B - Scoped Identity

• آزمایشگاه 4C: مجوزدهی به ازای هر عملیات Lab 4C - Per-Action Authorization

ماژول ۵ — زنجیره تأمین عامل‌محور و اعتماد به اجزاء Module 5 — Agentic Supply Chain & Component Trust

• نقشه‌برداری کامل از زنجیره تأمین Full Supply Chain Mapping

• مسموم‌سازی مجموعه‌داده‌ها و Embeddingها Dataset & Embedding Poisoning

• حملات MCP و توصیف‌گرهای ابزار MCP & Tool Descriptor Attacks

• نفوذ به ریجستری و حملات Typosquatting Registry Compromise & Typosquatting

• مستحکم‌سازی قالب‌های پرامپت (Prompt Templates) Prompt Template Hardening

• به‌روزرسانی‌های امن و بازگشت (Rollback) Secure Updates & Rollbacks

• SBOM/AIBOM و گواهی‌نامه‌ها (Attestation) SBOM/AIBOM & Attestation

• خط لوله‌های تأیید اجزاء Component Verification Pipelines

• معماری زنجیره تأمین Zero Trust Zero-Trust Supply Chain Architecture

• آزمایشگاه 5A: مسموم کردن یک قالب (Template) Lab 5A - Poison a Template

• آزمایشگاه 5B: ساخت لیست مواد تشکیل‌دهنده AI (AIBOM) Lab 5B - Build an AI Bill of Materials

• آزمایشگاه 5C: شناسایی Typosquatting Lab 5C - Detect Typosquatting

ماژول ۶ — ایمنی کد، دفاع در برابر RCE و کنترل اجرا Module 6 — Code Safety, RCE Defense & Execution Control

• عامل‌ها چگونه کد تولید می‌کنند How Agents Produce Code

• تزریق کد مبتنی بر پرامپت Prompt-Based Code Injection

• توهمات کدنویسی (Code Hallucinations) Code Hallucinations

• حملات RCE مبتنی بر وابستگی‌ها Dependency-Based RCE

• خط لوله‌های تولید کد ایمن Safe Code Generation Pipelines

• تحلیل ایستا و پویا (Static + Dynamic) Static + Dynamic Analysis

• ایزولاسیون سیستم فایل Filesystem Isolation

• سطوح خودمختاری ایمن برای عامل‌های کدنویس Safe Autonomy Levels for Coding Agents

• شناسایی الگوهای کد مخرب Detecting Malicious Code Patterns

• دفاع در برابر RCE در سطح سازمانی Enterprise RCE Defense

• آزمایشگاه 6A: حمله RCE مبتنی بر پرامپت Lab 6A - Prompt-Based RCE

• آزمایشگاه 6B: سندباکس اجرای قفل‌شده Lab 6B - Locked Execution Sandbox

• آزمایشگاه 6C: خط لوله اعتبارسنج کد Lab 6C - Code Validator Pipeline

ماژول ۷ — امنیت حافظه، بافت و پایگاه دانش Module 7 — Memory, Context & Knowledge Base Security

• انواع حافظه در عامل‌ها Memory Types in Agents

• مسموم‌سازی بافت (Context) و حافظه بلندمدت Context & Long-Term Memory Poisoning

• حملات به ذخیره‌ساز Embedding Embedding Store Attacks

• آلودگی حافظه بین کاربران مختلف Cross-User Memory Contamination

• فروپاشی خودمختاری به دلیل دانش مسموم Poisoned Knowledge Autonomy Collapse

• خط لوله‌های اعتبارسنجی حافظه Memory Validation Pipelines

• بازیابی حافظه بر اساس امتیاز اعتماد Trust-Scored Memory Retrieval

• ایزولاسیون حافظه در محیط‌های چند مستاجری Multi-Tenant Memory Isolation

• جلوگیری از بازگشت (Recursion) به خود Preventing Self-Recursion

• طراحی امن RAG Secure RAG Design

ماژول ۸ — ارتباطات چند-عاملی، پروتکل‌ها و امنیت هماهنگی Module 8 — Multi-Agent Comms, Protocols & Coordination Security

• مدل‌های ارتباطی چند-عاملی Multi-Agent Communication Models

• ریسک‌های پیام‌رسانی و نقاط ضعف Messaging Risks & Weak Links

• حملات عامل-در-میان (Agent-in-the-Middle) Agent-in-the-Middle Attacks

• حملات Replay و تخریب هماهنگی Replay Attacks & Coordination Corruption

• انحراف معنایی (Semantic Drift) بین عامل‌ها Semantic Drift Between Agents

• استفاده از mTLS و امضاها برای عامل‌ها mTLS + Signatures for Agents

• پین کردن پروتکل (Protocol Pinning) Protocol Pinning

• سیستم‌های اکتشاف امن Secure Discovery Systems

• جلوگیری از نشت کانال جانبی (Side Channel) Preventing Side-Channel Leakage

• طراحی امن سیستم‌های چند-عاملی Secure Multi-Agent Design

ماژول ۹ — شکست‌های زنجیره‌ای، ریسک‌های سیستمیک و تاب‌آوری Module 9 — Cascading Failures, Systemic Risk & Resilience

• چرا شکست‌های زنجیره‌ای رخ می‌دهند Why Cascading Failures Happen

• حلقه‌های برنامه‌ریز ← مجرا ← ابزار Planner → Executor → Tool Loops

• انتشار خطا بین عامل‌ها Error Propagation Across Agents

• گسست وابستگی‌های ابری و هوش مصنوعی Cloud + AI Dependency Breakages

• فروپاشی منطق کسب‌وکار (Business Logic) Business Logic Collapse

• مدارهای شکننده (Circuit Breakers) و شکست سریع (Fail Fast) Circuit Breakers & Fail-Fast

• مهندسی شعاع تخریب Blast Radius Engineering

• مشاهده‌پذیری (Observability) هوش مصنوعی AI Observability

• معماری عامل تحمل‌پذیر در برابر خطا Fault-Tolerant Agent Architecture

ماژول ۱۰ — اعتماد انسان به عامل، روانشناسی و دفاع در برابر دست‌کاری Module 10 — Human-Agent Trust, Psychology & Manipulation Defense

• سوگیری انسانی و دست‌کاری توسط AI Human Bias & AI Manipulation

• مهندسی اجتماعی از طریق هوش مصنوعی Social Engineering via AI

• حملات توضیح‌پذیری جعلی Fake Explainability Attacks

• توهمات اقتدار (Authority Illusions) Authority Illusions

• ایمنی روانشناختی Psychological Safety

• اندیکاتورهای ریسک در تجربه کاربری (UX) UX Risk Indicators

• سیستم‌های توصیه امن Secure Recommendation Systems

• جلوگیری از زبان دست‌کارانه (Manipulative Language) Preventing Manipulative Language

• الگوهای انسان-در-حلقه (Human-in-the-loop) Human-in-the-loop Patterns

• کاهش سوگیری اتوماسیون Automation Bias Reduction

ماژول ۱۱ — عامل‌های سرکش، عدم هم‌سویی و امنیت رفتاری Module 11 — Rogue Agents, Misalignment & Behavioral Security

• چه چیزی یک عامل را «سرکش» می‌کند؟ What Makes an Agent Rogue?

• عدم هم‌سویی نوظهور (Emergent Misalignment) Emergent Misalignment

• تبانی عامل‌ها (Agent Collusion) Agent Collusion

• هک پاداش (Reward Hacking) Reward Hacking

• شناسایی انحراف رفتاری Behavioral Drift Detection

• مرزهای خودمختاری Autonomy Boundaries

• موتورهای محدودکننده (Constraint Engines) Constraint Engines

• کلیدهای قطع اضطراری (Kill Switches) Kill Switches

• مانیتورینگ یکپارچگی رفتاری Behavioral Integrity Monitoring

• چارچوب امن شناسایی عامل‌های سرکش Secure Rogue Detection Framework

ماژول ۱۲ — پروژه نهایی: ساخت یک سیستم عامل‌محور ایمن Module 12 — Capstone: Build a Secure Agentic System

• طراحی معماری امن برای عامل‌ها Secure Agent Architecture Design

• ادغام هویت، ابزارها، حافظه و ارتباطات Integrating Identity, Tools, Memory, Comms

• نوشتن یک مدل تهدید (Threat Model) Writing a Threat Model

• تیم قرمز (Red Teaming) برای عامل شما Red-Teaming Your Agent

• مستحکم‌سازی برای محیط عملیاتی (Production) Hardening for Production

جمع‌بندی دوره Course Conclusion

• یادداشت نهایی و جمع‌بندی برای فراگیران Conclusion Note to Learners