آموزش مهندسی امنیت برای سیستم‌های هوش مصنوعی عامل‌محور (Agentic AI) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه دوره: چرا امنیت AI عامل‌محور اهمیت دارد (پیش‌نمایش) Course Introduction: Why Agentic AI Security Matters Preview

• نحوه استفاده از این مسترکلاس (پیش‌نمایش) How to Use This Masterclass Preview

ماژول 1 — دنیای امنیت هوش مصنوعی عامل‌محور Module 1 — The Agentic AI Security Universe

• چه چیزی AI عامل‌محور را متفاوت می‌کند؟ What Makes Agentic AI Different?

• انواع عامل‌ها (مبتنی بر ابزار، RAG، برنامه‌ریز-اجراکننده، چندعاملی) (پیش‌نمایش) Types of Agents (Tool-based, RAG, Planner–Executor, Multi-agent) Preview

• سطح حمله جدید AI The New AI Attack Surface

• ریسک‌های خودمختاری، تفویض اختیار و برنامه‌ریزی Autonomy, Delegation, and Planning Risks

• چرا امنیت سایبری سنتی برای عامل‌ها شکست می‌خورد؟ Why Traditional Cybersecurity Fails for Agents

• ریسک‌های تعامل انسان و عامل Human–Agent Interaction Risks

• رویدادهای دنیای واقعی: حوادث Copilot، Replit و AutoGPT Real-World Events: Copilot, Replit, AutoGPT Incidents

• مبانی معماری امن AI Foundations of Secure AI Architecture

• ساخت طرز فکر امنیتی برای عصر AI Building a Security Mindset for AI Era

• آزمایشگاه 1A: ساخت اولین عامل خود Lab 1A - Build Your First Agent

• آزمایشگاه 1B: نقشه‌برداری از ریسک‌های امنیتی Lab 1B - Map Security Risks

ماژول 2 — تسلط بر یکپارچگی اهداف عامل Module 2 — Mastering Agent Goal Integrity

• «هدف عامل» واقعاً به چه معناست؟ What Does 'Agent Goal' Actually Mean?

• سیستم‌های برنامه‌ریزی و حالت‌های شکست Planning Systems & Failure Modes

• انحراف هدف، ربایش هدف و تزریق هدف Goal Drift, Goal Hijack, Goal Injection

• کانال‌های دستورات پنهان Hidden Instruction Channels

• اکسپلویت‌های هدف مبتنی بر تریگر (محرک) Trigger-Based Goal Exploits

• مهندسی دفاعی اهداف Defensive Goal Engineering

• منشأ قصد (Intent Provenance) و کپسول‌ها Intent Provenance & Capsules

• نظارت پیش‌بینانه بر انحراف هدف Predictive Goal Drift Monitoring

• نحوه حسابرسی قصد عامل How to Audit Agent Intent

• آزمایشگاه 2A: حمله ربایش هدف LAB 2A - Goal Hijack Attack

• آزمایشگاه 2B: اعتبارسنج قصد LAB 2B - Intent Validator

• آزمایشگاه 2C: شناسایی انحراف خاموش هدف Lab 2C - Detecting Silent Goal Drift

ماژول 3 — امنیت ابزارها، سندباکسینگ و ایمنی اجرا Module 3 — Tool Security, Sandboxing & Execution Safety

• درک رابط‌های ابزار (Tool Interfaces) Understanding Tool Interfaces

• عامل‌ها چگونه ابزارها را انتخاب می‌کنند؟ How Agents Select Tools

• سوءاستفاده از ابزار و تفویض اختیار ناامن Tool Misuse & Unsafe Delegation

• موارد واقعی نفوذ در محیط عملیاتی Real Compromises in the Wild

• طراحی یک زنجیره ابزار امن Designing a Secure Toolchain

• سندباکسینگ (Docker, VM, WASM) Sandboxing (Docker, VM, WASM)

• شناسایی سوءاستفاده از ابزار Detecting Tool Abuse

• کنترل خروج (Egress) و جلوگیری از نشت داده‌ها Egress Control & Exfiltration Prevention

• محدودیت نرخ (Rate Limits) و کنترل شعاع تخریب Rate Limits & Blast Radius Control

• ارکستراسیون امن Secure Orchestration

• آزمایشگاه 3A: اکسپلویت سوءاستفاده از ابزار LAB 3A - Exploit Tool Misuse

• آزمایشگاه 3B: ابزارهای با حداقل سطح دسترسی Lab 3B - Least Privilege Tools

• آزمایشگاه 3C: سندباکس پایتون LAB 3C - Python Sandbox

ماژول 4 — شناسایی AI، کنترل‌های دسترسی و امنیت اعتبارنامه‌ها Module 4 — AI Identity, Access Controls & Credential Security

• مدل‌های شناسایی غیرانسانی Non-Human Identity Models

• امتیازات تفویض شده و ارتقاء سطح دسترسی Delegated Privileges & Escalation

• حملات Confused Deputy Confused Deputy Attacks

• جعل هویت عامل و شناسه‌های مصنوعی Agent Impersonation & Synthetic Identities

• نشت اعتبارنامه‌ها و ریسک‌های نشست (Session) Credential Leakage & Session Risks

• اجرای سیاست‌ها به عنوان کد (Policy as Code) Policy-as-Code Enforcement

• محدود کردن شناسیت و مرزهای قابلیت‌ها Identity Scoping & Capability Boundaries

• پلتفرم‌های IAM: Entra, Bedrock, AgentForce IAM Platforms: Entra, Bedrock, AgentForce

• شناسیت Zero Trust برای عامل‌ها Zero-Trust Identity for Agents

• آزمایشگاه 4A: سوءاستفاده از اعتبارنامه‌ها Lab 4A - Credential Abuse

• آزمایشگاه 4B: شناسیت محدود شده (Scoped) Lab 4B - Scoped Identity

• آزمایشگاه 4C: مجوزدهی به ازای هر اقدام Lab 4C - Per-Action Authorization

ماژول 5 — زنجیره تأمین عامل‌محور و اعتماد به اجزاء Module 5 — Agentic Supply Chain & Component Trust

• نقشه‌برداری کامل زنجیره تأمین Full Supply Chain Mapping

• مسموم‌سازی مجموعه‌داده‌ها و امبدینگ‌ها Dataset & Embedding Poisoning

• حملات MCP و توصیف‌گر ابزار MCP & Tool Descriptor Attacks

• نفوذ به ریجستری و Typosquatting Registry Compromise & Typosquatting

• مستحکم‌سازی قالب‌های پرامپت Prompt Template Hardening

• به‌روزرسانی‌های امن و بازگشت (Rollback) Secure Updates & Rollbacks

• SBOM/AIBOM و گواهی‌نامه‌ها SBOM/AIBOM & Attestation

• خط لوله‌های تأیید اجزاء Component Verification Pipelines

• معماری زنجیره تأمین Zero Trust Zero-Trust Supply Chain Architecture

• آزمایشگاه 5A: مسموم کردن یک قالب Lab 5A - Poison a Template

• آزمایشگاه 5B: ساخت لیست مواد تشکیل‌دهنده AI (AIBOM) Lab 5B - Build an AI Bill of Materials

• آزمایشگاه 5C: شناسایی Typosquatting Lab 5C - Detect Typosquatting

ماژول 6 — ایمنی کد، دفاع در برابر RCE و کنترل اجرا Module 6 — Code Safety, RCE Defense & Execution Control

• عامل‌ها چگونه کد تولید می‌کنند؟ How Agents Produce Code

• تزریق کد مبتنی بر پرامپت Prompt-Based Code Injection

• توهمات کدنویسی (Code Hallucinations) Code Hallucinations

• RCE مبتنی بر وابستگی‌ها Dependency-Based RCE

• خط لوله‌های تولید کد امن Safe Code Generation Pipelines

• تحلیل ایستا و پویا Static + Dynamic Analysis

• ایزوله‌سازی سیستم فایل Filesystem Isolation

• سطوح خودمختاری امن برای عامل‌های کدنویس Safe Autonomy Levels for Coding Agents

• شناسایی الگوهای کد مخرب Detecting Malicious Code Patterns

• دفاع در برابر RCE در سطح سازمانی Enterprise RCE Defense

• آزمایشگاه 6A: RCE مبتنی بر پرامپت Lab 6A - Prompt-Based RCE

• آزمایشگاه 6B: سندباکس اجرای قفل شده Lab 6B - Locked Execution Sandbox

• آزمایشگاه 6C: خط لوله اعتبارسنج کد Lab 6C - Code Validator Pipeline

ماژول 7 — امنیت حافظه، بافتار و پایگاه دانش Module 7 — Memory, Context & Knowledge Base Security

• انواع حافظه در عامل‌ها Memory Types in Agents

• مسموم‌سازی بافتار و حافظه بلندمدت Context & Long-Term Memory Poisoning

• حملات به ذخیره‌ساز امبدینگ Embedding Store Attacks

• آلودگی حافظه بین کاربرانی مختلف Cross-User Memory Contamination

• فروپاشی خودمختاری ناشی از دانش مسموم Poisoned Knowledge Autonomy Collapse

• خط لوله‌های اعتبارسنجی حافظه Memory Validation Pipelines

• بازیابی حافظه بر اساس امتیاز اعتماد Trust-Scored Memory Retrieval

• ایزوله‌سازی حافظه در محیط‌های چندمستاجری Multi-Tenant Memory Isolation

• جلوگیری از بازگشت (Recursion) خودکار Preventing Self-Recursion

• طراحی امن RAG Secure RAG Design

ماژول 8 — ارتباطات چندعاملی، پروتکل‌ها و امنیت هماهنگی Module 8 — Multi-Agent Comms, Protocols & Coordination Security

• مدل‌های ارتباطی چندعاملی Multi-Agent Communication Models

• ریسک‌های پیام‌رسانی و حلقه‌های ضعیف Messaging Risks & Weak Links

• حملات «عامل در میان» (Agent-in-the-Middle) Agent-in-the-Middle Attacks

• حملات Replay و فساد در هماهنگی Replay Attacks & Coordination Corruption

• انحراف معنایی (Semantic Drift) بین عامل‌ها Semantic Drift Between Agents

• استفاده از mTLS و امضا برای عامل‌ها mTLS + Signatures for Agents

• پین کردن پروتکل (Protocol Pinning) Protocol Pinning

• سیستم‌های اکتشاف امن Secure Discovery Systems

• جلوگیری از نشت کانال جانبی (Side Channel) Preventing Side-Channel Leakage

• طراحی امن سیستم‌های چندعاملی Secure Multi-Agent Design

ماژول 9 — شکست‌های زنجیره‌ای، ریسک‌های سیستمی و تاب‌آوری Module 9 — Cascading Failures, Systemic Risk & Resilience

• چرا شکست‌های زنجیره‌ای رخ می‌دهند؟ Why Cascading Failures Happen

• حلقه‌های برنامه‌ریز ← اجراکننده ← ابزار Planner → Executor → Tool Loops

• انتشار خطا بین عامل‌ها Error Propagation Across Agents

• گسست وابستگی‌های ابری و AI Cloud + AI Dependency Breakages

• فروپاشی منطق تجاری (Business Logic) Business Logic Collapse

• قطع‌کننده‌ها (Circuit Breakers) و شکست سریع (Fail Fast) Circuit Breakers & Fail-Fast

• مهندسی شعاع تخریب Blast Radius Engineering

• مشاهده‌پذیری (Observability) در AI AI Observability

• معماری عامل تحمل‌پذیر در برابر خطا Fault-Tolerant Agent Architecture

ماژول 10 — اعتماد انسان-عامل، روانشناسی و دفاع در برابر دستکاری Module 10 — Human-Agent Trust, Psychology & Manipulation Defense

• سوگیری انسانی و دستکاری توسط AI Human Bias & AI Manipulation

• مهندسی اجتماعی از طریق AI Social Engineering via AI

• حملات توضیح‌پذیری جعلی (Fake Explainability) Fake Explainability Attacks

• توهمات اقتدار (Authority Illusions) Authority Illusions

• ایمنی روان‌شناختی Psychological Safety

• شاخص‌های ریسک تجربه کاربری (UX) UX Risk Indicators

• سیستم‌های توصیه امن Secure Recommendation Systems

• جلوگیری از زبان دستکاری‌کننده Preventing Manipulative Language

• الگوهای حضور انسان در چرخه (Human-in-the-loop) Human-in-the-loop Patterns

• کاهش سوگیری اتوماسیون Automation Bias Reduction

ماژول 11 — عوامل سرکش، عدم تراز و امنیت رفتاری Module 11 — Rogue Agents, Misalignment & Behavioral Security

• چه چیزی یک عامل را «سرکش» می‌کند؟ What Makes an Agent Rogue?

• عدم تراز نوظهور (Emergent Misalignment) Emergent Misalignment

• تبانی بین عامل‌ها Agent Collusion

• هک پاداش (Reward Hacking) Reward Hacking

• شناسایی انحراف رفتاری Behavioral Drift Detection

• مرزهای خودمختاری Autonomy Boundaries

• موتورهای محدودکننده (Constraint Engines) Constraint Engines

• کلیدهای قطع اضطراری (Kill Switches) Kill Switches

• نظارت بر یکپارچگی رفتاری Behavioral Integrity Monitoring

• چارچوب امن شناسایی عوامل سرکش Secure Rogue Detection Framework

ماژول 12 — پروژه نهایی: ساخت یک سیستم عامل‌محور امن Module 12 — Capstone: Build a Secure Agentic System

• طراحی معماری امن عامل Secure Agent Architecture Design

• ادغام شناسیت، ابزارها، حافظه و ارتباطات Integrating Identity, Tools, Memory, Comms

• نوشتن مدل تهدید (Threat Model) Writing a Threat Model

• تیم قرمز (Red Teaming) برای عامل شما Red-Teaming Your Agent

• مستحکم‌سازی برای محیط عملیاتی (Production) Hardening for Production

جمع‌بندی دوره Course Conclusion

• یادداشت نهایی برای فراگیران Conclusion Note to Learners