آموزش مسترکلاس امنیت هوش مصنوعی عامل‌محور (Agentic AI) - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه دوره: چرا امنیت هوش مصنوعی عامل‌محور اهمیت دارد Course Introduction: Why Agentic AI Security Matters

• راهنمای استفاده از این مسترکلاس How to Use This Masterclass

ماژول ۱ — جهان امنیت هوش مصنوعی عامل‌محور Module 1 — The Agentic AI Security Universe

• چه چیزی هوش مصنوعی عامل‌محور را متمایز می‌کند؟ What Makes Agentic AI Different?

• انواع عامل‌ها (مبتنی بر ابزار، RAG، برنامه‌ریز-مجری، چند-عاملی) Types of Agents (Tool-based, RAG, Planner–Executor, Multi-agent)

• سطح حمله (Attack Surface) جدید در AI The New AI Attack Surface

• ریسک‌های خودمختاری، تفویض اختیار و برنامه‌ریزی Autonomy, Delegation, and Planning Risks

• چرا امنیت سایبری سنتی برای عامل‌ها شکست می‌خورد Why Traditional Cybersecurity Fails for Agents

• ریسک‌های تعامل انسان و عامل Human–Agent Interaction Risks

• وقایع دنیای واقعی: حوادث Copilot، Replit و AutoGPT Real-World Events: Copilot, Replit, AutoGPT Incidents

• اصول معماری امن هوش مصنوعی Foundations of Secure AI Architecture

• ساخت ذهنیت امنیتی برای عصر AI Building a Security Mindset for AI Era

• آزمایشگاه 1A: ساخت اولین عامل خود Lab 1A - Build Your First Agent

• آزمایشگاه 1B: نقشه‌برداری از ریسک‌های امنیتی Lab 1B - Map Security Risks

• ایمن‌سازی AI عامل‌محور: معماری، ریسک‌ها و درس‌های واقعی Securing Agentic AI: Architecture, Risks, and Real-World Lessons

• امنیت و ریسک در سیستم‌های هوش مصنوعی عامل‌محور Security and Risk in Agentic AI Systems

• ۱. هوش مصنوعی عامل‌محور و معماری‌ها 1 Agentic AI and Architectures

• ۲. سطح حمله در سیستم‌های عامل‌محور 2 The Agentic Attack Surface

• ۳. ریسک‌های تعاملی و معماری‌های امن 3 Interaction Risks & Secure Architectured

ماژول ۲ — تسلط بر یکپارچگی اهداف عامل Module 2 — Mastering Agent Goal Integrity

• «هدف عامل» دقیقاً به چه معناست؟ What Does 'Agent Goal' Actually Mean?

• سیستم‌های برنامه‌ریزی و حالت‌های شکست Planning Systems & Failure Modes

• انحراف هدف، ربایش هدف و تزریق هدف Goal Drift, Goal Hijack, Goal Injection

• کانال‌های دستورات پنهان Hidden Instruction Channels

• بهره‌برداری‌های هدف‌محور مبتنی بر تریگر Trigger-Based Goal Exploits

• مهندسی دفاعی اهداف Defensive Goal Engineering

• منشأ قصد (Intent Provenance) و کپسول‌ها Intent Provenance & Capsules

• مانیتورینگ پیش‌بینانه انحراف هدف Predictive Goal Drift Monitoring

• چگونه قصد عامل را حسابرسی کنیم How to Audit Agent Intent

• آزمایشگاه 2A: حمله ربایش هدف LAB 2A - GOAL HIJACK ATTACK

• آزمایشگاه 2B: اعتبارسنج قصد LAB 2B - INTENT VALIDATOR

• آزمایشگاه 2C: تشخیص انحراف خاموش هدف Lab 2C - Detecting silent goal drift

• ایمن‌سازی اهداف عامل: انحراف، ربایش و طراحی دفاعی Securing Agent Goals: Drift, Hijack, and Defensive Design

• یکپارچگی اهداف عامل، انحراف و امنیت قصد Agent Goal Integrity, Drift, and Intent Security

• ۱. اهداف عامل و شکست‌های برنامه‌ریزی 1 Agent Goals and Planning Failures

• ۲. بهره‌برداری از اهداف و کانال‌های پنهان 2 Goal Exploits & Hidden Channels

• ۳. مهندسی دفاعی و حسابرسی قصد 3 Defensive Engineering & Intent Auditing

ماژول ۳ — امنیت ابزارها، سندباکسینگ و ایمنی اجرا Module 3 — Tool Security, Sandboxing & Execution Safety

• درک رابط‌های ابزاری (Tool Interfaces) Understanding Tool Interfaces

• عامل‌ها چگونه ابزارها را انتخاب می‌کنند How Agents Select Tools

• سوءاستفاده از ابزار و تفویض اختیار ناامن Tool Misuse & Unsafe Delegation

• بررسی نفوذهای واقعی در دنیای آزاد Real Compromises in the Wild

• طراحی یک زنجیره ابزار امن Designing a Secure Toolchain

• سندباکسینگ (Docker, VM, WASM) Sandboxing (Docker, VM, WASM)

• تشخیص سوءاستفاده از ابزار Detecting Tool Abuse

• کنترل خروجی و جلوگیری از نشت داده‌ها Egress Control & Exfiltration Prevention

• محدودیت نرخ (Rate Limits) و کنترل شعاع تخریب Rate Limits & Blast Radius Control

• ارکستراسیون امن Secure Orchestration

• آزمایشگاه 3A: اکسپلویت سوءاستفاده از ابزار LAB 3A - EXPLOIT TOOL MISUSE

• آزمایشگاه 3B: ابزارهای با حداقل امتیاز Lab 3B - Least Privilege Tools

• آزمایشگاه 3C: سندباکس پایتون LAB 3C - Python Sandbox

• ایمن‌سازی زنجیره ابزار عامل و جلوگیری از سوءاستفاده Securing Agent Toolchains and Preventing Tool Abuse

• امنیت زنجیره ابزارها و نحوه استفاده از آن‌ها Securing Agent Toolchains and Tool Use

• ۱. استفاده از ابزار در عامل‌های AI و ریسک‌ها 1 AI Agent Tool Usage & Risks

• ۲. طراحی زنجیره‌های ابزار امن و استراتژی‌های ایزولاسیون 2 Designing Secure AI Toolchains & Isolation Strategies

• ۳. تشخیص سوءاستفاده از ابزار AI و کنترل ریسک 3 Detecting AI Tool Abuse & Controlling Risk

ماژول ۴ — هویت AI، کنترل‌های دسترسی و امنیت اعتبارنامه‌ها Module 4 — AI Identity, Access Controls & Credential Security

• مدل‌های هویت غیرانسانی Non-Human Identity Models

• امتیازات تفویض شده و ارتقاء سطح دسترسی Delegated Privileges & Escalation

• حملات معاون سردرگم (Confused Deputy) Confused Deputy Attacks

• جعل هویت عامل و هویت‌های مصنوعی Agent Impersonation & Synthetic Identities

• نشت اعتبارنامه‌ها و ریسک‌های نشست (Session) Credential Leakage & Session Risks

• اجرای سیاست به عنوان کد (Policy as Code) Policy-as-Code Enforcement

• محدوده هویت و مرزهای قابلیت Identity Scoping & Capability Boundaries

• پلتفرم‌های IAM: Entra, Bedrock, AgentForce IAM Platforms: Entra, Bedrock, AgentForce

• هویت Zero Trust برای عامل‌ها Zero-Trust Identity for Agents

• آزمایشگاه 4A: سوءاستفاده از اعتبارنامه‌ها Lab 4A - Credential Abuse

• آزمایشگاه 4B: هویت محدود شده Lab 4B - Scoped Identity

• آزمایشگاه 4C: مجوزدهی به ازای هر اقدام Lab 4C Per-Action Authorization

• ایمن‌سازی هویت عامل‌ها و جلوگیری از سوءاستفاده از امتیازات Securing Agent Identities and Preventing Privilege Abuse

• هویت، امتیازات و اعتماد در سیستم‌های عامل‌محور Identity, Privileges, and Trust in Agentic Systems

• ۱. هویت و معاون سردرگم 1 Identity & The Confused Deputy

• ۲. هویت، جعل هویت و سیاست‌ها 2 Identity, Impersonation & Policy

• ۳. محدوده هویت و عامل‌های Zero Trust 3 Identity Scoping & Zero-Trust Agents

ماژول ۵ — زنجیره تأمین عامل‌محور و اعتماد به اجزا Module 5 — Agentic Supply Chain & Component Trust

• نقشه‌برداری کامل زنجیره تأمین Full Supply Chain Mapping

• مسمومیت مجموعه داده‌ها و Embeddingها Dataset & Embedding Poisoning

• حملات MCP و توصیف‌گر ابزار MCP & Tool Descriptor Attacks

• نفوذ به ریجستری و Typosquatting Registry Compromise & Typosquatting

• مقاوم‌سازی قالب‌های پرامپت Prompt Template Hardening

• به‌روزرسانی‌های امن و بازگشت (Rollbacks) Secure Updates & Rollbacks

• SBOM/AIBOM و گواهی اصالت SBOM/AIBOM & Attestation

• خط لوله‌های تایید اجزا Component Verification Pipelines

• معماری زنجیره تأمین Zero Trust Zero-Trust Supply Chain Architecture

• آزمایشگاه 5A: مسموم کردن یک قالب Lab 5A - Poison a Template

• آزمایشگاه 5B: ساخت لیست مواد AI (AIBOM) Lab 5B - Build an AI Bill of Materials

• آزمایشگاه 5C: تشخیص Typosquatting Lab 5C - Detect Typosquatting

• ایمن‌سازی زنجیره تأمین هوش مصنوعی Securing the AI Supply Chain

• امنیت زنجیره تأمین AI Securing the AI Supply Chain

• ۱. زنجیره تأمین AI و مسموم‌سازی 1 AI Supply Chain & Poisoning

• ۲. مقاوم‌سازی قالب‌های پرامپت 2 Prompt Template Hardening

• ۳. به‌روزرسانی‌ها و بازگشت‌های امن عامل 3 Secure Agent Updates & Rollbacks

• ۴. AIBOM و تایید اجزا 4 AIBOM & Component Verification

• ۵. معماری زنجیره تأمین Zero Trust 5 Zero-Trust Supply Chain Architecture

ماژول ۶ — ایمنی کد، دفاع در برابر RCE و کنترل اجرا Module 6 — Code Safety, RCE Defense & Execution Control

• عامل‌ها چگونه کد تولید می‌کنند How Agents Produce Code

• تزریق کد مبتنی بر پرامپت Prompt-Based Code Injection

• توهمات کدنویسی (Code Hallucinations) Code Hallucinations

• RCE مبتنی بر وابستگی‌ها Dependency-Based RCE

• خط لوله‌های تولید کد امن Safe Code Generation Pipelines

• تحلیل ایستا + تحلیل پویا Static + Dynamic Analysis

• ایزولاسیون سیستم فایل Filesystem Isolation

• سطوح خودمختاری امن برای عامل‌های کدنویس Safe Autonomy Levels for Coding Agents

• تشخیص الگوهای کد مخرب Detecting Malicious Code Patterns

• دفاع RCE در سطح سازمانی Enterprise RCE Defense

• ایمن‌سازی کدهای تولید شده توسط عامل Securing Agent-Generated Code

• امنیت کدهای تولید شده AI و خط لوله‌های اجرا Securing AI-Generated Code and Execution Pipelines

• آزمایشگاه 6A: RCE مبتنی بر پرامپت Lab 6A - Prompt-Based RCE

• آزمایشگاه 6B: سندباکس اجرای قفل شده Lab 6B - Locked Execution Sandbox

• آزمایشگاه 6C: خط لوله اعتبارسنج کد Lab 6C-Code Validator Pipeline

• ۱. تولید کد توسط AI و ریسک‌های اصلی 1 AI Code Generation & Core Risks

• ۲. ریسک‌های RCE و تشخیص کد مخرب 2 RCE Risks & Malicious Code Detection

• ۳. خط لوله‌های کدنویسی امن AI و دفاع در اجرا 3 Secure AI Coding Pipelines & Execution Defense

ماژول ۷ — امنیت حافظه، زمینه و پایگاه دانش Module 7 — Memory, Context & Knowledge Base Security

• انواع حافظه در عامل‌ها Memory Types in Agents

• مسمومیت زمینه و حافظه بلندمدت Context & Long-Term Memory Poisoning

• حملات به ذخیره‌ساز Embedding Embedding Store Attacks

• آلودگی حافظه بین کاربران Cross-User Memory Contamination

• فروپاشی خودمختاری ناشی از دانش مسموم Poisoned Knowledge Autonomy Collapse

• خط لوله‌های اعتبارسنجی حافظه Memory Validation Pipelines

• بازیابی حافظه مبتنی بر امتیاز اعتماد Trust-Scored Memory Retrieval

• ایزولاسیون حافظه در محیط‌های چند-مستأجره Multi-Tenant Memory Isolation

• جلوگیری از بازگشت (Recursion) خودکار Preventing Self-Recursion

• طراحی امن RAG Secure RAG Design

• ایمن‌سازی حافظه عامل و خط لوله‌های RAG Securing Agent Memory and RAG Pipelines

• امنیت حافظه عامل و سیستم‌های بازیابی Securing Agent Memory and Retrieval Systems

• ۱. حافظه عامل و آسیب‌پذیری‌های ذخیره‌سازی 1 Agent Memory & Storage Vulnerabilities

• ۲. امنیت حافظه و اعتماد به داده‌ها 2 Memory Security & Data Trust

• ۳. ایزولاسیون، بازگشت و RAG امن 3 Isolation, Recursion & Secure RAG

ماژول ۸ — ارتباطات چند-عاملی، پروتکل‌ها و امنیت هماهنگی Module 8 — Multi-Agent Comms, Protocols & Coordination Security

• مدل‌های ارتباطی چند-عاملی Multi-Agent Communication Models

• ریسک‌های پیام‌رسانی و حلقه‌های ضعیف Messaging Risks & Weak Links

• حملات عامل-در-میان (Agent-in-the-Middle) Agent-in-the-Middle Attacks

• حملات Replay و فساد در هماهنگی Replay Attacks & Coordination Corruption

• انحراف معنایی بین عامل‌ها Semantic Drift Between Agents

• mTLS + امضاهای دیجیتال برای عامل‌ها mTLS + Signatures for Agents

• پین کردن پروتکل (Protocol Pinning) Protocol Pinning

• سیستم‌های کشف (Discovery) امن Secure Discovery Systems

• جلوگیری از نشت کانال جانبی (Side Channel) Preventing Side-Channel Leakage

• طراحی امن سیستم‌های چند-عاملی Secure Multi-Agent Design

• ایمن‌سازی ارتباطات و هماهنگی چند-عاملی Securing Multi-Agent Communication and Coordination

• امنیت شبکه و تعاملات چند-عاملی Securing Multi-Agent Communication and Coordination

• ۱. مبانی ارتباطات چند-عاملی 1 Foundations of Multi-Agent Communication

• ۲. حملات شبکه عامل‌ها 2 Agent Network Attacks

• ۳. شبکه امن عامل‌ها 3 Secure Agent Networking

• ۴. طراحی سیستم‌های چند-عاملی امن 4 Designing Secure Multi-Agent Systems

ماژول ۹ — شکست‌های زنجیره‌ای، ریسک سیستمی و تاب‌آوری Module 9 — Cascading Failures, Systemic Risk & Resilience

• چرا شکست‌های زنجیره‌ای رخ می‌دهند Why Cascading Failures Happen

• حلقه‌های برنامه‌ریز ← مجری ← ابزار Planner → Executor → Tool Loops

• انتشار خطا در میان عامل‌ها Error Propagation Across Agents

• قطع وابستگی‌های ابری و AI Cloud + AI Dependency Breakages

• فروپاشی منطق کسب‌وکار Business Logic Collapse

• قطع‌کننده‌ها (Circuit Breakers) و شکست سریع Circuit Breakers & Fail-Fast

• مهندسی شعاع تخریب Blast Radius Engineering

• قابلیت مشاهده (Observability) در AI AI Observability

• معماری عامل مقاوم در برابر خطا Fault-Tolerant Agent Architecture

• طراحی معماری‌های عامل تاب‌آور و مقاوم Designing Fault-Tolerant and Resilient Agent Architectures

• تاب‌آوری و مهار شکست در سیستم‌های عامل‌محور Resilience and Failure Containment in Agentic Systems

• ۱. شکست‌های زنجیره‌ای در سیستم‌های عامل AI 1 Cascading Failures in AI Agent Systems

• ۲. شکست وابستگی‌های ابری AI و طراحی تاب‌آور 2 Cloud AI Dependency Failures & Resilience Design

ماژول ۱۰ — اعتماد انسان-عامل، روانشناسی و دفاع در برابر دست‌کاری Module 10 — Human-Agent Trust, Psychology & Manipulation Defense

• سوگیری انسانی و دست‌کاری AI Human Bias & AI Manipulation

• مهندسی اجتماعی از طریق هوش مصنوعی Social Engineering via AI

• حملات توضیح‌پذیری جعلی Fake Explainability Attacks

• توهمات اقتدار Authority Illusions

• ایمنی روانشناختی Psychological Safety

• شاخص‌های ریسک در تجربه کاربری (UX) UX Risk Indicators

• سیستم‌های توصیه‌گر امن Secure Recommendation Systems

• جلوگیری از زبان دست‌کاری‌کننده Preventing Manipulative Language

• الگوهای انسان-در-حلقه (Human-in-the-loop) Human-in-the-loop Patterns

• کاهش سوگیری اتوماسیون Automation Bias Reduction

• طراحی سیستم‌های AI که انسان‌ها دچار سوءاستفاده یا اعتماد بیش از حد نشوند Designing AI Systems That Humans Don’t Misuse or Overtrust

• عوامل انسانی، دست‌کاری و اعتماد در سیستم‌های AI Human Factors, Manipulation, and Trust in AI Systems

• ۱. دست‌کاری AI و مهندسی اجتماعی 1 AI Manipulation & Social Engineering

• ۲. رابط انسان و هوش مصنوعی 2 The Human-AI Interface

• ۳. بی‌طرفی، نظارت و یکپارچگی تصمیم‌گیری 3 Neutrality, Oversight, and Decision Integrity

ماژول ۱۱ — عامل‌های سرکش، عدم همسویی و امنیت رفتاری Module 11 — Rogue Agents, Misalignment & Behavioral Security

• چه چیزی یک عامل را سرکش می‌کند؟ What Makes an Agent Rogue?

• عدم همسویی نوظهور Emergent Misalignment

• تبانی عامل‌ها Agent Collusion

• هک پاداش (Reward Hacking) Reward Hacking

• تشخیص انحراف رفتاری Behavioral Drift Detection

• مرزهای خودمختاری Autonomy Boundaries

• موتورهای محدودکننده Constraint Engines

• کلیدهای قطع اضطراری Kill Switches

• مانیتورینگ یکپارچگی رفتاری Behavioral Integrity Monitoring

• چارچوب امن تشخیص عامل‌های سرکش Secure Rogue Detection Framework

• پیشگیری، تشخیص و مهار عامل‌های سرکش Preventing, Detecting, and Containing Rogue Agents

• عامل‌های سرکش، انحراف و مکانیسم‌های کنترل Rogue Agents, Drift, and Control Mechanisms

• ۱. معماری عامل سرکش 1 The Rogue Agent Architecture

• ۲. هک پاداش و مهندسی محدودیت‌ها 2 Reward Hacking & Constraint Engineering

ماژول ۱۲ — پروژه نهایی: ساخت یک سیستم عامل‌محور امن Module 12 — Capstone: Build a Secure Agentic System

• طراحی معماری امن عامل Secure Agent Architecture Design

• یکپارچه‌سازی هویت، ابزارها، حافظه و ارتباطات Integrating Identity, Tools, Memory, Comms

• نوشتن مدل تهدید Writing a Threat Model

• تیم قرمز کردن عامل خود Red-Teaming Your Agent

• مقاوم‌سازی برای محیط عملیاتی Hardening for Production

• از پروتوتایپ تا تولید: ایمن‌سازی عامل شما From Prototype to Production: Securing Your Agent

• طراحی، تست و مقاوم‌سازی معماری‌های امن عامل Designing, Testing, and Hardening Secure Agent Architectures

• ۱. معماری امن عامل و مدل‌سازی تهدید 1 Secure Agent Architecture & Threat Modeling

• ۲. تیم قرمز عامل‌ها و مقاوم‌سازی برای تولید 2 Red-Teaming Agents & Hardening for Production

جمع‌بندی دوره Course Conclusion

• یادداشت پایانی برای یادگیرندگان Conclusion note to learners

آمادگی برای مصاحبه و گفتگو با مدیران Interview Preparations - Discussions with Leadership

• مصاحبه با الانا ونس — مدیر ارشد فناوری (CTO) و رئیس کمیته ایمنی AI Interview with Elana Vance - Chief Technology Officer (CTO) and Head of the AI Safety Committee

• مصاحبه با مارکوس وین — معاون مهندسی محصول Interview with Marcus Vane - VP of Product Engineering

• مصاحبه با سارا جنکینز — مدیر ارشد حقوقی (CLO) Interview with Sarah Jenkins - Chief Legal Officer (CLO)