آموزش بوت‌کمپ جامع امنیت هوش مصنوعی عامل‌محور (Agentic AI) و حاکمیت LLM - آخرین آپدیت

سرفصل ها و درس ها

حوزه‌های اصلی مهندسی ارشد امنیت هوش مصنوعی Principal AI Security Engineer Core Domains

• مبانی امنیت هوش مصنوعی Foundations of AI Security

• معماری‌های هوش مصنوعی عامل‌محور و ریسک‌ها Agentic AI Architectures & Risk

• حاکمیت LLM و کنترل‌های سازمانی LLM Governance & Enterprise Controls

• طراحی و پیاده‌سازی امن برای سیستم‌های هوش مصنوعی Secure Design & Implementation for AI Systems

• رهبری و ارتباطات در سطح مهندس ارشد Principal-Level Leadership & Communication

مبانی امنیت هوش مصنوعی AI Security Foundations

• تفاوت امنیت هوش مصنوعی با امنیت سنتی برنامه‌ها How AI Security Differs from Traditional Application Security

• درک چشم‌انداز تهدیدات هوش مصنوعی Understanding the AI Threat Landscape

• ده تهدید برتر OWASP برای برنامه‌های LLM OWASP Top 10 for LLM Applications

• لایه‌های امنیتی در سیستم‌های مدرن هوش مصنوعی Security Layers in Modern AI Systems

• ساخت اولین دستیار چت هوش مصنوعی Build Your First AI Chat Assistant

• بررسی نقاط ضعف امنیتی در دستیار چت Explore Security Weaknesses in the Chat Assistant

تزریق مستقیم پرامپت Direct Prompt Injection

• درک تزریق مستقیم پرامپت (Direct Prompt Injection) Understanding Direct Prompt Injection

• سلسله مراتب پرامپت: پیام‌های سیستم، توسعه‌دهنده و کاربر Prompt Hierarchy: System, Developer and User Messages

• حمله به دستیار چت با تزریق پرامپت Attack the Chat Assistant with Prompt Injection

• پیاده‌سازی اعتبارسنجی پرامپت Implement Prompt Validation

• افزودن گاردریل‌های پایه Add Basic Guardrails

• تست دفاع‌های تزریق پرامپت Test Prompt Injection Defenses

تکنیک‌های جیل‌بریک و دستکاری پرامپت Jailbreak Techniques & Prompt Manipulation

• درک جیل‌بریک‌های هوش مصنوعی (AI Jailbreaks) Understanding AI Jailbreaks

• نقش‌آفرینی، کدگذاری و حملات چند مرحله‌ای Role Playing, Encoding and Multi-Turn Attacks

• اجرای حملات جیل‌بریک علیه دستیار چت Run Jailbreak Attacks Against the Chat Assistant

• ساخت تحلیل‌گر ریسک پرامپت Build a Prompt Risk Analyzer

• افزودن فیلترینگ پرامپت و امتیازدهی ریسک Add Prompt Filtering and Risk Scoring

• تست مقاومت در برابر جیل‌بریک Test Jailbreak Resistance

تولید تقویت‌شده با بازیابی (RAG) Retrieval-Augmented Generation (RAG)

• تولید تقویت‌شده با بازیابی (RAG) چیست؟ What is Retrieval-Augmented Generation (RAG)?

• نحوه عملکرد برنامه‌های RAG How RAG Applications Work

• درک امبدینگ‌ها و جستجوی برداری Understanding Embeddings and Vector Search

• ساخت دستیار RAG مبتنی بر سند از صفر Build a Document-Based RAG Assistant from Scratch

• پرسش و پاسخ با استفاده از اسناد بازیابی شده Ask Questions Using Retrieved Documents

ایمن‌سازی برنامه‌های RAG Securing RAG Applications

• تزریق پرامپت در برنامه‌های RAG Prompt Injection in RAG Applications

• مسموم‌سازی اسناد و مرزهای اعتماد Document Poisoning and Trust Boundaries

• بهره‌برداری از دستیار RAG با یک PDF مخرب Exploiting a RAG Assistant with a Malicious PDF

• مسموم‌سازی کانتکست بازیابی شده Poisoning Retrieved Context

• پیاده‌سازی اعتبارسنجی منبع مورد اعتماد Implement Trusted Source Validation

• افزودن جداسازی کانتکست Add Context Isolation

• پاکسازی محتوای بازیابی شده Sanitize Retrieved Content

• افزودن لایه اجرای سیاست‌ها Add Enforcement Layer

• تأیید دفاع‌های امنیتی RAG Verify the RAG Security Defenses

ساخت قابلیت فراخوانی ابزار در هوش مصنوعی Building AI Tool Calling

• فراخوانی ابزار (Tool Calling) چیست؟ What is Tool Calling?

• فراخوانی تابع و انتخاب ابزار Function Calling and Tool Selection

• طراحی ابزارهای آب‌وهوا، ماشین‌حساب و ایمیل Designing Weather, Calculator and Email Tools

• ساخت دستیار چت با قابلیت فراخوانی ابزار Build a Tool-Calling Chat Assistant

• تست فراخوانی‌های متعدد ابزار Test Multiple Tool Calls

ایمن‌سازی فراخوانی ابزار در هوش مصنوعی Securing AI Tool Calling

• ریسک‌های امنیتی فراخوانی ابزار Tool Calling Security Risks

• تزریق پارامتر و اقدامات غیرمجاز Parameter Injection and Unauthorized Actions

• تحریک فراخوانی‌های غیرمجاز ابزار Triggering Unauthorized Tool Calls

• اعتبارسنجی ورودی‌های ابزار Validate Tool Inputs

• محدود کردن مجوزهای ابزار Restrict Tool Permissions

• افزودن تأیید انسانی برای اقدامات حساس Add Human Approval for Sensitive Actions

• تأیید امنیت ابزارها Verify Tool Security

ساخت حافظه هوش مصنوعی Building AI Memory

• حافظه کوتاه‌مدت در مقابل بلندمدت Short-Term vs Long-Term Memory

• طراحی حافظه پایدار هوش مصنوعی Designing Persistent AI Memory

• افزودن حافظه هوش مصنوعی به دستیار Add AI Memory to the Assistant

• تست بازیابی حافظه Test Memory Retrieval

ایمن‌سازی حافظه هوش مصنوعی Securing AI Memory

• حملات مسموم‌سازی حافظه Memory Poisoning Attacks

• ریسک‌های کانتکست پایدار Persistent Context Risks

• مسموم کردن حافظه هوش مصنوعی Poisoning AI Memory

• اعتبارسنجی حافظه قبل از ذخیره‌سازی Validate Memory Before Storage

• الزام به تأیید کاربر قبل از ذخیره حافظه Require User Approval Before Saving Memory

• محافظت در برابر مسموم‌سازی حافظه Protect Against Memory Poisoning

• تأیید امنیت حافظه Verify Memory Security

ساخت عامل‌های هوش مصنوعی Building AI Agents

• از چت‌بات‌ها تا عامل‌های هوش مصنوعی From Chatbots to AI Agents

• برنامه‌ریزی، استدلال و استفاده از ابزار Planning, Reasoning and Tool Use

• ساخت یک عامل برنامه‌ریز خودمختار Build an Autonomous Planner Agent

• تست جریان کاری عامل Test the Agent Workflow

ایمن‌سازی عامل‌های هوش مصنوعی Securing AI Agents

• تهدیدات امنیتی عامل‌های هوش مصنوعی Agent Security Threats

• تأییدیه‌های انسانی در چرخه (HITL) Human-in-the-Loop Approvals

• رخنه در یک عامل خودمختار Compromising an Autonomous Agent

• افزودن جریان‌های کاری تایید انسانی Add Human Approval Workflows

• محدود کردن مجوزهای عامل Restrict Agent Permissions

• ایمن‌سازی تصمیم‌گیری عامل Secure Agent Decision Making

• اعتبارسنجی امنیت عامل Validate Agent Security

ساخت درگاه امنیتی هوش مصنوعی Building an AI Security Gateway

• معماری لایه‌ای امنیت هوش مصنوعی Layered AI Security Architecture

• موتورهای سیاست، گاردریل‌ها و امتیازدهی ریسک Policy Engines, Guardrails and Risk Scoring

• مرور معماری کامل و امن هوش مصنوعی Reviewing the Complete Secure AI Architecture

• ساخت درگاه امنیتی هوش مصنوعی Build the AI Security Gateway

• ادغام اعتبارسنجی پرامپت Integrate Prompt Validation

• ادغام امنیت RAG Integrate RAG Security

• ادغام امنیت ابزارها Integrate Tool Security

• ادغام امنیت حافظه Integrate Memory Security

• ادغام امنیت عامل‌ها Integrate Agent Security

• تأیید کامل خط لوله امنیتی Verify the Complete Security Pipeline

آمادگی برای محیط عملیاتی و جمع‌بندی دوره Production Readiness and Course Wrap-Up

• استقرار برنامه‌های امن هوش مصنوعی Deploying Secure AI Applications

• مانیتورینگ، لاگ‌گذاری و پاسخ به حوادث Monitoring, Logging and Incident Response

• بسته‌بندی دستیار امن هوش مصنوعی با داکر Package the Secure AI Assistant with Docker

• ساخت و اجرای دستیار امن داکری شده Build and Run the Dockerized Secure AI Assistant

• جمع‌بندی دوره و گام‌های بعدی Course Wrap-Up and Next Steps

مبانی حاکمیت هوش مصنوعی و مدل داده‌های حاکمیتی AI Governance Foundations and Governance Data Model

• حاکمیت هوش مصنوعی در تمام چرخه عمر AI governance across the full lifecycle

• حاکمیت در مقابل ریسک، تطبیق، امنیت، حریم خصوصی، ایمنی و هوش مصنوعی مسئولانه Governance versus risk, compliance, security, privacy, safety, & responsible AI

• مدل عملیاتی حاکمیت هوش مصنوعی AI governance operating model

• معماری داده‌های حاکمیتی Governance data architecture

• چارچوب‌های حاکمیتی Governance frameworks

• پروژه عملی: ساخت زیربنای داده‌های حاکمیت هوش مصنوعی Hands-On Project: Build the AI Governance Data Foundation

موجودی هوش مصنوعی، دید قابلیت مصرف و هوشمندی هزینه‌ها AI Inventory, Usage Visibility, and Cost Intelligence

• ساخت موجودی هوش مصنوعی سازمانی Building an enterprise AI inventory

• تلمتری مصرف Usage telemetry

• تحلیل‌های مصرف مدل Model usage analytics

• مصرف توکن و تخصیص هزینه‌ها Token consumption and cost allocation

• مالکیت و پاسخگویی Ownership and accountability

• پروژه عملی: ساخت داشبورد موجودی و هوشمندی مصرف هوش مصنوعی Hands-On Project: Build the AI Inventory and Usage Intelligence Dashboard

امتیازدهی ریسک، اولویت‌بندی و اصلاح ریسک‌های هوش مصنوعی AI Risk Scoring, Prioritization, and Remediation

• دسته‌بندی‌های ریسک هوش مصنوعی AI risk categories

• عوامل ریسک Risk factors

• ریسک ذاتی، اثربخشی کنترل، ریسک باقی‌مانده و پذیرش ریسک Inherent risk, control effectiveness, residual risk, and risk acceptance

• آستانه‌های ریسک، قوانین ارجاع، گیت‌های تأیید و اولویت‌بندی حاکمیتی Risk thresholds, escalation rules, approval gates, and governance prioritization

• جریان‌های کاری اصلاح ریسک Remediation workflows

• پروژه عملی: ساخت موتور امتیازدهی و اصلاح ریسک هوش مصنوعی Hands-On Project: Build an AI Risk Scoring and Remediation Engine

عملکرد مدل، ارزیابی و نظارت بر رانش (Drift) Model Performance, Evaluation, and Drift Monitoring

• معیارهای کیفیت مدل Model quality metrics

• ارزیابی هوش مصنوعی مولد Generative AI evaluation

• عدالت، سوگیری، استحکام و تست‌های خصمانه Fairness, bias, robustness, and adversarial testing

• رانش داده‌ها، رانش مفاهیم، افت عملکرد و سیگنال‌های تخریب مدل Data drift, concept drift, performance degradation, & model degradation signals

• آستانه‌های ارزیابی، گیت‌های کیفیت، معیارهای انتشار و تصمیمات بازگشت (Rollback) Evaluation thresholds, quality gates, release criteria, and rollback decisions

• پروژه عملی: ساخت داشبورد ارزیابی مدل و نظارت بر رانش Hands-On Project: Build a Model Evaluation and Drift Dashboard

حاکمیت ارزیابی پرامپت، پاسخ و LLM Prompt, Response, and LLM Evaluation Governance

• حاکمیت پرامپت Prompt governance

• لاگ‌گذاری پرامپت و پاسخ برای ردیابی و بازتولید Prompt and response logging for traceability and reproducibility

• روش‌های ارزیابی LLM LLM evaluation methods

• تشخیص توهم، ادعاهای پشتیبانی نشده، کیفیت استناد و اطمینان از پاسخ Hallucination detection, unsupported claims, citation quality, response confiden

• تحلیل اثر تغییرات برای تغییرات پرامپت، تغییرات مدل و تغییرات پیکربندی Change impact analysis for prompt changes, model changes, configuration changes

• پروژه عملی: ساخت آزمایشگاه حاکمیت پرامپت و پاسخ Hands-On Project: Build a Prompt and Response Governance Lab

نظارت بر عامل‌های هوش مصنوعی، ردیابی اقدامات و نظارت انسانی AI Agent Monitoring, Action Traceability, and Human Oversight

• حاکمیت عامل‌ها (Agent Governance) Agent governance

• مشاهده‌پذیری عامل‌ها Agent observability

• حالت‌های شکست پرریسک عامل‌ها High-risk agent failure modes

• طراحی انسان در چرخه (HITL) Human-in-the-loop design

• اندازه‌گیری نظارت انسانی Measuring human oversight

• پروژه عملی: ساخت مانیتور فعالیت عامل هوش مصنوعی و نظارت انسانی Hands-On Project: Build an AI Agent Activity and Human Oversight Monitor

حاکمیت RAG، داده‌های حساس و کنترل‌های دانش RAG Governance, Sensitive Data, and Knowledge Controls

• ریسک‌های حاکمیت RAG RAG governance risks

• مالکیت منابع دانش، طبقه‌بندی اسناد، نگهداری، چرخه‌های بازبینی و... Knowledge source ownership, document classification, retention, review cycles...

• کیفیت بازیابی (Retrieval Quality) Retrieval quality

• افشای داده‌های حساس Sensitive data exposure

• کنترل‌های دسترسی، مجوزهای سند، فیلترینگ منابع و دانش محدود شده Access controls, document permissions, source filtering, and restricted know...

• پروژه عملی: ساخت داشبورد حاکمیت RAG و داده‌های حساس Hands-On Project: Build a RAG Governance and Sensitive Data Dashboard

تطبیق با مقررات، مدیریت سیاست‌ها و شواهد کنترلی Compliance Mapping, Policy Management, and Control Evidence

• تبدیل مقررات و استانداردها به کنترل‌های عملیاتی هوش مصنوعی Translating regulations and standards into operational AI controls

• تطبیق compliance در NIST AI RMF، EU AI Act و ISO/IEC 42001 Compliance mapping across NIST AI RMF, EU AI Act, ISO/IEC 42001

• چرخه عمر سیاست: پیش‌نویس، بازبینی، تأیید، انتشار، بروزرسانی، بازنشستگی و حسابرسی Policy lifecycle: draft, review, approve, publish, update, retire, and audit

• نسخه‌بندی قوانین و سیاست‌ها Rule and policy versioning

• مدیریت شواهد Evidence management

• پروژه عملی: ساخت موتور تطبیق Compliance و نسخه‌بندی سیاست‌ها Hands-On Project: Build a Compliance Mapping and Policy Versioning Engine

کارت‌های مدل، ارزیابی اثرات و تأییدیه‌های حاکمیتی Model Cards, Impact Assessments, and Governance Approvals

• کارت‌های مدل، کارت‌های سیستم، کارت‌های عامل، کارت‌های مجموعه داده و ارزیابی تامین‌کنندگان Model cards, system cards, agent cards, dataset cards, and vendor assessments

• ارزیابی‌های اثرات هوش مصنوعی AI impact assessments

• جریان‌های کاری تایید Approval workflows

• مدیریت استثنائات Exception management

• پاسخگویی حاکمیتی و تفکیک وظایف Governance accountability and separation of duties

• پروژه عملی: ساخت جریان کاری ارزیابی و تایید هوش مصنوعی Hands-On Project: Build an AI Assessment and Approval Workflow

گاردریل‌ها، اجرای سیاست‌ها و اثربخشی ایمنی Guardrails, Policy Enforcement, and Safety Effectiveness

• کنترل‌های پیشگیرانه، شناسایی و اصلاحی برای سیستم‌های هوش مصنوعی Preventive, detective, and corrective controls for AI systems

• گاردریل‌ها برای پرامپت‌ها، خروجی‌ها، ابزارها، دسترسی به داده‌ها، اقدامات عامل و جریان‌های کاری Guardrails for prompts, outputs, tools, data access, agent actions, and work...

• تزریق پرامپت، جیل‌بریک، نشت داده‌ها، محتوای ناامن و دور زدن سیاست‌ها Prompt injection, jailbreaks, data leakage, unsafe content, and policy evasion

• اندازه‌گیری اثربخشی گاردریل‌ها: تریگرها، بلاک‌ها، ارجاعات و دور زدن‌ها Measuring guardrail effectiveness: triggers, blocks, escalations, bypasses, ...

• سیاست به عنوان کد (Policy as Code)، اجرای خودکار و تست کنترل‌ها Policy-as-code, automated enforcement, and control testing

• پروژه عملی: ساخت سرویس گاردریل و اجرای سیاست‌ها Hands-On Project: Build a Guardrails and Policy Enforcement Service

حوادث، ردپای حسابرسی، گزارش‌دهی و معیارهای اجرایی Incidents, Audit Trails, Reporting, and Executive Metrics

• مدیریت حوادث هوش مصنوعی: نقض سیاست‌ها، موارد نزدیک به حادثه، شدت، اثر و پاسخ AI incident management: policy breaches, near-misses, severity, impact, and r...

• طراحی ردپای حسابرسی (Audit Trail) Audit trail design

• شاخص‌های کلیدی عملکرد (KPI) و ریسک (KRI) برای مدیران، تیم‌های ریسک، مهندسان و حسابرسان Governance KPIs and KRIs for executives, risk teams, engineers, and auditors

• اصلاح حوادث Incident remediation

• گزارش‌های هیئت مدیره، بسته‌های حسابرسی، شواهد مقرراتی و خلاصه‌های تطبیق Board reports, audit packets, regulatory evidence, and compliance summaries

• پروژه عملی: ساخت مرکز حسابرسی و مدیریت حوادث حاکمیت هوش مصنوعی Hands-On Project: Build an AI Governance Audit and Incident Center

پروژه نهایی: مرکز فرماندهی حاکمیت هوش مصنوعی سازمانی Capstone: Enterprise AI Governance Command Center

• طراحی معماری حاکمیت یکپارچه در مدل‌ها، عامل‌ها و سیستم‌های RAG Designing a unified governance architecture across models, agents, RAG syste...

• ساخت داشبوردهای مبتنی بر نقش برای مدیران، تیم‌های هوش مصنوعی، تیم‌های ریسک و تطبیق Building role-based dashboards for executives, AI teams, risk teams, complia...

• اتصال تلمتری، ریسک، کنترل‌ها، شواهد و اصلاحات در یک سیستم حاکمیتی واحد Connecting telemetry, risk, controls, evidence, and remediation into one gove...

• اندازه‌گیری بلوغ حاکمیتی، پوشش کنترل‌ها، کاهش ریسک و موفقیت برنامه Measuring governance maturity, control coverage, risk reduction, and program...

• ارائه بینش‌ها و توصیه‌های حاکمیتی به رهبری سازمان Presenting governance insights and recommendations to leadership

• پروژه عملی: ساخت مرکز فرماندهی حاکمیت هوش مصنوعی سازمانی Hands-On Project: Build the Enterprise AI Governance Command Center