آموزش مسترکلاس امنیت و حاکمیت هوش مصنوعی: ساخت، حمله و دفاع - آخرین آپدیت

سرفصل ها و درس ها

خوش‌آمدگویی و بررسی کلی دوره Welcome & Course Overview

• خوش‌آمدگویی به مسترکلاس امنیت AI Welcome to AI Security Masterclass

• چرا امنیت AI بیش از هر زمان دیگری اهمیت دارد Why AI Security Matters More Than Ever

• چه چیزهایی در طول این دوره خواهید ساخت What You'll Build Throughout This Course

• نقشه راه دوره: ساخت، حمله و ایمن‌سازی برنامه‌های AI Course Roadmap: Build, Attack and Secure AI Applications

• نصب Python، VS Code و Git Installing Python, VS Code, and Git

• راه‌اندازی Ollama Setting Up Ollama

مبانی امنیت هوش مصنوعی AI Security Foundations

• تفاوت امنیت AI با امنیت سنتی برنامه‌ها How AI Security Differs from Traditional Application Security

• درک چشم‌انداز تهدیدات AI Understanding the AI Threat Landscape

• لیست OWASP Top 10 برای برنامه‌های LLM OWASP Top 10 for LLM Applications

• لایه‌های امنیتی در سیستم‌های مدرن AI Security Layers in Modern AI Systems

• ساخت اولین دستیار چت AI Build Your First AI Chat Assistant

• بررسی نقاط ضعف امنیتی در دستیار چت Explore Security Weaknesses in the Chat Assistant

تزریق مستقیم پرامپت Direct Prompt Injection

• درک تزریق مستقیم پرامپت Understanding Direct Prompt Injection

• سلسله‌مراتب پرامپت: پیام‌های سیستم، توسعه‌دهنده و کاربر Prompt Hierarchy: System, Developer and User Messages

• حمله به دستیار چت با تزریق پرامپت Attack the Chat Assistant with Prompt Injection

• پیاده‌سازی اعتبارسنجی پرامپت Implement Prompt Validation

• افزودن گاردریل‌های پایه Add Basic Guardrails

• تست دفاع‌های تزریق پرامپت Test Prompt Injection Defenses

تکنیک‌های جیل‌بریک و دست‌کاری پرامپت Jailbreak Techniques & Prompt Manipulation

• درک جیل‌بریک‌های AI Understanding AI Jailbreaks

• نقش‌آفرینی، رمزگذاری و حملات چند مرحله‌ای Role Playing, Encoding and Multi-Turn Attacks

• اجرای حملات جیل‌بریک علیه دستیار چت Run Jailbreak Attacks Against the Chat Assistant

• ساخت تحلیل‌گر ریسک پرامپت Build a Prompt Risk Analyzer

• افزودن فیلترینگ پرامپت و امتیازدهی ریسک Add Prompt Filtering and Risk Scoring

• تست مقاومت در برابر جیل‌بریک Test Jailbreak Resistance

تولید تقویت شده با بازیابی (RAG) Retrieval-Augmented Generation (RAG)

• تولید تقویت شده با بازیابی (RAG) چیست؟ What is Retrieval-Augmented Generation (RAG)?

• نحوه عملکرد برنامه‌های RAG How RAG Applications Work

• درک امبدینگ‌ها و جستجوی برداری Understanding Embeddings and Vector Search

• ساخت دستیار RAG مبتنی بر سند از صفر Build a Document-Based RAG Assistant from Scratch

• پرسش و پاسخ با استفاده از اسناد بازیابی شده Ask Questions Using Retrieved Documents

ایمن‌سازی برنامه‌های RAG Securing RAG Applications

• تزریق پرامپت در برنامه‌های RAG Prompt Injection in RAG Applications

• مسموم‌سازی اسناد و مرزهای اعتماد Document Poisoning and Trust Boundaries

• بهره‌برداری از دستیار RAG با یک PDF مخرب Exploiting a RAG Assistant with a Malicious PDF

• مسموم‌سازی محتوای بازیابی شده Poisoning Retrieved Context

• پیاده‌سازی اعتبارسنجی منبع مورد اعتماد Implement Trusted Source Validation

• افزودن جداسازی محتوا (Context Isolation) Add Context Isolation

• پاک‌سازی محتوای بازیابی شده Sanitize Retrieved Content

• افزودن لایه اجرایی Add Enforcement Layer

• تأیید دفاع‌های امنیتی RAG Verify the RAG Security Defenses

ساخت فراخوانی ابزارهای AI Building AI Tool Calling

• فراخوانی ابزار (Tool Calling) چیست؟ What is Tool Calling?

• فراخوانی تابع و انتخاب ابزار Function Calling and Tool Selection

• طراحی ابزارهای هواشناسی، ماشین‌حساب و ایمیل Designing Weather, Calculator and Email Tools

• ساخت دستیار چت با قابلیت فراخوانی ابزار Build a Tool-Calling Chat Assistant

• تست فراخوانی‌های متعدد ابزار Test Multiple Tool Calls

ایمن‌سازی فراخوانی ابزارهای AI Securing AI Tool Calling

• ریسک‌های امنیتی فراخوانی ابزار Tool Calling Security Risks

• تزریق پارامتر و اقدامات غیرمجاز Parameter Injection and Unauthorized Actions

• فعال‌سازی فراخوانی‌های غیرمجاز ابزار Triggering Unauthorized Tool Calls

• اعتبارسنجی ورودی‌های ابزار Validate Tool Inputs

• محدود کردن دسترسی‌های ابزار Restrict Tool Permissions

• افزودن تأیید انسانی برای اقدامات حساس Add Human Approval for Sensitive Actions

• تأیید امنیت ابزارها Verify Tool Security

ساخت حافظه هوش مصنوعی Building AI Memory

• حافظه کوتاه‌مدت در مقابل حافظه بلندمدت Short-Term vs Long-Term Memory

• طراحی حافظه دائمی AI Designing Persistent AI Memory

• افزودن حافظه AI به دستیار Add AI Memory to the Assistant

• تست بازیابی حافظه Test Memory Retrieval

ایمن‌سازی حافظه هوش مصنوعی Securing AI Memory

• حملات مسموم‌سازی حافظه Memory Poisoning Attacks

• ریسک‌های محتوای دائمی Persistent Context Risks

• مسموم کردن حافظه AI Poisoning AI Memory

• اعتبارسنجی حافظه قبل از ذخیره‌سازی Validate Memory Before Storage

• الزام به تأیید کاربر قبل از ذخیره حافظه Require User Approval Before Saving Memory

• محافظت در برابر مسموم‌سازی حافظه Protect Against Memory Poisoning

• تأیید امنیت حافظه Verify Memory Security

ساخت ایجنت‌های هوش مصنوعی Building AI Agents

• از چت‌بات‌ها تا ایجنت‌های AI From Chatbots to AI Agents

• برنامه‌ریزی، استدلال و استفاده از ابزار Planning, Reasoning and Tool Use

• ساخت یک ایجنت برنامه‌ریز خودمختار Build an Autonomous Planner Agent

• تست گردش‌کار ایجنت Test the Agent Workflow

ایمن‌سازی ایجنت‌های هوش مصنوعی Securing AI Agents

• تهدیدات امنیتی ایجنت‌ها Agent Security Threats

• تأییدهای انسانی در چرخه (Human-in-the-Loop) Human-in-the-Loop Approvals

• به‌دست آوردن کنترل یک ایجنت خودمختار Compromising an Autonomous Agent

• افزودن گردش‌کارهای تأیید انسانی Add Human Approval Workflows

• محدود کردن دسترسی‌های ایجنت Restrict Agent Permissions

• ایمن‌سازی تصمیم‌گیری ایجنت Secure Agent Decision Making

• اعتبارسنجی امنیت ایجنت Validate Agent Security

ساخت درگاه امنیتی AI Building an AI Security Gateway

• معماری لایه‌ای امنیت AI Layered AI Security Architecture

• موتورهای سیاست، گاردریل‌ها و امتیازدهی ریسک Policy Engines, Guardrails and Risk Scoring

• بررسی کامل معماری امن AI Reviewing the Complete Secure AI Architecture

• ساخت درگاه امنیتی AI Build the AI Security Gateway

• یکپارچه‌سازی اعتبارسنجی پرامپت Integrate Prompt Validation

• یکپارچه‌سازی امنیت RAG Integrate RAG Security

• یکپارچه‌سازی امنیت ابزارها Integrate Tool Security

• یکپارچه‌سازی امنیت حافظه Integrate Memory Security

• یکپارچه‌سازی امنیت ایجنت‌ها Integrate Agent Security

• تأیید کامل خط لوله امنیتی Verify the Complete Security Pipeline

آمادگی برای محیط عملیاتی و جمع‌بندی دوره Production Readiness and Course Wrap-Up

• استقرار برنامه‌های امن AI Deploying Secure AI Applications

• مانیتورینگ، لاگ‌گیری و پاسخ به حوادث Monitoring, Logging and Incident Response

• بسته‌بندی دستیار امن AI با Docker Package the Secure AI Assistant with Docker

• ساخت و اجرای دستیار امن AI داکریزه شده Build and Run the Dockerized Secure AI Assistant

• جمع‌بندی دوره و گام‌های بعدی Course Wrap-Up and Next Steps

مبانی حاکمیت AI و مدل داده‌های حاکمیتی AI Governance Foundations and Governance Data Model

• حاکمیت AI در تمام چرخه حیات AI governance across the full lifecycle

• تفاوت حاکمیت با ریسک، انطباق، امنیت، حریم خصوصی، ایمنی و AI مسئولانه Governance versus risk, compliance, security, privacy, safety, & responsible AI

• مدل عملیاتی حاکمیت AI AI governance operating model

• معماری داده‌های حاکمیتی Governance data architecture

• چارچوب‌های حاکمیتی Governance frameworks

• پروژه عملی: ساخت زیربنای داده‌های حاکمیت AI Hands-On Project: Build the AI Governance Data Foundation

موجودی AI، مشاهده‌پذیری استفاده و تحلیل هزینه AI Inventory, Usage Visibility, and Cost Intelligence

• ساخت موجودی AI سازمانی Building an enterprise AI inventory

• تله‌متری میزان استفاده Usage telemetry

• تحلیل استفاده از مدل Model usage analytics

• مصرف توکن و تخصیص هزینه Token consumption and cost allocation

• مالکیت و پاسخگویی Ownership and accountability

• پروژه عملی: ساخت داشبورد موجودی AI و هوش استفاده Hands-On Project: Build the AI Inventory and Usage Intelligence Dashboard

امتیازدهی ریسک AI، اولویت‌بندی و رفع نقص AI Risk Scoring, Prioritization, and Remediation

• دسته‌بندی‌های ریسک AI AI risk categories

• عوامل ریسک Risk factors

• ریسک ذاتی، اثربخشی کنترل، ریسک باقی‌مانده و پذیرش ریسک Inherent risk, control effectiveness, residual risk, and risk acceptance

• آستانه‌های ریسک، قوانین ارجاع، گیت‌های تأیید و اولویت‌بندی حاکمیتی Risk thresholds, escalation rules, approval gates, and governance prioritization

• گردش‌کارهای رفع نقص Remediation workflows

• پروژه عملی: ساخت موتور امتیازدهی ریسک و رفع نقص AI Hands-On Project: Build an AI Risk Scoring and Remediation Engine

عملکرد مدل، ارزیابی و مانیتورینگ رانش (Drift) Model Performance, Evaluation, and Drift Monitoring

• معیارهای کیفیت مدل Model quality metrics

• ارزیابی هوش مصنوعی مولد Generative AI evaluation

• عدالت، سوگیری، استحکام و تست‌های تقابلی (Adversarial) Fairness, bias, robustness, and adversarial testing

• رانش داده‌ها، رانش مفهوم، کاهش عملکرد و سیگنال‌های تخریب مدل Data drift, concept drift, performance degradation, & model degradation signals

• آستانه‌های ارزیابی، گیت‌های کیفیت، معیارهای انتشار و تصمیمات بازگشت (Rollback) Evaluation thresholds, quality gates, release criteria, and rollback decisions

• پروژه عملی: ساخت داشبورد ارزیابی مدل و مانیتورینگ رانش Hands-On Project: Build a Model Evaluation and Drift Dashboard

حاکمیت ارزیابی پرامپت، پاسخ و LLM Prompt, Response, and LLM Evaluation Governance

• حاکمیت پرامپت Prompt governance

• لاگ‌گیری پرامپت و پاسخ برای ردیابی و بازتولید Prompt and response logging for traceability and reproducibility

• متدهای ارزیابی LLM LLM evaluation methods

• تشخیص توهم، ادعاهای پشتیبانی نشده، کیفیت استناد و اعتماد به پاسخ Hallucination detection, unsupported claims, citation quality, response confiden

• تحلیل اثر تغییرات در پرامپت‌ها، مدل‌ها و پیکربندی‌ها Change impact analysis for prompt changes, model changes, configuration changes

• پروژه عملی: ساخت آزمایشگاه حاکمیت پرامپت و پاسخ Hands-On Project: Build a Prompt and Response Governance Lab

مانیتورینگ ایجنت AI، ردیابی اقدامات و نظارت انسانی AI Agent Monitoring, Action Traceability, and Human Oversight

• حاکمیت ایجنت Agent governance

• مشاهده‌پذیری ایجنت Agent observability

• حالت‌های شکست ایجنت‌های با ریسک بالا High-risk agent failure modes

• طراحی انسان در چرخه (Human-in-the-Loop) Human-in-the-loop design

• اندازه‌گیری نظارت انسانی Measuring human oversight

• پروژه عملی: ساخت مانیتور فعالیت ایجنت AI و نظارت انسانی Hands-On Project: Build an AI Agent Activity and Human Oversight Monitor

حاکمیت RAG، داده‌های حساس و کنترل‌های دانش RAG Governance, Sensitive Data, and Knowledge Controls

• ریسک‌های حاکمیت RAG RAG governance risks

• مالکیت منبع دانش، طبقه‌بندی اسناد، نگهداری و چرخه‌های بازبینی Knowledge source ownership, document classification, retention, review cycles...

• کیفیت بازیابی Retrieval quality

• افشای داده‌های حساس Sensitive data exposure

• کنترل‌های دسترسی، مجوزهای سند، فیلترینگ منبع و دانش محدود Access controls, document permissions, source filtering, and restricted know...

• پروژه عملی: ساخت داشبورد حاکمیت RAG و داده‌های حساس Hands-On Project: Build a RAG Governance and Sensitive Data Dashboard

تطبیق انطباق، مدیریت سیاست‌ها و شواهد کنترل Compliance Mapping, Policy Management, and Control Evidence

• تبدیل مقررات و استانداردها به کنترل‌های عملیاتی AI Translating regulations and standards into operational AI controls

• تطبیق انطباق در NIST AI RMF، EU AI Act و ISO/IEC 42001 Compliance mapping across NIST AI RMF, EU AI Act, ISO/IEC 42001

• چرخه حیات سیاست: پیش‌نویس، بازبینی، تأیید، انتشار، به‌روزرسانی، بازنشستگی و حسابرسی Policy lifecycle: draft, review, approve, publish, update, retire, and audit

• نسخه‌بندی قوانین و سیاست‌ها Rule and policy versioning

• مدیریت شواهد Evidence management

• پروژه عملی: ساخت موتور تطبیق انطباق و نسخه‌بندی سیاست‌ها Hands-On Project: Build a Compliance Mapping and Policy Versioning Engine

کارت‌های مدل، ارزیابی اثرات و تأییدات حاکمیتی Model Cards, Impact Assessments, and Governance Approvals

• کارت‌های مدل، کارت‌های سیستم، کارت‌های ایجنت، کارت‌های مجموعه داده و ارزیابی تامین‌کنندگان Model cards, system cards, agent cards, dataset cards, and vendor assessments

• ارزیابی اثرات AI AI impact assessments

• گردش‌کارهای تأیید Approval workflows

• مدیریت استثنائات Exception management

• پاسخگویی حاکمیتی و تفکیک وظایف Governance accountability and separation of duties

• پروژه عملی: ساخت گردش‌کار ارزیابی و تأیید AI Hands-On Project: Build an AI Assessment and Approval Workflow

گاردریل‌ها، اجرای سیاست‌ها و اثربخشی ایمنی Guardrails, Policy Enforcement, and Safety Effectiveness

• کنترل‌های پیشگیرانه، شناسایی و اصلاحی برای سیستم‌های AI Preventive, detective, and corrective controls for AI systems

• گاردریل‌ها برای پرامپت‌ها، خروجی‌ها، ابزارها، دسترسی به داده‌ها، اقدامات ایجنت و گردش‌کارها Guardrails for prompts, outputs, tools, data access, agent actions, and work...

• تزریق پرامپت، جیل‌بریک، نشت داده‌ها، محتوای ناایمن و دور زدن سیاست‌ها Prompt injection, jailbreaks, data leakage, unsafe content, and policy evasion

• اندازه‌گیری اثربخشی گاردریل: تریگرها، مسدودسازی‌ها، ارجاعات و دور زدن‌ها Measuring guardrail effectiveness: triggers, blocks, escalations, bypasses, ...

• سیاست به عنوان کد (Policy as Code)، اجرای خودکار و تست کنترل Policy-as-code, automated enforcement, and control testing

• پروژه عملی: ساخت سرویس گاردریل و اجرای سیاست‌ها Hands-On Project: Build a Guardrails and Policy Enforcement Service

حوادث، ردپای حسابرسی، گزارش‌دهی و معیارهای مدیریتی Incidents, Audit Trails, Reporting, and Executive Metrics

• مدیریت حوادث AI: نقض سیاست‌ها، موارد نزدیک به حادثه، شدت، اثر و پاسخ AI incident management: policy breaches, near-misses, severity, impact, and r...

• طراحی ردپای حسابرسی (Audit Trail) Audit trail design

• شاخص‌های KPI و KRI حاکمیتی برای مدیران، تیم‌های ریسک، مهندسان و حسابرسان Governance KPIs and KRIs for executives, risk teams, engineers, and auditors

• رفع نقص حوادث Incident remediation

• گزارش‌های هیئت مدیره، بسته‌های حسابرسی، شواهد رگولاتوری و خلاصه‌های انطباق Board reports, audit packets, regulatory evidence, and compliance summaries

• پروژه عملی: ساخت مرکز حسابرسی و حوادث حاکمیت AI Hands-On Project: Build an AI Governance Audit and Incident Center

پروژه نهایی: مرکز فرماندهی حاکمیت AI سازمانی Capstone: Enterprise AI Governance Command Center

• طراحی معماری حاکمیت یکپارچه در مدل‌ها، ایجنت‌ها و سیستم‌های RAG Designing a unified governance architecture across models, agents, RAG syste...

• ساخت داشبوردهای مبتنی بر نقش برای مدیران، تیم‌های AI، تیم‌های ریسک و انطباق Building role-based dashboards for executives, AI teams, risk teams, complia...

• متصل کردن تله‌متری، ریسک، کنترل‌ها، شواهد و رفع نقص در یک سیستم حاکمیتی Connecting telemetry, risk, controls, evidence, and remediation into one gove...

• اندازه‌گیری بلوغ حاکمیت، پوشش کنترل‌ها، کاهش ریسک و موفقیت برنامه Measuring governance maturity, control coverage, risk reduction, and program...

• ارائه بینش‌ها و توصیه‌های حاکمیتی به مدیریت ارشد Presenting governance insights and recommendations to leadership

• پروژه عملی: ساخت مرکز فرماندهی حاکمیت AI سازمانی Hands-On Project: Build the Enterprise AI Governance Command Center