آموزش مسترکلاس امنیت هوش مصنوعی: تزریق پرامپت و امنیت LLM - آخرین آپدیت

سرفصل ها و درس ها

پروژه پیش‌نمایش Teaser Project

• دستیار هوش مصنوعی سازمانی SecureOps SecureOps Enterprise AI Assistant

خوش‌آمدگویی و بررسی کلی دوره Welcome & Course Overview

• خوش‌آمدگویی به مسترکلاس امنیت AI Welcome to AI Security Masterclass

• چرا امنیت AI بیش از هر زمان دیگری اهمیت دارد Why AI Security Matters More Than Ever

• چه چیزی در طول این دوره خواهید ساخت What You'll Build Throughout This Course

• نقشه راه دوره: ساخت، حمله و ایمن‌سازی برنامه‌های AI Course Roadmap: Build, Attack and Secure AI Applications

• نصب پایتون، VS Code و Git Installing Python, VS Code, and Git

• راه‌اندازی Ollama Setting Up Ollama

مبانی امنیت هوش مصنوعی AI Security Foundations

• تفاوت امنیت AI با امنیت سنتی برنامه‌ها How AI Security Differs from Traditional Application Security

• درک چشم‌انداز تهدیدات هوش مصنوعی Understanding the AI Threat Landscape

• ده مورد برتر OWASP برای برنامه‌های LLM OWASP Top 10 for LLM Applications

• لایه‌های امنیتی در سیستم‌های مدرن AI Security Layers in Modern AI Systems

• ساخت اولین دستیار چت هوش مصنوعی Build Your First AI Chat Assistant

• بررسی نقاط ضعف امنیتی در دستیار چت Explore Security Weaknesses in the Chat Assistant

تزریق پرامپت مستقیم Direct Prompt Injection

• درک تزریق پرامپت مستقیم Understanding Direct Prompt Injection

• سلسله مراتب پرامپت: پیام‌های سیستم، توسعه‌دهنده و کاربر Prompt Hierarchy: System, Developer and User Messages

• حمله به دستیار چت با تزریق پرامپت Attack the Chat Assistant with Prompt Injection

• پیاده‌سازی اعتبارسنجی پرامپت Implement Prompt Validation

• افزودن نرده‌های حفاظتی پایه Add Basic Guardrails

• تست دفاع‌های تزریق پرامپت Test Prompt Injection Defenses

تکنیک‌های جیل‌بریک و دستکاری پرامپت Jailbreak Techniques & Prompt Manipulation

• درک جیل‌بریک‌های هوش مصنوعی Understanding AI Jailbreaks

• نقش‌آفرینی، کدگذاری و حملات چند مرحله‌ای Role Playing, Encoding and Multi-Turn Attacks

• اجرای حملات جیل‌بریک علیه دستیار چت Run Jailbreak Attacks Against the Chat Assistant

• ساخت تحلیل‌گر ریسک پرامپت Build a Prompt Risk Analyzer

• افزودن فیلترینگ پرامپت و امتیازدهی ریسک Add Prompt Filtering and Risk Scoring

• تست مقاومت در برابر جیل‌بریک Test Jailbreak Resistance

تولید تقویت‌شده با بازیابی (RAG) Retrieval-Augmented Generation (RAG)

• تولید تقویت‌شده با بازیابی (RAG) چیست؟ What is Retrieval-Augmented Generation (RAG)?

• نحوه عملکرد برنامه‌های RAG How RAG Applications Work

• درک Embeddings و جستجوی برداری Understanding Embeddings and Vector Search

• ساخت دستیار RAG مبتنی بر سند از صفر Build a Document-Based RAG Assistant from Scratch

• پرسیدن سوالات با استفاده از اسناد بازیابی شده Ask Questions Using Retrieved Documents

ایمن‌سازی برنامه‌های RAG Securing RAG Applications

• تزریق پرامپت در برنامه‌های RAG Prompt Injection in RAG Applications

• مسمومیت اسناد و مرزهای اعتماد Document Poisoning and Trust Boundaries

• اکسپلویت دستیار RAG با یک PDF مخرب Exploiting a RAG Assistant with a Malicious PDF

• مسموم کردن محتوای بازیابی شده Poisoning Retrieved Context

• پیاده‌سازی اعتبارسنجی منابع مورد اعتماد Implement Trusted Source Validation

• افزودن جداسازی محتوا Add Context Isolation

• پاک‌سازی محتوای بازیابی شده Sanitize Retrieved Content

• افزودن لایه اجرایی Add Enforcement Layer

• تأیید دفاع‌های امنیتی RAG Verify the RAG Security Defenses

ساخت قابلیت فراخوانی ابزار در AI Building AI Tool Calling

• فراخوانی ابزار (Tool Calling) چیست؟ What is Tool Calling?

• فراخوانی تابع و انتخاب ابزار Function Calling and Tool Selection

• طراحی ابزارهای آب‌وهوا، ماشین‌حساب و ایمیل Designing Weather, Calculator and Email Tools

• ساخت دستیار چت با قابلیت فراخوانی ابزار Build a Tool-Calling Chat Assistant

• تست فراخوانی‌های متعدد ابزار Test Multiple Tool Calls

ایمن‌سازی فراخوانی ابزار در AI Securing AI Tool Calling

• ریسک‌های امنیتی فراخوانی ابزار Tool Calling Security Risks

• تزریق پارامتر و اقدامات غیرمجاز Parameter Injection and Unauthorized Actions

• فعال‌سازی فراخوانی‌های غیرمجاز ابزار Triggering Unauthorized Tool Calls

• اعتبارسنجی ورودی‌های ابزار Validate Tool Inputs

• محدود کردن مجوزهای ابزار Restrict Tool Permissions

• افزودن تأیید انسانی برای اقدامات حساس Add Human Approval for Sensitive Actions

• تأیید امنیت ابزارها Verify Tool Security

ساخت حافظه هوش مصنوعی Building AI Memory

• حافظه کوتاه‌مدت در مقابل بلندمدت Short-Term vs Long-Term Memory

• طراحی حافظه دائمی هوش مصنوعی Designing Persistent AI Memory

• افزودن حافظه AI به دستیار Add AI Memory to the Assistant

• تست بازیابی حافظه Test Memory Retrieval

ایمن‌سازی حافظه هوش مصنوعی Securing AI Memory

• حملات مسمومیت حافظه Memory Poisoning Attacks

• ریسک‌های محتوای دائمی Persistent Context Risks

• مسموم کردن حافظه AI Poisoning AI Memory

• اعتبارسنجی حافظه قبل از ذخیره‌سازی Validate Memory Before Storage

• الزام به تأیید کاربر قبل از ذخیره حافظه Require User Approval Before Saving Memory

• محافظت در برابر مسمومیت حافظه Protect Against Memory Poisoning

• تأیید امنیت حافظه Verify Memory Security

ساخت عامل‌های هوش مصنوعی (AI Agents) Building AI Agents

• از چت‌بات‌ها تا عامل‌های هوش مصنوعی From Chatbots to AI Agents

• برنامه‌ریزی، استدلال و استفاده از ابزار Planning, Reasoning and Tool Use

• ساخت یک عامل برنامه‌ریز خودمختار Build an Autonomous Planner Agent

• تست جریان کاری عامل Test the Agent Workflow

ایمن‌سازی عامل‌های هوش مصنوعی Securing AI Agents

• تهدیدات امنیتی عامل‌ها (Agents) Agent Security Threats

• تأییدیه‌های انسانی در چرخه Human-in-the-Loop Approvals

• مختل کردن یک عامل خودمختار Compromising an Autonomous Agent

• افزودن جریان‌های کاری تأیید انسانی Add Human Approval Workflows

• محدود کردن مجوزهای عامل Restrict Agent Permissions

• ایمن‌سازی تصمیم‌گیری عامل Secure Agent Decision Making

• تأیید امنیت عامل Validate Agent Security

ساخت درگاه امنیتی هوش مصنوعی Building an AI Security Gateway

• معماری امنیتی لایه‌بندی شده AI Layered AI Security Architecture

• موتورهای سیاست‌گذاری، نرده‌های حفاظتی و امتیازدهی ریسک Policy Engines, Guardrails and Risk Scoring

• بررسی کامل معماری امن هوش مصنوعی Reviewing the Complete Secure AI Architecture

• ساخت درگاه امنیتی هوش مصنوعی (AI Security Gateway) Build the AI Security Gateway

• ادغام اعتبارسنجی پرامپت Integrate Prompt Validation

• ادغام امنیت RAG Integrate RAG Security

• ادغام امنیت ابزارها Integrate Tool Security

• ادغام امنیت حافظه Integrate Memory Security

• ادغام امنیت عامل‌ها Integrate Agent Security

• تأیید کامل خط لوله امنیتی Verify the Complete Security Pipeline

آماده‌سازی برای محیط عملیاتی و جمع‌بندی Production Readiness and Course Wrap-Up

• استقرار برنامه‌های امن هوش مصنوعی Deploying Secure AI Applications

• مانیتورینگ، لاگ‌گیری و پاسخ به حوادث Monitoring, Logging and Incident Response

• بسته‌بندی دستیار امن AI با Docker Package the Secure AI Assistant with Docker

• ساخت و اجرای دستیار امن AI در داکر Build and Run the Dockerized Secure AI Assistant

• جمع‌بندی دوره و گام‌های بعدی Course Wrap-Up and Next Steps