آموزش امنیت هوش مصنوعی مولد (Securing Generative AI) - آخرین آپدیت

امنیت هوش مصنوعی مولد Securing Generative AI

• مقدمه Introduction

• اهداف یادگیری Learning objectives

• درک اهمیت مدل‌های زبانی بزرگ (LLM) در چشم‌انداز هوش مصنوعی Understanding the Significance of LLMs in the AI Landscape

• بررسی منابع این دوره: مخازن گیت‌هاب و سایر موارد Exploring the Resources for this Course - GitHub Repositories and Others

• معرفی تولید تقویت‌شده با بازیابی (RAG) Introducing Retrieval Augmented Generation (RAG)

• درک ۱۰ ریسک برتر OWASP برای مدل‌های زبانی بزرگ Understanding the OWASP Top-10 Risks for LLMs

• بررسی چارچوب MITRE ATLAS (چشم‌انداز تهدیدات متخاصم برای سیستم‌های هوش مصنوعی) Exploring the MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems) Framework

• درک تاکسونومی و اصطلاحات NIST در مورد حملات و کاهش ریسک Understanding the NIST Taxonomy and Terminology of Attacks and Mitigations

• اهداف یادگیری Learning objectives

• تعریف حملات تزریق پرامپت (Prompt Injection) Defining Prompt Injection Attacks

• بررسی حملات تزریق پرامپت در دنیای واقعی Exploring Real-life Prompt Injection Attacks

• استفاده از ChatML برای فراخوانی‌های API در OpenAI جهت مشخص کردن منبع ورودی پرامپت Using ChatML for OpenAI API Calls to Indicate to the LLM the Source of Prompt Input

• اعمال کنترل دسترسی و امتیازات در دسترسی LLM به سیستم‌های بک‌اند Enforcing Privilege Control on LLM Access to Backend Systems

• بهترین روش‌ها در مورد توکن‌های API برای پلاگین‌ها، دسترسی به داده‌ها و مجوزهای سطح تابع Best Practices Around API Tokens for Plugins, Data Access, and Function-level Permissions

• درک حملات مدیریت خروجی ناامن (Insecure Output Handling) Understanding Insecure Output Handling Attacks

• استفاده از OWASP ASVS برای محافظت در برابر مدیریت خروجی ناامن Using the OWASP ASVS to Protect Against Insecure Output Handling

• اهداف یادگیری Learning objectives

• درک حملات مسموم‌سازی داده‌های آموزشی (Training Data Poisoning) Understanding Training Data Poisoning Attacks

• بررسی حملات منع سرویس (DoS) مدل Exploring Model Denial of Service Attacks

• درک ریسک‌های زنجیره تأمین هوش مصنوعی و یادگیری ماشین Understanding the Risks of the AI and ML Supply Chain

• بهترین روش‌ها هنگام استفاده از مدل‌های متن‌باز Hugging Face و سایر منابع Best Practices when Using Open-Source Models from Hugging Face and Other Sources

• امن‌سازی Amazon BedRock، SageMaker، سرویس‌های هوش مصنوعی Azure و سایر محیط‌ها Securing Amazon BedRock, SageMaker, Microsoft Azure AI Services, and Other Environments

• اهداف یادگیری Learning objectives

• درک افشای اطلاعات حساس Understanding Sensitive Information Disclosure

• بهره‌برداری از طراحی ناامن پلاگین‌ها Exploiting Insecure Plugin Design

• جلوگیری از اعطای اختیارات بیش از حد (Excessive Agency) Avoiding Excessive Agency

• اهداف یادگیری Learning objectives

• درک وابستگی بیش از حد (Overreliance) Understanding Overreliance

• بررسی حملات سرقت مدل Exploring Model Theft Attacks

• درک تیم قرمز (Red Teaming) در مدل‌های هوش مصنوعی Understanding Red Teaming of AI Models

• اهداف یادگیری Learning objectives

• درک RAG، LangChain، Llama Index و ارکستراسیون هوش مصنوعی Understanding the RAG, LangChain, Llama Index, and AI Orchestration

• امن‌سازی مدل‌های Embedding Securing Embedding Models

• امن‌سازی پایگاه‌های داده برداری Securing Vector Databases

• مانیتورینگ و پاسخ به حوادث Monitoring and Incident Response

• امنیت هوش مصنوعی مولد: جمع‌بندی Securing Generative AI: Summary