آموزش تأمین هوش مصنوعی: استراتژی ها ، روش ها ، ابزارها و بهترین شیوه ها - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• تضمین هوش مصنوعی: مقدمه Securing generative AI: Introduction

1. مقدمه ای بر تهدیدات هوش مصنوعی و امنیت LLM 1. Introduction to AI Threats and LLM Security

• بررسی چارچوب ATLAS MITER ™ (چشم انداز تهدید مخالف برای سیستم های اطلاعاتی مصنوعی) Exploring the MITRE ATLAS™ (adversarial threat landscape for artificial intelligence systems) framework

• اهداف یادگیری Learning objectives

• درک طبقه بندی nist و اصطلاحات حملات و کاهش Understanding the NIST taxonomy and terminology of attacks and mitigations

• درک 10 خطرات برتر OWASP برای LLMS Understanding the OWASP Top 10 risks for LLMs

• درک اهمیت LLM ها در چشم انداز AI Understanding the significance of LLMs in the AI landscape

• معرفی نسل تقویت شده بازیابی (RAG) Introducing retrieval augmented generation (RAG)

• کاوش در منابع این دوره: مخازن GitHub و دیگران Exploring the resources for this course: GitHub repositories and others

2. درک سریع استفاده از خروجی ناامن تزریق سریع 2. Understanding Prompt Injection Insecure Output Handling

• اهداف یادگیری Learning objectives

• اجرای کنترل امتیاز در دسترسی LLM به سیستم های عقب Enforcing privilege control on LLM access to back-end systems

• با استفاده از chatML برای تماس های API OpenAI برای نشان دادن منبع ورودی سریع به LLM Using ChatML for OpenAI API calls to indicate to the LLM the source of prompt input

• بهترین روشهای مربوط به نشانه های API برای افزونه ها ، دسترسی به داده ها و مجوزهای سطح عملکرد Best practices around API tokens for plugins, data access, and function-level permissions

• بررسی حملات تزریق سریع در زندگی واقعی Exploring real-life prompt injection attacks

• درک حملات رسیدگی به خروجی ناامن Understanding insecure output handling attacks

• با استفاده از ASV های OWASP برای محافظت در برابر رسیدگی به خروجی ناامن Using the OWASP ASVS to protect against insecure output handling

• تعریف حملات تزریق سریع Defining prompt injection attacks

3. آموزش مسمومیت با داده ها ، انکار مدل آسیب پذیری های زنجیره تأمین خدمات 3. Training Data Poisoning, Model Denial of Service Supply Chain Vulnerabilities

• کاوش در مدل انکار حملات خدماتی Exploring model denial of service attacks

• درک حملات مسمومیت با داده ها Understanding training data poisoning attacks

• اهداف یادگیری Learning objectives

• درک خطرات زنجیره تأمین AI و ML Understanding the risks of the AI and ML supply chain

• بهترین روش ها هنگام استفاده از مدل های منبع باز از بغل کردن صورت و منابع دیگر Best practices when using open-source models from Hugging face and other sources

• امنیت آمازون Bedrock ، Amazon Sagemaker ، Microsoft Azure AI Services و سایر محیط ها Securing Amazon Bedrock, Amazon SageMaker, Microsoft Azure AI services, and other environments

4. افشای اطلاعات حساس ، طراحی پلاگین ناامن و آژانس بیش از حد 4. Sensitive Information Disclosure, Insecure Plugin Design, and Excessive Agency

• بهره برداری از طراحی پلاگین ناامن Exploiting insecure plugin design

• اجتناب از نمایندگی بیش از حد Avoiding excessive agency

• درک افشای اطلاعات حساس Understanding sensitive information disclosure

• هدف یادگیری Learning objective

5. عدم اعتماد به نفس ، سرقت مدل و مدل های AI تیم قرمز 5. Overreliance, Model Theft, and Red Teaming AI Models

• بررسی حملات سرقت مدل Exploring model theft attacks

• اهداف یادگیری Learning objectives

• درک اعتماد به نفس Understanding overreliance

• درک تیمی قرمز از مدل های AI Understanding red teaming of AI models

6. محافظت از اجرای تولید تقویت شده (RAG) 6. Protecting Retrieval Augmented Generation (RAG) Implementations

• اهداف یادگیری Learning objectives

• نظارت و پاسخ حادثه Monitoring and incident response

• درک Rag ، Langchain ، Llama Index و Orchestration AI Understanding RAG, LangChain, Llama index, and AI orchestration

• ایمن سازی مدلهای جاسازی Securing embedding models

• ایمن سازی بانکهای اطلاعاتی بردار Securing vector databases

پایان Conclusion

• تضمین هوش مصنوعی: خلاصه Securing generative AI: Summary