آموزش تست نفوذ مدل‌های LLM هوش مصنوعی مولد: ایمن‌سازی مدل‌های زبانی بزرگ - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• معرفی و منابع دوره Introduction and Course resource

مقدمه ای بر امنیت و تست نفوذ LLM Introduction to LLM Security & Penetration Testing

• تست نفوذ چیست What is Penetration Testing

• این یک نقطه عطف است This is a milestone

• چرا LLM ها آسیب پذیر هستند Why LLMs Are Vulnerable

مروری بر آسیب‌پذیری‌های LLM Overview of LLM Vulnerabilities

• چرا معیارها کافی نیستند: ایمنی و امنیت هوش مصنوعی Why Benchmarks Are Not Enough: AI Safety & Security

• آسیب‌پذیری‌های اپلیکیشن LLM - نمایش 01 (توضیح کد) LLM Application Vulnerabilities - Demo 01 (Code Explanation)

• آسیب‌پذیری‌های اپلیکیشن LLM - نمایش 02 (جانبداری و کلیشه‌ها) LLM Application Vulnerabilities - Demo 02 (Biased and Stereotypes)

• آسیب‌پذیری‌های اپلیکیشن LLM - نمایش 03 (افشای اطلاعات حساس) LLM Application Vulnerabilities - Demo 03 (Sensitive Data Disclosure)

• آسیب‌پذیری‌های اپلیکیشن LLM - نمایش 04 (اختلال در سرویس) LLM Application Vulnerabilities - Demo 04 (Service Disruption)

• آسیب‌پذیری‌های اپلیکیشن LLM - نمایش - 05 (توهم) LLM Application Vulnerabilities - Demo - 05 (Hallucination)

• مدل های پایه در مقابل اپلیکیشن های LLM Foundation Models vs. LLM Apps

• استراتژی هایی برای ایمنی اپلیکیشن LLM Strategies for LLM Application Safety

• بررسی آسیب پذیری های LLM Examining LLM Vulnerabilities

• نمای کلی اپلیکیشن LLM نمایشی Demo LLM Application Overview

• وارد کردن اپلیکیشن LLM Importing the LLM Application

مبانی تست نفوذ و تیم قرمز Penetration Testing & Red Teaming Fundamentals

• چرا تست نفوذ برای GenAI ضروری است Why Penetration Testing is Essential for GenAI

• مقایسه تیم قرمز و تست نفوذ Comparing Red Teaming and Penetration Testing

• فرآیند تست نفوذ Penetration Testing Process

• اکسپلویت (بهره برداری) Exploitation

• پس از اکسپلویت (بهره برداری) Post-Exploitation

تیم قرمز برای LLM ها Red Teaming for LLMs

• تیم قرمز LLM ها: پنج تکنیک کلیدی Red Teaming LLMs: Five Key Techniques

گزارش دهی و استراتژی های کاهش Reporting & Mitigation Strategies

• گزارش دهی Reporting

• اصلاح و گزارش دهی Remediation and Reporting

چارچوب MITRE ATT&CK برای LLM ها MITRE ATT&CK Framework for LLMs

• ATT&CK چیست؟ What is ATT&CK?

• درک هرم درد Understanding the Pyramid of Pain

• مروری بر ماتریس های ATT&CK Overview of ATT&CK Matrices

• تاکتیک های ATT&CK ATT&CK Tactics

• تکنیک های ATT&CK ATT&CK Techniques

• تکنیک های فرعی ATT&CK ATT&CK Subtechniques

• منابع داده برای ATT&CK Data Sources for ATT&CK

• استراتژی های تشخیص Detection Strategies

• پیاده سازی تکنیک های کاهش Implementing Mitigation Techniques

• کاوش در گروه های ATT&CK Exploring ATT&CK Groups

• نرم افزار در چارچوب ATT&CK Software in the ATT&CK Framework

• مروری بر کمپین ها Campaigns Overview

• روابط ATT&CK ATT&CK Relationships

• ماتریس سازمانی ATT&CK - عملی ATT&CK Enterprise Matrix - Hands-On

آسیب پذیری های اپلیکیشن LLM LLM Application Vulnerabilities

• تزریق Prompt Prompt Injection

• تزریق غیرمستقیم Prompt: نمایش Indirect Prompt Injection: Demo

• مدیریت خروجی ناامن: تئوری Insecure Output Handling: Theory

• مدیریت خروجی ناامن: نمایش Insecure Output Handling: Demo

• آسیب پذیری های زنجیره تامین Supply Chain Vulnerabilities

• انکار سرویس (DoS) مدل Model Denial of Service (DoS)

• توقف حمله DOS مدل Stop Model DOS Attack

• مسموم کردن داده های آموزشی Training Data Poisoning

• افشای اطلاعات حساس Sensitive Information Disclosure

• امنیت افزونه اپلیکیشن های LLM Plugin Security LLM Applications

• اعمال قدرت بیش از حد Excessive Agency

• اتکای بیش از حد Overreliance

• سرقت مدل Model Theft

• نقطه عطف نهایی! The final milestone!

نتیجه گیری Conclusion

• درباره گواهینامه شما About your certificate

• سخنرانی جایزه Bonus lecture