تست نفوذ برای LLM

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• اسلایدهای دوره Course Slides

• مهم - مبانی IMPORTANT - BASICS

• مهم - DEMOS IMPORTANT - DEMOS

• سوالات متداول FAQs

مبانی - هوش مصنوعی مولد Basics - Generative AI

• هوش مصنوعی مولد (GenAI) چیست؟ What is Generative AI (GenAI)?

• مدل زبان بزرگ (LLM) چیست؟ What is a Large Language Model (LLM)?

• Prompt چیست؟ What is a Prompt?

• مدل های هوش مصنوعی AI Models

• معماری LLM LLM Architecture

• چگونه دشمنان از هوش مصنوعی استفاده می کنند How Adversaries Leverage AI

• هوش مصنوعی مسئول مایکروسافت Microsoft Responsible AI

• مسئولیت مشترک در هوش مصنوعی Shared Responsibility in AI

تست نفوذ Penetration Testing

• تست نفوذ چیست؟ What is Penetration Testing?

• تست نفوذ در امنیت سایبری Penetration Testing in Cyber Security

• تیم قرمز در مقابل تست نفوذ Red Teaming vs. Penetration Testing

• اهمیت تست نفوذ برای GenAI The Importance of Penetration Testing for GenAI

• بردارهای تهدید برای GenAI Threat Vectors for GenAI

فرآیند تست نفوذ برای GenAI The Penetration Testing Process for GenAI

• نمای کلی Overview

• برنامه ریزی و آماده سازی Planning and Preparation

• شناسایی Reconnaissance

• اسکن و شمارش Scanning & Enumeration

• ارزیابی آسیب پذیری Vulnerability Assessment

• بهره برداری Exploitation

• پس از بهره برداری Post Exploitation

• گزارش Reporting

• اصلاح و درس های آموخته شده Remediation & Lessons Learned

MITER ATT&CK MITRE ATT&CK

• ATT&CK چیست؟ What is ATT&CK?

• نگاشت ATT&CK به هرم درد Mapping ATT&CK to the Pyramid of Pain

• ماتریس ها Matrices

• تاکتیک Tactics

• تکنیک ها Techniques

• تکنیک های فرعی Subtechniques

• تاکتیک ها، تکنیک ها و تکنیک های فرعی Tactics, Techniques & Subtechniques

• منابع داده Data Sources

• تشخیص ها Detections

• اقدامات کاهشی Mitigations

• گروه ها Groups

• نرم افزار Software

• کمپین ها Campaigns

• روابط Relations

• نسخه ی نمایشی: ATT&CK Enterprise Matrix Demo: ATT&CK Enterprise Matrix

میتر اطلس MITRE ATLAS

• MITER ATLAS چیست؟ What is MITRE ATLAS?

• تاکتیک Tactics

• تکنیک ها Techniques

• تکنیک های فرعی Subtechniques

• تاکتیک ها، تکنیک ها، تکنیک های فرعی Tactics, Techniques, Subtechniques

• اقدامات کاهشی Mitigations

• مطالعات موردی Case Studies

• مطالعه موردی I: اختلال در سرویس Microsoft Azure Case Study I: Microsoft Azure Service Disruption

• مطالعه موردی II: PoisonGPT Case Study II: PoisonGPT

• مطالعه موردی III: نشت حریم خصوصی افزونه ChatGPT Case Study III: ChatGPT Plugin Privacy Leak

• نسخه ی نمایشی: ATLAS Matrix Demo: ATLAS Matrix

OWASP 10 برتر برای LLM OWASP Top 10 for LLMs

• OWASP چیست؟ What is OWASP?

• OWASP 10 - خطرات امنیتی LLM OWASP Top 10 - LLM Security Risks

حملات و اقدامات متقابل برای GenAI Attacks and Countermeasures for GenAI

• تزریق سریع Prompt Injection

• مدیریت ناامن خروجی Insecure Output Handling

• مسمومیت داده های آموزشی Training Data Poisoning

• مدل انکار خدمات Model Denial-of-Service

• آسیب پذیری های زنجیره تامین Supply Chain Vulnerabilities

• افشای اطلاعات حساس Sensitive Information Disclosure

• طراحی پلاگین ناامن Insecure Plugin Design

• آژانس بیش از حد Excessive Agency

• اتکای بیش از حد Overreliance

• مدل سرقت Model Theft

مطالعه موردی I: بهره برداری از یک LLM Case Study I: Exploit a LLM

• نسخه ی نمایشی: راه اندازی آزمایشگاه Demo: Lab Setup

• نسخه ی نمایشی: تزریق سریع Demo: Prompt Injection

• نسخه ی نمایشی: مدیریت ناامن خروجی Demo: Insecure Output Handling

• نسخه ی نمایشی: آسیب پذیری های زنجیره تامین Demo: Supply Chain Vulnerabilities

• نسخه ی نمایشی: آژانس بیش از حد Demo: Excessive Agency

پاداش Bonus

• پاداش Bonus