آموزش OWASP Top 10 برای برنامه‌های LLM (مدل‌های زبان بزرگ) (۲۰۲۵) - آخرین آپدیت

سرفصل ها و درس ها

OWASP Top 10 for LLM Applications - Course Trailer

• OWASP Top 10 for LLM Applications - Course Trailer-تریلر دوره OWASP Top 10 برای برنامه‌های کاربردی LLM OWASP Top 10 for LLM Applications - Course Trailer

Module 1: Introduction to LLM Application Security-ماژول ۱: مقدمه‌ای بر امنیت برنامه‌های کاربردی LLM Module 1: Introduction to LLM Application Security

• Introduction to LLMs and their applications-مقدمه‌ای بر LLMها و کاربردهای آن‌ها Introduction to LLMs and their applications

• Overview of security challenges specific to LLM applications-مروری بر چالش‌های امنیتی مختص برنامه‌های کاربردی LLM Overview of security challenges specific to LLM applications

• Introduction to the OWASP Top 10 LLM Applications list-معرفی لیست OWASP Top 10 برنامه‌های کاربردی LLM Introduction to the OWASP Top 10 LLM Applications list

• Importance of secure LLM development and deployment-اهمیت توسعه و استقرار امن LLM Importance of secure LLM development and deployment

• Real-world case studies of successful/unsuccessful LLM implementations-مطالعات موردی دنیای واقعی از پیاده‌سازی‌های موفق/ناموفق LLM Real-world case studies of successful/unsuccessful LLM implementations

• Common LLM application architectures (e.g., RAG)-معماری‌های رایج برنامه کاربردی LLM (مانند RAG) Common LLM application architectures (e.g., RAG)

• The threat landscape: motivations of attackers targeting LLM applications.-چشم‌انداز تهدید: انگیزه‌های مهاجمان که برنامه‌های کاربردی LLM را هدف قرار می‌دهند The threat landscape: motivations of attackers targeting LLM applications.

• Module 1: Introduction to LLM Application Security- Quiz-ماژول ۱: مقدمه‌ای بر امنیت برنامه‌های کاربردی LLM - آزمون Module 1: Introduction to LLM Application Security- Quiz

• Handling an LLM Prompt Injection Incident as a Product Manager-رسیدگی به یک حادثه تزریق Prompt LLM به عنوان مدیر محصول Handling an LLM Prompt Injection Incident as a Product Manager

• Module 1: Introduction to LLM Application Security - Playground Rules - Lab 1-ماژول ۱: مقدمه‌ای بر امنیت برنامه‌های کاربردی LLM - قوانین زمین بازی - آزمایشگاه ۱ Module 1: Introduction to LLM Application Security - Playground Rules - Lab 1

• Module 1: Introduction to LLM Application Security - OWASP AI sampler - Lab 2-ماژول ۱: مقدمه‌ای بر امنیت برنامه‌های کاربردی LLM - نمونه‌گیر OWASP AI - آزمایشگاه ۲ Module 1: Introduction to LLM Application Security - OWASP AI sampler - Lab 2

• Module 1: Introduction to LLM Application Security -RAG Threat Mapping- Lab 3-ماژول ۱: مقدمه‌ای بر امنیت برنامه‌های کاربردی LLM - نقشه تهدید RAG - آزمایشگاه ۳ Module 1: Introduction to LLM Application Security -RAG Threat Mapping- Lab 3

Module 2: LLM01:2025 – Prompt Injection-ماژول ۲: LLM01:2025 – تزریق Prompt Module 2: LLM01:2025 – Prompt Injection

• Detailed explanation of prompt injection vulnerabilities-توضیحات مفصل آسیب‌پذیری‌های تزریق Prompt Detailed explanation of prompt injection vulnerabilities

• Types of prompt injection (direct and indirect)-انواع تزریق Prompt (مستقیم و غیرمستقیم) Types of prompt injection (direct and indirect)

• Potential impacts of prompt injection attacks-تأثیرات بالقوه حملات تزریق Prompt Potential impacts of prompt injection attacks

• Prevention and mitigation strategies-استراتژی‌های پیشگیری و کاهش خطر Prevention and mitigation strategies

• Evolution of prompt injection techniques and their increasing sophistication.-تکامل تکنیک‌های تزریق Prompt و پیچیدگی فزاینده آن‌ها Evolution of prompt injection techniques and their increasing sophistication.

• Impact deep dive: specific examples-بررسی عمیق تاثیر: نمونه‌های خاص Impact deep dive: specific examples

• Defense-in-depth: combining input validation, output filtering, and human review-دفاع همه‌جانبه: ترکیب اعتبارسنجی ورودی، فیلترینگ خروجی و بررسی انسانی Defense-in-depth: combining input validation, output filtering, and human review

• Module 2: LLM01:2025 - Prompt Injection- Quiz-ماژول ۲: LLM01:2025 - تزریق Prompt - آزمون Module 2: LLM01:2025 - Prompt Injection- Quiz

• Navigating a Prompt Injection Report with Product Leadership-هدایت یک گزارش تزریق Prompt با رهبری محصول Navigating a Prompt Injection Report with Product Leadership

• Module 2: LLM01:2025 – Prompt Injection - Lab 01-ماژول ۲: LLM01:2025 – تزریق Prompt - آزمایشگاه ۰۱ Module 2: LLM01:2025 – Prompt Injection - Lab 01

• Module 2: LLM01:2025 – Prompt Injection - Lab 02-ماژول ۲: LLM01:2025 – تزریق Prompt - آزمایشگاه ۰۲ Module 2: LLM01:2025 – Prompt Injection - Lab 02

• Module 2: LLM01:2025 – Prompt Injection - Lab 03-ماژول ۲: LLM01:2025 – تزریق Prompt - آزمایشگاه ۰۳ Module 2: LLM01:2025 – Prompt Injection - Lab 03

Module 3: LLM02:2025 – Sensitive Information Disclosure-ماژول ۳: LLM02:2025 – افشای اطلاعات حساس Module 3: LLM02:2025 – Sensitive Information Disclosure

• Common examples of vulnerabilities(PII leakage, proprietary algorithm exposure.)-نمونه‌های رایج آسیب‌پذیری‌ها (نشت PII، افشای الگوریتم اختصاصی) Common examples of vulnerabilities(PII leakage, proprietary algorithm exposure.)

• Understanding the risks of sensitive information disclosure in LLM applications-درک خطرات افشای اطلاعات حساس در برنامه‌های کاربردی LLM Understanding the risks of sensitive information disclosure in LLM applications

• Prevention and mitigation strategies (sanitization, access controls, etc.)-استراتژی‌های پیشگیری و کاهش خطر (پاک‌سازی، کنترل دسترسی و غیره) Prevention and mitigation strategies (sanitization, access controls, etc.)

• Data minimization: importance of minimizing sensitive data collection.-حداقل‌سازی داده‌ها: اهمیت به حداقل رساندن جمع‌آوری داده‌های حساس Data minimization: importance of minimizing sensitive data collection.

• Privacy-enhancing technologies - PET-فناوری‌های افزایش‌دهنده حریم خصوصی - PET Privacy-enhancing technologies - PET

• Legal and compliance: legal implications of sensitive data disclosure-مسائل حقوقی و انطباق: پیامدهای حقوقی افشای اطلاعات حساس Legal and compliance: legal implications of sensitive data disclosure

• Module 3: LLMO2:2025 - Sensitive Information Disclosure- Quiz-ماژول ۳: LLMO2:2025 - افشای اطلاعات حساس - آزمون Module 3: LLMO2:2025 - Sensitive Information Disclosure- Quiz

• Preventing Data Leaks in AI Support Systems-جلوگیری از نشت داده‌ها در سیستم‌های پشتیبانی مبتنی بر هوش مصنوعی Preventing Data Leaks in AI Support Systems

• Module 3: Lab 1 — Detecting Sensitive Information Leakage-ماژول ۳: آزمایشگاه ۱ — تشخیص نشت اطلاعات حساس Module 3: Lab 1 — Detecting Sensitive Information Leakage

• Module 3: Lab 2 — Sanitization & Access Control Mitigation-ماژول ۳: آزمایشگاه ۲ — پاک‌سازی و کاهش خطر کنترل دسترسی Module 3: Lab 2 — Sanitization & Access Control Mitigation

• Module 3 : Lab 3 — Defense-in-Depth & Compliance Audit-ماژول ۳: آزمایشگاه ۳ — دفاع همه‌جانبه و ممیزی انطباق Module 3 : Lab 3 — Defense-in-Depth & Compliance Audit

Module 4: LLM03:2025 – Supply Chain-ماژول ۴: LLM03:2025 – زنجیره تامین Module 4: LLM03:2025 – Supply Chain

• Supply chain vulnerabilities in LLM development and deployment-آسیب‌پذیری‌های زنجیره تامین در توسعه و استقرار LLM Supply chain vulnerabilities in LLM development and deployment

• Risks associated with third-party models, data, and components-خطرات مرتبط با مدل‌ها، داده‌ها و اجزای شخص ثالث Risks associated with third-party models, data, and components

• Prevention and mitigation strategies for supply chain risks-استراتژی‌های پیشگیری و کاهش خطر برای خطرات زنجیره تامین Prevention and mitigation strategies for supply chain risks

• SBOMs in detail: explanation of Software Bill of Materials (SBOMs) and their imp-SBOMها با جزئیات: توضیح Software Bill of Materials (SBOM) و اهمیت آن‌ها SBOMs in detail: explanation of Software Bill of Materials (SBOMs) and their imp

• Model provenance challenges: difficulties in verifying the origin and integrity-چالش‌های منشاء مدل: دشواری در تأیید منشاء و یکپارچگی Model provenance challenges: difficulties in verifying the origin and integrity

• Governance and policy: importance of clear policies for using third-party LLMs-حاکمیت و سیاست‌گذاری: اهمیت سیاست‌های روشن برای استفاده از LLMهای شخص ثالث Governance and policy: importance of clear policies for using third-party LLMs

• Module 4: LLM03:2025 - Supply Chain- Quiz-ماژول ۴: LLM03:2025 - زنجیره تامین - آزمون Module 4: LLM03:2025 - Supply Chain- Quiz

• Confronting a Vendor’s Lack of SBOM and Provenance Disclosure-مقابله با فقدان SBOM و افشای منشاء توسط فروشنده Confronting a Vendor’s Lack of SBOM and Provenance Disclosure

• Module 4 - Lab_1_Dependency_Model_Integrity_Check_1-ماژول ۴ - آزمایشگاه ۱_ بررسی یکپارچگی مدل وابسته ۱ Module 4 - Lab_1_Dependency_Model_Integrity_Check_1

• Module 4 - LAB 2 Third-Party Risk Simulation-ماژول ۴ - آزمایشگاه ۲: شبیه‌سازی ریسک شخص ثالث Module 4 - LAB 2 Third-Party Risk Simulation

• Module 4 - Lab_3_SBOM_Provenance_Verification-ماژول ۴ - آزمایشگاه ۳_تأیید SBOM و منشاء Module 4 - Lab_3_SBOM_Provenance_Verification

Module 5: LLM04:2025 – Data and Model Poisoning-ماژول ۵: LLM04:2025 – مسمومیت داده و مدل Module 5: LLM04:2025 – Data and Model Poisoning

• Understanding data and model poisoning attacks-درک حملات مسموم‌سازی داده و مدل Understanding data and model poisoning attacks

• How poisoning can impact LLM behavior and security-چگونه مسمومیت می‌تواند بر رفتار و امنیت LLM تأثیر بگذارد How poisoning can impact LLM behavior and security

• Prevention and mitigation strategies-استراتژی‌های پیشگیری و کاهش خطر Prevention and mitigation strategies

• Poisoning scenarios across the lifecycle: poisoning in training and fine-tuning-سناریوهای مسمومیت در طول چرخه عمر: مسمومیت در آموزش و تنظیم دقیق Poisoning scenarios across the lifecycle: poisoning in training and fine-tuning

• Backdoor attacks: detail on how backdoors are inserted-حملات درب پشتی: جزئیات در مورد نحوه درج درب‌های پشتی Backdoor attacks: detail on how backdoors are inserted

• Robustness testing: need for rigorous testing to detect poisoning effects.-تست استحکام: نیاز به آزمایش دقیق برای تشخیص اثرات مسمومیت Robustness testing: need for rigorous testing to detect poisoning effects.

• Module 5: LLM04:2025 - Data and Model Poisoning Ask- Quiz-ماژول ۵: LLM04:2025 - مسمومیت داده و مدل – آزمون Module 5: LLM04:2025 - Data and Model Poisoning Ask- Quiz

• Investigating a Potential Data Poisoning Incident in an LLM Pipeline-بررسی یک حادثه احتمالی مسمومیت داده در یک خط لوله LLM Investigating a Potential Data Poisoning Incident in an LLM Pipeline

Module 6: LLM05:2025 – Improper Output Handling-ماژول ۶: LLM05:2025 – مدیریت نادرست خروجی Module 6: LLM05:2025 – Improper Output Handling

• Risks associated with improper handling of LLM outputs-خطرات مرتبط با مدیریت نادرست خروجی‌های LLM Risks associated with improper handling of LLM outputs

• Vulnerabilities such as XSS, SQL injection, and remote code execution-آسیب‌پذیری‌هایی مانند XSS، تزریق SQL و اجرای کد از راه دور Vulnerabilities such as XSS, SQL injection, and remote code execution

• Prevention and mitigation strategies-استراتژی‌های پیشگیری و کاهش خطر Prevention and mitigation strategies

• Output encoding examples: code examples for different contexts (e.g., HTML, SQL)-نمونه‌های رمزگذاری خروجی: نمونه‌های کد برای زمینه‌های مختلف (مثلاً HTML، SQL) Output encoding examples: code examples for different contexts (e.g., HTML, SQL)

• Real-world exploits: detail cases where improper output handling led to breaches-بهره‌برداری‌های دنیای واقعی: موارد دقیقی که در آن مدیریت نادرست خروجی منجر به نقض شد Real-world exploits: detail cases where improper output handling led to breaches

• Module 6: LLM05:2025 - Improper Output Handling- Quiz-ماژول ۶: LLM05:2025 - مدیریت نادرست خروجی - آزمون Module 6: LLM05:2025 - Improper Output Handling- Quiz

• Mitigating an LLM Output Breach in a Client-Facing Application-کاهش خطر نقض خروجی LLM در یک برنامه کاربردی مشتری‌گرا Mitigating an LLM Output Breach in a Client-Facing Application

Module 7: LLM06:2025 – Excessive Agency-ماژول ۷: LLM06:2025 – اختیار بیش از حد Module 7: LLM06:2025 – Excessive Agency

• The concept of agency in LLM systems and associated risks-مفهوم اختیار در سیستم‌های LLM و خطرات مرتبط The concept of agency in LLM systems and associated risks

• Risks of excessive functionality, permissions, and autonomy-خطرات عملکرد، مجوزها و خودمختاری بیش از حد Risks of excessive functionality, permissions, and autonomy

• Prevention and mitigation strategies-استراتژی‌های پیشگیری و کاهش خطر Prevention and mitigation strategies

• Agentic systems: explanation of LLM agents, their benefits, and risks.-سیستم‌های عاملی: توضیح عوامل LLM، مزایا و خطرات آن‌ها Agentic systems: explanation of LLM agents, their benefits, and risks.

• Least privilege in depth: detailed guidance on implementing least privilege.-کمترین امتیاز به‌طور عمیق: راهنمایی‌های دقیق در مورد پیاده‌سازی کمترین امتیاز Least privilege in depth: detailed guidance on implementing least privilege.

• Authorization frameworks: best practices for managing authorization in LLM-چارچوب‌های مجوز: بهترین روش‌ها برای مدیریت مجوز در LLM Authorization frameworks: best practices for managing authorization in LLM

• Module 7: LLM06:2025 - Excessive Agency- Quiz-ماژول ۷: LLM06:2025 - اختیار بیش از حد - آزمون Module 7: LLM06:2025 - Excessive Agency- Quiz

• Handling Excessive Permissions in a New LLM Agent Integration-مدیریت مجوزهای بیش از حد در یکپارچه‌سازی عامل جدید LLM Handling Excessive Permissions in a New LLM Agent Integration

Module 8: LLM07:2025 – System Prompt Leakage-ماژول ۸: LLM07:2025 – نشت Prompt سیستم Module 8: LLM07:2025 – System Prompt Leakage

• Vulnerability of system prompt leakage-آسیب‌پذیری نشت Prompt سیستم Vulnerability of system prompt leakage

• Risks associated with exposing system prompts-خطرات مرتبط با افشای Promptهای سیستم Risks associated with exposing system prompts

• Prevention and mitigation strategies-استراتژی‌های پیشگیری و کاهش خطر Prevention and mitigation strategies

• Prompt engineering risks: how prompt engineering can extract system prompts.-خطرات مهندسی Prompt: چگونه مهندسی Prompt می‌تواند Promptهای سیستم را استخراج کند Prompt engineering risks: how prompt engineering can extract system prompts.

• Defense in depth for prompts-دفاع همه‌جانبه برای Promptها Defense in depth for prompts

• Secure design principles-اصول طراحی امن Secure design principles

• Module 8: LLM07:2025 - System Prompt Leakage- Quiz-ماژول ۸: LLM07:2025 - نشت Prompt سیستم - آزمون Module 8: LLM07:2025 - System Prompt Leakage- Quiz

• Handling a Prompt Injection Vulnerability Disclosure-رسیدگی به افشای آسیب‌پذیری تزریق Prompt Handling a Prompt Injection Vulnerability Disclosure

Module 9: LLM08:2025 – Vector and Embedding Weaknesses-ماژول ۹: LLM08:2025 – نقاط ضعف بردار و تعبیه‌سازی Module 9: LLM08:2025 – Vector and Embedding Weaknesses

• Vulnerabilities related to vector and embedding usage in LLM applications-آسیب‌پذیری‌های مربوط به استفاده از بردار و تعبیه‌سازی در برنامه‌های کاربردی LLM Vulnerabilities related to vector and embedding usage in LLM applications

• Risks of unauthorized access, data leakage, and poisoning-خطرات دسترسی غیرمجاز، نشت داده و مسمومیت Risks of unauthorized access, data leakage, and poisoning

• Prevention and mitigation strategies-استراتژی‌های پیشگیری و کاهش خطر Prevention and mitigation strategies

• Embedding security: details on securing vector databases and embeddings.-امنیت تعبیه‌سازی: جزئیات در مورد ایمن‌سازی پایگاه‌های داده برداری و تعبیه‌سازی‌ها Embedding security: details on securing vector databases and embeddings.

• RAG security best practices-بهترین روش‌های امنیتی RAG RAG security best practices

• Emerging research-تحقیقات در حال ظهور Emerging research

• Module 9: LLMO8:2025 - Vector and Embedding Weaknesses- Quiz-ماژول ۹: LLMO8:2025 - نقاط ضعف بردار و تعبیه‌سازی - آزمون Module 9: LLMO8:2025 - Vector and Embedding Weaknesses- Quiz

• Investigating a Vector Poisoning Incident in a Customer-Facing LLM App-بررسی یک حادثه مسمومیت برداری در یک برنامه LLM مشتری‌گرا Investigating a Vector Poisoning Incident in a Customer-Facing LLM App

Module 10: LLM09:2025 – Misinformation-ماژول ۱۰: LLM09:2025 – اطلاعات نادرست Module 10: LLM09:2025 – Misinformation

• The issue of misinformation generated by LLMs-مسئله اطلاعات نادرست تولید شده توسط LLMها The issue of misinformation generated by LLMs

• Causes and potential impacts of misinformation-علل و تأثیرات احتمالی اطلاعات نادرست Causes and potential impacts of misinformation

• Prevention and mitigation strategies-استراتژی‌های پیشگیری و کاهش خطر Prevention and mitigation strategies

• The spectrum of misinformation-طیف اطلاعات نادرست The spectrum of misinformation

• Impact on specific domains-تأثیر بر حوزه‌های خاص Impact on specific domains

• Detection and mitigation techniques-تکنیک‌های تشخیص و کاهش خطر Detection and mitigation techniques

• Module 10: LLM09:2025-Misinformation- Quiz-ماژول ۱۰: LLM09:2025 - اطلاعات نادرست - آزمون Module 10: LLM09:2025-Misinformation- Quiz

• Addressing Misinformation Risks in an AI-Powered Enterprise Chatbot-رسیدگی به خطرات اطلاعات نادرست در یک چت‌بات سازمانی مبتنی بر هوش مصنوعی Addressing Misinformation Risks in an AI-Powered Enterprise Chatbot

Module 11: LLM10:2025 – Unbounded Consumption-ماژول ۱۱: LLM10:2025 – مصرف نامحدود Module 11: LLM10:2025 – Unbounded Consumption

• Risks associated with excessive and uncontrolled LLM usage-خطرات مرتبط با استفاده بیش از حد و کنترل‌نشده LLM Risks associated with excessive and uncontrolled LLM usage

• Vulnerabilities that can lead to denial of service, economic losses, etc.-آسیب‌پذیری‌هایی که می‌توانند منجر به از کار افتادن سرویس، ضررهای اقتصادی و غیره شوند Vulnerabilities that can lead to denial of service, economic losses, etc.

• Prevention and mitigation strategies-استراتژی‌های پیشگیری و کاهش خطر Prevention and mitigation strategies

• Economic denial of service-از کار افتادن سرویس اقتصادی Economic denial of service

• Rate limiting strategies-استراتژی‌های محدود کردن نرخ Rate limiting strategies

• Model extraction defenses-دفاع‌های استخراج مدل Model extraction defenses

• B Module 11: LLM10:2025-Unbounded Consumption- Quiz-ب ماژول ۱۱: LLM10:2025 - مصرف نامحدود - آزمون B Module 11: LLM10:2025-Unbounded Consumption- Quiz

• Mitigating LLM Overuse Risks in a High-Traffic Product Launch-کاهش خطرات استفاده بیش از حد از LLM در راه‌اندازی محصول با ترافیک بالا Mitigating LLM Overuse Risks in a High-Traffic Product Launch

Module 12: Best Practices and Future Trends in LLM Security-ماژول ۱۲: بهترین روش‌ها و روندهای آینده در امنیت LLM Module 12: Best Practices and Future Trends in LLM Security

• Summary of key security principles for LLM applications-خلاصه اصول کلیدی امنیتی برای برنامه‌های کاربردی LLM Summary of key security principles for LLM applications

• Emerging trends and future challenges in LLM security-روندهای نوظهور و چالش‌های آینده در امنیت LLM Emerging trends and future challenges in LLM security

• Resources and further learning-منابع و یادگیری بیشتر Resources and further learning

• Secure LLM development lifecycle: integrating security into every stage.-چرخه عمر توسعه امن LLM: ادغام امنیت در هر مرحله Secure LLM development lifecycle: integrating security into every stage.

• Emerging technologies-فناوری‌های نوظهور Emerging technologies

• The role of standards and regulations-نقش استانداردها و مقررات The role of standards and regulations

• Module 12: Best Practices and Future Trends in LLM Security- Quiz-ماژول ۱۲: بهترین روش‌ها و روندهای آینده در امنیت LLM - آزمون Module 12: Best Practices and Future Trends in LLM Security- Quiz

• Addressing LLM Security Gaps in a High-Stakes Client Presentation-رسیدگی به شکاف‌های امنیتی LLM در یک ارائه مشتری با ریسک بالا Addressing LLM Security Gaps in a High-Stakes Client Presentation