آموزش اصول امنیت هوش مصنوعی - تهدیدات LLM و استانداردهای OWASP 2026 [ویدیو] - آخرین آپدیت

سرفصل ها و درس ها

ماژول ۱: مقدمه‌ای بر امنیت برنامه‌های LLM Module 1: Introduction to LLM Application Security

• مقدمه‌ای بر LLMها و کاربردهای آن‌ها Introduction to LLMs and Their Applications

• مروری بر چالش‌های امنیتی خاص برنامه‌های LLM Overview of Security Challenges Specific to LLM Applications

• معرفی لیست ۱۰ مورد اول OWASP برای برنامه‌های LLM Introduction to the OWASP Top 10 LLM Applications List

• اهمیت توسعه و استقرار امن LLM Importance of Secure LLM Development and Deployment

• مطالعات موردی واقعی از پیاده‌سازی‌های موفق و ناموفق LLM Real-World Case Studies of Successful/Unsuccessful LLM Implementations

• معماری‌های رایج برنامه‌های LLM (مانند RAG) Common LLM Application Architectures (e.g., RAG)

• چشم‌انداز تهدیدات: انگیزه‌های مهاجمان در هدف قرار دادن برنامه‌های LLM The Threat Landscape: Motivations of Attackers Targeting LLM Applications

ماژول ۲: LLM01:2025 – تزریق دستورات (Prompt Injection) Module 2: LLM01:2025 – Prompt Injection

• توضیح دقیق آسیب‌پذیری‌های تزریق دستورات (Prompt Injection) Detailed Explanation of Prompt Injection Vulnerabilities

• انواع تزریق دستورات (مستقیم و غیرمستقیم) Types of Prompt Injection (Direct and Indirect)

• تأثیرات احتمالی حملات تزریق دستورات Potential Impacts of Prompt Injection Attacks

• استراتژی‌های پیشگیری و کاهش ریسک Prevention and Mitigation Strategies

• تکامل تکنیک‌های تزریق دستورات و افزایش پیچیدگی آن‌ها Evolution of Prompt Injection Techniques and Their Increasing Sophistication

• بررسی عمیق اثرات: مثال‌های خاص Impact Deep Dive: Specific Examples

• دفاع در عمق: ترکیب اعتبارسنجی ورودی، فیلترینگ خروجی و بازبینی انسانی Defense-in-Depth: Combining Input Validation, Output Filtering, and Human Review

ماژول ۳: LLM02:2025 – افشای اطلاعات حساس Module 3: LLM02:2025 – Sensitive Information Disclosure

• مثال‌های رایج از آسیب‌پذیری‌ها (نشت اطلاعات شناسایی شخصی PII، افشای الگوریتم‌های اختصاصی) Common Examples of Vulnerabilities (PII Leakage, Proprietary Algorithm Exposure)

• درک ریسک‌های افشای اطلاعات حساس در برنامه‌های LLM Understanding the Risks of Sensitive Information Disclosure in LLM Applications

• استراتژی‌های پیشگیری و کاهش ریسک (پاک‌سازی داده‌ها، کنترل دسترسی و غیره) Prevention and Mitigation Strategies (Sanitization, Access Controls, etc.)

• حداقل‌سازی داده‌ها: اهمیت کاهش جمع‌آوری داده‌های حساس Data Minimization: Importance of Minimizing Sensitive Data Collection

• فناوری‌های ارتقای حریم خصوصی (PET) Privacy-Enhancing Technologies – PET

• مسائل قانونی و انطباق: پیامدهای حقوقی افشای داده‌های حساس Legal and Compliance: Legal Implications of Sensitive Data Disclosure

ماژول ۴: LLM03:2025 – زنجیره تأمین Module 4: LLM03:2025 – Supply Chain

• آسیب‌پذیری‌های زنجیره تأمین در توسعه و استقرار LLM Supply Chain Vulnerabilities in LLM Development and Deployment

• ریسک‌های مرتبط با مدل‌ها، داده‌ها و اجزای شخص ثالث Risks Associated with Third-Party Models, Data, and Components

• استراتژی‌های پیشگیری و کاهش ریسک برای زنجیره تأمین Prevention and Mitigation Strategies for Supply Chain Risks

• بررسی دقیق SBOM: توضیح لیست مواد تشکیل‌دهنده نرم‌افزار و تأثیر آن SBOMs in Detail: Explanation of Software Bill of Materials (SBOMs) and Their Impact

• چالش‌های اثبات اصالت مدل: دشواری‌های تأیید منشأ و یکپارچگی Model Provenance Challenges: Difficulties in Verifying the Origin and Integrity

• حکمرانی و سیاست‌گذاری: اهمیت سیاست‌های شفاف برای استفاده از LLMهای شخص ثالث Governance and Policy: Importance of Clear Policies for Using Third-Party LLMs

ماژول ۵: LLM04:2025 – مسموم‌سازی داده‌ها و مدل Module 5: LLM04:2025 – Data and Model Poisoning

• درک حملات مسموم‌سازی داده‌ها و مدل Understanding Data and Model Poisoning Attacks

• نحوه تأثیر مسموم‌سازی بر رفتار و امنیت LLM How Poisoning Can Impact LLM Behavior and Security

• استراتژی‌های پیشگیری و کاهش ریسک Prevention and Mitigation Strategies

• سناریوهای مسموم‌سازی در چرخه حیات: مسموم‌سازی در آموزش و تنظیم دقیق (Fine Tuning) Poisoning Scenarios Across the Lifecycle: Poisoning in Training and Fine-Tuning

• حملات درب پشتی (Backdoor): جزئیات نحوه درج درب‌های پشتی Backdoor Attacks: Detail on How Backdoors Are Inserted

• تست استحکام: نیاز به تست‌های سخت‌گیرانه برای شناسایی اثرات مسموم‌سازی Robustness Testing: Need for Rigorous Testing to Detect Poisoning Effects

ماژول ۶: LLM05:2025 – مدیریت نادرست خروجی Module 6: LLM05:2025 – Improper Output Handling

• ریسک‌های مرتبط با مدیریت نادرست خروجی‌های LLM Risks Associated with Improper Handling of LLM Outputs

• آسیب‌پذیری‌هایی مانند XSS، SQL Injection و اجرای کد از راه دور (RCE) Vulnerabilities Such as XSS, SQL Injection, and Remote Code Execution

• استراتژی‌های پیشگیری و کاهش ریسک Prevention and Mitigation Strategies

• مثال‌های کدگذاری خروجی: نمونه کدهایی برای محیط‌های مختلف (مانند HTML, SQL) Output Encoding Examples: Code Examples for Different Contexts (e.g., HTML, SQL)

• اکسپلویت‌های دنیای واقعی: بررسی مواردی که مدیریت نادرست خروجی منجر به رخنه شد Real-World Exploits: Detail Cases Where Improper Output Handling Led to Breaches

ماژول ۷: LLM06:2025 – اختیارات بیش از حد (Excessive Agency) Module 7: LLM06:2025 – Excessive Agency

• مفهوم Agency در سیستم‌های LLM و ریسک‌های مرتبط The Concept of Agency in LLM Systems and Associated Risks

• ریسک‌های مربوط به قابلیت‌ها، مجوزها و خودمختاری بیش از حد Risks of Excessive Functionality, Permissions, and Autonomy

• استراتژی‌های پیشگیری و کاهش ریسک Prevention and Mitigation Strategies

• سیستم‌های عامل (Agentic Systems): توضیح عامل‌های LLM، مزایا و ریسک‌های آن‌ها Agentic Systems: Explanation of LLM Agents, Their Benefits, and Risks

• بررسی عمیق اصل حداقل دسترسی: راهنمای دقیق پیاده‌سازی Least Privilege Least Privilege in Depth: Detailed Guidance on Implementing Least Privilege

• چارچوب‌های مجوزدهی: بهترین روش‌ها برای مدیریت Authorization در LLM Authorization Frameworks: Best Practices for Managing Authorization in LLM

ماژول ۸: LLM07:2025 – نشت دستورات سیستمی (System Prompt Leakage) Module 8: LLM07:2025 – System Prompt Leakage

• آسیب‌پذیری نشت دستورات سیستمی (System Prompt Leakage) Vulnerability of System Prompt Leakage

• ریسک‌های مرتبط با افشای دستورات سیستمی Risks Associated with Exposing System Prompts

• استراتژی‌های پیشگیری و کاهش ریسک Prevention and Mitigation Strategies

• ریسک‌های مهندسی دستورات: نحوه استخراج دستورات سیستمی توسط Prompt Engineering Prompt Engineering Risks: How Prompt Engineering Can Extract System Prompts

• دفاع در عمق برای دستورات (Prompts) Defense in Depth for Prompts

• اصول طراحی امن Secure Design Principles

ماژول ۹: LLM08:2025 – نقاط ضعف برداری و جاسازی (Vector and Embedding) Module 9: LLM08:2025 – Vector and Embedding Weaknesses

• آسیب‌پذیری‌های مرتبط با استفاده از بردارها و Embedding در برنامه‌های LLM Vulnerabilities Related to Vector and Embedding Usage in LLM Applications

• ریسک‌های دسترسی غیرمجاز، نشت داده‌ها و مسموم‌سازی Risks of Unauthorized Access, Data Leakage, and Poisoning

• استراتژی‌های پیشگیری و کاهش ریسک Prevention and Mitigation Strategies

• امنیت Embedding: جزئیات ایمن‌سازی پایگاه‌های داده برداری و Embeddingها Embedding Security: Details on Securing Vector Databases and Embeddings

• بهترین روش‌های امنیتی برای RAG RAG Security Best Practices

• تحقیقات نوظهور Emerging Research

ماژول ۱۰: LLM09:2025 – اطلاعات نادرست (Misinformation) Module 10: LLM09:2025 – Misinformation

• مسئله تولید اطلاعات نادرست (Misinformation) توسط LLMها The Issue of Misinformation Generated by LLMs

• علت‌ها و تأثیرات احتمالی اطلاعات نادرست Causes and Potential Impacts of Misinformation

• استراتژی‌های پیشگیری و کاهش ریسک Prevention and Mitigation Strategies

• طیف اطلاعات نادرست The Spectrum of Misinformation

• تأثیر بر حوزه‌های خاص Impact on Specific Domains

• تکنیک‌های شناسایی و کاهش اثرات Detection and Mitigation Techniques

ماژول ۱۱: LLM10:2025 – مصرف نامحدود منابع Module 11: LLM10:2025 – Unbounded Consumption

• ریسک‌های مرتبط با استفاده بیش از حد و کنترل‌نشده از LLM Risks Associated with Excessive and Uncontrolled LLM Usage

• آسیب‌پذیری‌هایی که منجر به Denial of Service، خسارات اقتصادی و غیره می‌شوند Vulnerabilities That Can Lead to Denial of Service, Economic Losses, etc.

• استراتژی‌های پیشگیری و کاهش ریسک Prevention and Mitigation Strategies

• محروم‌سازی اقتصادی از سرویس (Economic DoS) Economic Denial of Service

• استراتژی‌های محدودسازی نرخ درخواست (Rate Limiting) Rate Limiting Strategies

• دفاع در برابر استخراج مدل (Model Extraction) Model Extraction Defenses

ماژول ۱۲: بهترین روش‌ها و روندهای آینده در امنیت LLM Module 12: Best Practices and Future Trends in LLM Security

• خلاصه‌ای از اصول کلیدی امنیتی برای برنامه‌های LLM Summary of Key Security Principles for LLM Applications

• روندهای نوظهور و چالش‌های آینده در امنیت LLM Emerging Trends and Future Challenges in LLM Security

• منابع و یادگیری بیشتر Resources and Further Learning

• چرخه حیات توسعه امن LLM: ادغام امنیت در هر مرحله Secure LLM Development Lifecycle: Integrating Security into Every Stage

• فناوری‌های نوظهور Emerging Technologies

• نقش استانداردها و مقررات The Role of Standards and Regulations