آموزش تست امنیت هوش مصنوعی: تست زنجیره تأمین LLM-03 - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

اسلاید عنوان Title Slide

• اسلاید معرفی Intro Slide

• زمینه OWASP و LLM-03 OWASP and LLM-03 Context

• زنجیره تأمین LLM چیست؟ What Is the LLM Supply Chain?

• مسئولیت‌های QA در زنجیره تأمین What QA Owns in the Supply Chain

• بررسی زنجیره تأمین LLM What Is the LLM Supply Chain?

ریسک‌های پکیج و وابستگی‌ها Package and Dependency Risks

• ریسک‌های پکیج و وابستگی‌ها Package and Dependency Risks

• وابستگی‌های آسیب‌پذیر در پشته LLM Vulnerable Dependencies in the LLM Stack

• مثال واقعی ۱: حمله وابستگی PyTorch/PyPI In the Wild #1: The PyTorch/PyPI Dependency Attack

• حملات در سطح فریم‌ورک: Shadow Ray Framework-Level Attacks: Shadow Ray

• سناریوی دمو ۱ و برنامه تست: pip audit Demo 1 Scenario & Test Plan: pip-audit

• دموی pip audit pip-audit demo

• دمو ۱: گزارش باگ و تحلیل پس از حادثه Demo 1: Bug Report & Post-Mortem

• خلاصه بخش ۲ Section 2 Summary

• مرور ریسک‌های پکیج و وابستگی‌ها Package and Dependency Risks

ریسک‌های آرتیفکت مدل و منشأ Model Artifact and Provenance Risks

• ریسک‌های آرتیفکت مدل و منشأ Model Artifact and Provenance Risks

• مدل‌های پیش‌آموزش دیده به عنوان بردارهای حمله Pre-Trained Models as Attack Vectors

• ضعف در منشأ مدل Weak Model Provenance

• مثال واقعی ۲: PoisonGPT In the Wild #2: PoisonGPT

• آداپتورهای LoRA: چیستند و چرا برای QA مهم هستند LoRA Adapters: What They Are and Why QA Cares

• ریسک سریال‌سازی مدل: Pickle در مقابل SafeTensors Model Serialization Risk: Pickle vs. SafeTensors

• دمو ۲: سناریو و برنامه تست Demo 2: Scenario & Test Plan

• اجرای دمو ۲ Demo 2

• گزارش باگ و تحلیل پس از حادثه دمو ۲ Demo2 Bug Report and Post Mortem

• تأیید هش به عنوان یک کنترل QA Hash Verification as a QA Control

• ادغام و تبدیل مدل به عنوان سطوح حمله Model Merging and Conversion as Attack Surfaces

• مثال واقعی ۳: JFrog / baller423: دمو ۲ در دنیای واقعی In the Wild #3: JFrog / baller423: Demo 2 in the Real World

• آنچه QA در پلتفرم‌های مدل تأیید می‌کند What QA Verifies in Model Platforms

• خلاصه بخش ۳: چارچوب کنترلی Section 03 Summary: Control Framework

• مرور ریسک‌های آرتیفکت مدل و منشأ Section 03: Model Artifact and Provenance Risks

تست رگرسیون رفتاری و خط پایه Behavioral Regression and Baseline Testing

• مقدمه بخش ۴: تست رگرسیون رفتاری و خط پایه Section 4 Intro: Behavioral Regression and Baseline Testing

• تست رگرسیون رفتاری چه مواردی را بررسی می‌کند What Behavioral Regression Testing Checks

• دمو ۳: سناریو و برنامه تست Demo 3: Scenario & Test Plan

• اجرای دمو ۳: تست رگرسیون رفتاری Demo 3 Execution: Behavioral Regression Test

• دمو ۳: گزارش باگ و تحلیل پس از حادثه Demo 3: Bug Report & Post-Mortem

• خلاصه بخش ۴: رگرسیون رفتاری و تست خط پایه Section 04 Summary: Behavioral Regression and Baseline Testing

• کوییز بخش ۴: رگرسیون رفتاری و تست خط پایه LLM-03 Section 04 Quiz: Behavioral Regression and Baseline Testing

بخش ۵: داده‌ها، مجوزها و شرایط تأمین‌کنندگان Section 5: Data, Licensing, and Supplier Terms (6 slides)

• مقدمه بخش ۵ Section 05 Intro

• مسموم کردن دیتاست از طریق زنجیره تأمین Dataset Poisoning via the Supply Chain

• مثال واقعی: افشای داده‌های سامسونگ در ChatGPT In the Wild: Samsung / ChatGPT Data Exposure

• ریسک مجوزها یک باگ واقعی است Licensing Risk Is a Real Bug

• ریسک شرایط تأمین‌کننده و سیاست حریم خصوصی Supplier Terms and Privacy Policy Risk

• آنچه QA در این بخش تأیید می‌کند What QA Verifies Here

• خلاصه بخش ۵: حاکمیت زنجیره تأمین Section 05 Summary: Supply Chain Governance

• کوییز بخش ۵: ریسک‌های داده، مجوز و شرایط تأمین‌کننده LLM-03 Section 05 Quiz: Data, Licensing, and Supplier-Term Risks

بخش ۶: AI BOMها، یکپارچگی آرتیفکت و گیت‌های انتشار Section 06: AI BOMs, Artifact Integrity, and Release Gates

• مقدمه بخش ۶: AI BOMها، یکپارچگی آرتیفکت و گیت‌های انتشار Section 06 Intro: AI BOMs, Artifact Integrity, and Release Gates

• SBOM برای QA SBOM for QA

• از SBOM به AI BOM From SBOM to AI BOM

• یکپارچگی و امضای مدل Model Integrity and Signing

• گیت‌های انتشار و آستانه‌های شدت Release Gates and Severity Thresholds

• آنچه QA در این بخش تأیید می‌کند What QA Verifies Here

• خلاصه بخش ۶ Section 06 Summary

• کوییز بخش ۶: AI BOMها، یکپارچگی آرتیفکت و گیت‌های انتشار LLM-03 Section 06 Quiz: AI BOMs, Artifact Integrity, and Release Gates

ریسک‌های زیرساختی و روی دستگاه Infrastructure and On-Device Risks

• مقدمه ریسک‌های زیرساختی و روی دستگاه Infrastructure and On-Device Risks Intro

• ریسک‌های زیرساخت ابری Cloud Infrastructure Risks

• ریسک‌های زنجیره تأمین LLM روی دستگاه On-Device LLM Supply Chain Risks

• آنچه QA در زیرساخت و روی دستگاه تأیید می‌کند What QA Verifies in Infrastructure and On-Device

• خلاصه بخش ۷: ریسک‌های زیرساختی و روی دستگاه Section 07 Summary: Infrastructure and On-Device Risks

• کوییز بخش ۷: ریسک‌های زیرساختی و روی دستگاه LLM-03 Section 07 Quiz: Infrastructure and On-Device Risks

ساخت برنامه تست QA برای LLM-03 Building the LLM-03 QA Test Plan

• مقدمه بخش ۸: ساخت برنامه تست QA برای LLM-03 Section 08 Intro: Building the LLM-03 QA Test Plan

• برنامه تست هشت نقطه‌ای و ماتریس تست کیس The Eight-Checkpoint Test Plan and Test Case Matrix

• یکپارچگی CI/CD و گیت‌های انتشار CI/CD Integration and Release Gates

• نوشتن گزارش‌های باگ LLM-03 Writing LLM-03 Bug Reports

• خلاصه دوره و بررسی نهایی Course Summary and Final Review

• کوییز بخش ۸: ساخت برنامه تست QA برای LLM-03 LLM-03 Section 08 Quiz: Building the LLM-03 QA Test Plan

لاب اتوماسیون امنیت زنجیره تأمین Supply Chain Security Automation Lab

• چرا تست زنجیره تأمین را اتوماتیک کنیم Why Automate Supply Chain Testing

• معماری Harness برای LLM-03 Harness Architecture for LLM-03

• بررسی‌های قطعی در مقابل رگرسیون رفتاری Deterministic Checks vs. Behavioral Drift

• اجرای Harness Running the Harness

• جمع‌آوری آرتیفکت‌ها Collecting Artifacts

• تفسیر نتایج Interpreting Results

• خلاصه اتوماسیون Automation Summary