آموزش تست، مانیتورینگ و ارزیابی مدل‌های OpenAI - آخرین آپدیت

دانلود Testing, Monitoring, and Evaluating OpenAI Models

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.

نمونه ویدیوها: (صرفا برای مشاهده نمونه ویدیو، ممکن هست نیاز به شکن داشته باشید.)

توضیحات دوره: با ورود برنامه‌های هوش مصنوعی به حوزه‌های حساس، تضمین دقت، قابلیت اطمینان و امنیت آن‌ها بیش از هر زمان دیگری اهمیت یافته است. در این دوره آموزشی با عنوان «تست، مانیتورینگ و ارزیابی مدل‌های OpenAI»، شما توانایی ساخت، مقاوم‌سازی و نظارت بر برنامه‌های مبتنی بر GPT-5 را با استفاده از جدیدترین APIهای OpenAI کسب خواهید کرد. در ابتدا، نحوه ایجاد سرویس‌های تایپ‌شده و ابزار-محور (Tool-using) را با استفاده از Responses API بررسی می‌کنید؛ این شامل اجبار به خروجی‌های ساختاریافته JSON Schema، فراخوانی ابزارهای تابعی (Function Tools)، استریم کردن پاسخ‌های جزئی و فعال‌سازی قابلیت‌های داخلی جستجوی وب و فایل است. در این مسیر، معیارهای کلیدی مانند تأخیر (Latency) و هزینه را ثبت کرده و برای اندازه‌گیری بهبود عملکرد، قابلیت Prompt Caching را فعال می‌کنید. سپس، نحوه پیاده‌سازی گیت‌های ارزیابی در سطح CI را با استفاده از APIهای Evals و Batch خواهید آموخت. شما خروجی‌های مدل را از نظر صحت، لحن و مرتبط بودن امتیازدهی می‌کنید؛ وب‌هوک‌ها را برای دریافت پاسخ‌ها ادغام می‌نمایید و گزارش‌هایی به سبک JUnit تولید می‌کنید که مستقیماً وارد خط لوله‌های CI/CD شده و از انتشار نسخه‌های بی‌کیفیت پیش از رسیدن به محیط عملیاتی جلوگیری می‌کند. در نهایت، روش‌های مانیتورینگ سرویس‌های هوش مصنوعی در محیط Production را می‌آموزید. با استفاده از Agents SDK، ردپاهای (Traces) دقیق را ثبت کرده، تله‌متری را از طریق OpenTelemetry اکسپورت می‌کنید و لایه‌های نظارتی (Moderation) را برای محتوای چندوجهی اضافه می‌نمایید. همچنین یک رابط کاربری React برای بصری‌سازی پاسخ‌های GPT-5، امتیازات کیفی خودکار، شناسایی اطلاعات حساس (PII) و پرچم‌های انطباق (Compliance) با بهره‌گیری از GPT-4o به عنوان داور خواهید ساخت. پس از اتمام این دوره، شما مهارت و دانش لازم برای ساخت برنامه‌های GPT-5 در سطح صنعتی را خواهید داشت که قابل تست، قابل مشاهده و مطابق با استانداردها بوده و آماده استقرار در محیط‌های واقعی باشند.

سرفصل ها و درس ها

درخواست‌های سطح صنعتی: Responses API، ابزارها، اسکیماها و ارزیابی‌های CI Production-grade Requests: Responses API, Tools, Schemas, and CI-grade evals

ساخت سرویس تایپ‌شده و ابزار-محور با قابلیت استریم و کشینگ Build a Typed, Tool-using Service with Streaming + Caching
ارزیابی‌ها، دسته‌ای و وب‌هوک‌ها: پیاده‌سازی گیت‌های CI به جای حدس و گمان Evals + Batch + Webhooks: Ship CI Gates, not vibes

قابلیت مشاهده و امنیت با ارزیابی پاسخ‌ها Observability & Safety with Response Evaluation

ردیابی‌های کاربردی: Agents SDK، ردپاهای سیستمی، خروجی OTLP و گیت‌های نظارتی Tracing that Matters: Agents SDK + Traces + OTLP Export + Moderation Gates
ارزیابی پاسخ‌ها از نظر کیفیت و انطباق با استانداردها Evaluating Responses for Quality and Compliance