آموزش تست، مانیتورینگ و ارزیابی مدل‌های OpenAI - آخرین آپدیت

دانلود Testing, Monitoring, and Evaluating OpenAI Models

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.

نمونه ویدیوها: (صرفا برای مشاهده نمونه ویدیو، ممکن هست نیاز به شکن داشته باشید.)

توضیحات دوره: با ورود اپلیکیشن‌های هوش مصنوعی به حوزه‌های حساس، تضمین دقت، قابلیت اطمینان و ایمنی آن‌ها بیش از هر زمان دیگری اهمیت یافته است. در دوره «تست، مانیتورینگ و ارزیابی مدل‌های OpenAI»، شما توانایی ساخت، مقاوم‌سازی و نظارت بر اپلیکیشن‌های مبتنی بر GPT-5 را با استفاده از جدیدترین APIهای OpenAI کسب خواهید کرد. در ابتدا، نحوه ایجاد سرویس‌های تایپ‌شده و ابزار-محور (Tool-using) را با Responses API بررسی می‌کنید؛ از جمله اجبار به خروجی‌های ساختاریافته JSON Schema، فراخوانی ابزارهای تابعی (Function Tools)، استریم کردن پاسخ‌های جزئی و فعال‌سازی جستجوی داخلی وب و فایل. در این مسیر، معیارهای کلیدی مانند تأخیر (Latency) و هزینه را ثبت کرده و برای اندازه‌گیری بهبودهای عملکرد، قابلیت Prompt Caching را فعال خواهید کرد. سپس، نحوه پیاده‌سازی گیت‌های ارزیابی در سطح CI را با استفاده از Evals و Batch APIها خواهید آموخت. شما خروجی‌های مدل را از نظر صحت، لحن و مرتبط بودن امتیازدهی می‌کنید، وب‌هوک‌ها را برای دریافت تکمیل‌ها (Completions) یکپارچه می‌سازید و گزارش‌هایی به سبک JUnit تولید می‌کنید که مستقیماً وارد خط لوله‌های CI/CD می‌شوند تا از انتشار نسخه‌های kém‌کیفیت پیش از رسیدن به محیط عملیاتی جلوگیری شود. در نهایت، یاد می‌گیرید که چگونه سرویس‌های هوش مصنوعی را در محیط Production مانیتور کنید. با استفاده از Agents SDK، تریس‌های (Traces) دقیق را ثبت کرده، تله‌متری را از طریق OpenTelemetry صادر می‌کنید و لایه‌های Moderation را برای محتوای چندوجهی (Multimodal) می‌افزایید. همچنین یک رابط کاربری React برای بصری‌سازی پاسخ‌های GPT-5، امتیازات کیفی خودکار، تشخیص اطلاعات حساس (PII) و پرچم‌های انطباق (Compliance) با بهره‌گیری از GPT-4o به عنوان داور خواهید ساخت. پس از اتمام این دوره، شما مهارت و دانش لازم برای ساخت اپلیکیشن‌های GPT-5 در سطح صنعتی را خواهید داشت که قابل تست، مشاهده‌پذیر و مطابق با استانداردها بوده و برای استقرار در محیط‌های واقعی آماده باشند.

سرفصل ها و درس ها

درخواست‌های سطح صنعتی: Responses API، ابزارها، Schemaها و ارزیابی‌های CI Production-grade Requests: Responses API, Tools, Schemas, and CI-grade evals

ساخت سرویس تایپ‌شده و ابزار-محور با قابلیت استریم و کشینگ Build a Typed, Tool-using Service with Streaming + Caching
ارزیابی‌ها، Batch و وب‌هوک‌ها: پیاده‌سازی گیت‌های CI به جای حدس و گمان Evals + Batch + Webhooks: Ship CI Gates, not vibes

مشاهده‌پذیری و ایمنی با ارزیابی پاسخ‌ها Observability & Safety with Response Evaluation

تریسینگ کاربردی: Agents SDK، تریس‌ها، خروجی OTLP و گیت‌های Moderation Tracing that Matters: Agents SDK + Traces + OTLP Export + Moderation Gates
ارزیابی پاسخ‌ها از نظر کیفیت و انطباق با استانداردها Evaluating Responses for Quality and Compliance