آموزش مانیتورینگ و ردیابی LLM در Datadog: نظارت بر هوش مصنوعی در محیط عملیاتی - آخرین آپدیت

سرفصل ها و درس ها

مقدمه و ارزش سازمانی Introduction & Enterprise Value

• آنچه خواهید آموخت What You'll Learn

• چرا مشاهده LLM برای سازمان‌ها اهمیت دارد Why LLM Observability Matters for Enterprises

• قابلیت‌های اصلی Datadog LLM Observability و دموی داشبورد Datadog LLM Observability – Core Capabilities and Dashboard Demo

• تست دانش بخش اول: مبانی مشاهده LLM Section 1 Knowledge Check: LLM Observability Fundamentals

راه‌اندازی مشاهده LLM Setting Up LLM Observability

• راه‌اندازی حساب کاربری Datadog و تست - عملی Datadog Account Setup and Testing – Hands-on

• بررسی انواع Spanها و یکپارچه‌سازی SDKها Span Types and SDK Integrations Overview

• اولین فراخوانی ردیابی شده LLM در محیط محلی - عملی First Traced LLM Call in a Local Environment – Hands-on

• بررسی سریع Quick Check in

• تست دانش بخش دوم: راه‌اندازی مشاهده LLM Section 2 Knowledge Check: Setting Up LLM Observability

پیاده‌سازی ابزارها در اپلیکیشن‌های LLM Instrumenting LLM Applications

• ایجاد Spanهای LLM با یادداشت‌ها و تگ‌ها - عملی Creating LLM Spans with Annotations and Tags – Hands-on

• پیاده‌سازی جریان‌های کاری چند مرحله‌ای - عملی Instrumenting Multi-step Workflows – Hands-on

• خط لوله RAG با قابلیت مشاهده کامل - عملی RAG Pipeline with Full Observability – Hands-on

• یکپارچه‌سازی با LangChain - بخش اول LangChain Integration – Part 1

• پیاده‌سازی خودکار خط لوله RAG در LangChain - عملی LangChain RAG Pipeline Auto-Instrumentation – Hands-on

• تست دانش بخش سوم: پیاده‌سازی ابزارها در اپلیکیشن‌های LLM Section 3 Knowledge Check: Instrumenting LLM Applications

ردیابی جریان‌های کاری هوش مصنوعی عامل‌محور Tracing Agentic AI Workflows

• ردیابی جریان‌های کاری عامل‌محور (Agentic) - عملی Tracing Agentic Workflows – Hands-on

• سیستم‌های چندعاملی (Multi-Agent) - عملی Multi-Agent Systems – Hands-on

• عیب‌یابی مشکلات عامل‌ها - بررسی کلی Debugging Agent Issues – Overview

ارزیابی‌ها و مانیتورینگ کیفیت Evaluations & Quality Monitoring

• بررسی آزمایش‌های LLM و ایجاد مجموعه داده - عملی LLM Experiments Overview and Dataset Creation – Hands-on

• تولید مجموعه ارزیابی طلایی (Golden Set) - عملی Generating a Golden Evaluation Set – Hands-on

• اجرای آزمایش‌های LLM در Datadog - داشبوردها و مقایسه‌ها Running LLM Experiments in Datadog – Dashboards and Comparisons

• تست A/B پرامپت‌ها - جریان کاری کامل - عملی A/B Testing Prompts – Full Workflow – Hands-on

• راه‌اندازی ارزیابی‌ها و مانیتورینگ کیفیت - عملی Setting Up Evaluations and Quality Monitoring – Hands-on

• ایجاد ارزیابی‌های سفارشی Creating Custom Evaluations

• ارزیابی‌ها و مانیتورینگ فقط در کد - عملی Evaluations and Monitoring in Code Only – Hands-on

مانیتورینگ و بهینه‌سازی هزینه‌ها Cost Monitoring & Optimization

• ردیابی خودکار هزینه در Datadog - بررسی داشبورد Datadog Automatic Cost Tracking – Dashboard Walkthrough

• استراتژی‌های بهینه‌سازی هزینه - بررسی کلی Cost Optimization Strategies – Overview

امنیت، انطباق و الگوهای محیط عملیاتی Security, Compliance & Production Patterns

• امنیت، انطباق و محیط عملیاتی - بررسی کلی Security, Compliance, and Production – Overview

• راه‌اندازی تابع حذف اطلاعات حساس (PII Redaction) و تست - عملی Setting Up PII Redaction Function and Testing - Hands-on

• بررسی کلی داشبورد اسکن داده‌ها Data Scanning Dashboard Overview

• تست گروه سفارشی حذف PII در Datadog - عملی Testing a Custom PII Redaction Group in Datadog – Hands-on

• امنیت، انطباق و استقرار اپلیکیشن‌های LLM - عملی LLM Apps Security and Compliance and production Hands – Hands-on

• معماری استقرار در محیط عملیاتی و چک‌لیست Production Deployment Architecture and Checklist

بونوس Bonus

• جمع‌بندی و گام‌های بعدی Wrap-up and Next Steps

• بونوس Bonus