لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش ارزیابی و بهینهسازی ایجنتهای LLM
- آخرین آپدیت
دانلود Evaluating and Optimizing LLM Agents
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
این دوره برای مهندسان هوش مصنوعی، توسعهدهندگان و دانشمندان دادهای طراحی شده است که در حال ساخت ایجنتهای هوشمند هستند و باید اطمینان حاصل کنند که این ایجنتها پاسخهای دقیق، مرتبط و کارآمد تولید میکنند؛ بهویژه در محیطهای پیچیده سازمانی.
در دوره «ارزیابی و بهینهسازی ایجنتهای LLM»، مهارتهای لازم برای سنجش و ارتقای عملکرد ایجنتها در محیطهای واقعی را کسب خواهید کرد. ابتدا، معیارهای ارزیابی کلیدی مانند مرتبط بودن پاسخ (Answer Relevancy)، نرخ توهم (Hallucination Rate) و تناسب با متن (Contextual Fit) را بررسی کرده و آنها را با استفاده از ابزارهایی مانند G-Eval و DeepEval پیادهسازی میکنید. سپس، مجموعههای تست تخصصی برای هر دامنه را با open-rag-eval ایجاد کرده و داشبوردهایی با LangSmith برای نظارت بر عملکرد از نظر هزینه، تاخیر (Latency) و کیفیت میسازید. در نهایت، نحوه اعمال این استراتژیها را در معماریهای مختلف، از جمله ایجنتهای RAG، سیستمهای چند-ایجنته (Multi-agent) و ابزارهای چتمحور میآموزید. در پایان این دوره، یک چارچوب عملی و تکرارپذیر برای ارزیابی و بهینهسازی ایجنتهای LLM در مقیاس بالا خواهید داشت.
سرفصل ها و درس ها
سنجش کیفیت ایجنت
Measuring Agent Quality
چرا و چه چیزی را بسنجیم
Why and What to Measure
دموی چرا و چه چیزی را بسنجیم
Why and What to Measure Demo
پیادهسازی LLM در نقش داور
Wiring LLM-as-a-Judge
دموی پیادهسازی LLM در نقش داور
Wiring LLM-as-a-Judge Demo
از معیارهای سفارشی تا داشبوردهای عملیاتی
From Custom Metrics to Production Dashboards
تستهای استرس و تستهای خاص هر وظیفه
Task-specific and Stress Testing
تنظیم جامع هزینه، تاخیر و کیفیت
Holistic Cost, Latency, and Quality Tuning
نمایش نظرات