آموزش مسترکلاس تست LLM: تضمین کیفیت نرم‌افزار (QA) برای مدل‌های زبانی هوش مصنوعی - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مرور کلی دوره Course Overview

• دموی اپلیکیشن مورد تست - چت‌بات RAG فروشگاه کفش Demo of Application Under Test - Shoe Store RAG ChatBot

• مبانی LLM Basics of LLM

• چالش‌های تست LLM Testing Challenges of LLM

• دانلود Ollama و مدل Tinyllama Download Ollama and Tinyllama Model

• دسته‌بندی و استراتژی تست LLM - بخش اول LLM Testing Categories And Strategy - Part 1

• دسته‌بندی و استراتژی تست LLM - بخش دوم LLM Testing Cateogies And Strategy - Part 2

• بررسی اجمالی ابزارهای تست LLM Brief Survey Of LLM Testing Tools

• (جدید) بنچ‌مارک‌ها در مقابل فریم‌ورک‌های تست و ارزیابی (New) Benchmarks vs Testing/Evaluation Frameworks

• تعامل با Ollama REST API با استفاده از Postman Interact With Ollama REST API Using Postman

• تعامل با Ollama REST API با استفاده از Postman - بخش دوم Interact With Ollama REST API Using Postman - Part 2

ساخت مجموعه‌های تست LLM با پایتون Building LLM Test Suites in Native Python

• نوشتن کلاینت REST اختصاصی با پایتون Writing Our Own Python REST Client

• مرور کلی تمامی تست‌های نوشته شده در این دوره Overview Of All Tests Written For This Course

• تست کاربردی - قابلیت‌های پایه - بخش اول Functional Testing - Basic Functionality - Part 1

• تست کاربردی - قابلیت‌های پایه - بخش دوم Functional Testing - Basic Functionality - Part 2

• تست کاربردی - پردازش و تولید محتوا Functional Testing - Content Processing And Generation

• تست کاربردی - یادگیری متنی (Context Learning) - بخش اول Functional Test - Context Learning - Part 1

• تست کاربردی - یادگیری متنی (Context Learning) - بخش دوم Functional Test - Context Learning - Part 2

• تست غیرکاربردی - عملکرد Non-Functional Test - Performance

• تست غیرکاربردی - پایداری Non-Functional Test - Robustness

• تست غیرکاربردی - شناسایی توهمات Non-Functional Test - Hallucination Detection

تست بر پایه فریم‌ورک: بهره‌گیری از DeepEval برای تضمین کیفیت LLM Framework-Based Testing: Leveraging DeepEval for Robust LLM Quality Assurance

• (جدید) مدل LLM به عنوان داور (LLM As A Judge) (New) LLM As A Judge

• مقدمه‌ای بر DeepEval Introduction To DeepEval

• نوشتن Wrapper کلاینت OpenAI Writing Our OpenAI Client Wrapper

• تست کاربردی با DeepEval - قابلیت‌های پایه - بخش اول Functional Testing Using DeepEval - Basic Functionality - Part 1

• تست کاربردی با DeepEval - قابلیت‌های پایه - بخش دوم Functional Testing Using DeepEval - Basic Functionality - Part 2

• تست کاربردی با DeepEval - قابلیت‌های پایه - بخش سوم Functional Testing Using DeepEval - Basic Functionality - Part 3

• تست کاربردی با DeepEval - پردازش و تولید محتوا Functional Testing Using DeepEval - Content Process And Generation

• تست کاربردی با DeepEval - یادگیری متنی Functional Testing Using DeepEval - Context Learning

• تست غیرکاربردی با DeepEval - شناسایی توهمات Non-Functional Testing Using DeepEval - Hallucination Detection

توسعه و تست سیستم RAG با استفاده از Pinecone و DeepEval Development And Testing Of A RAG System Using Pinecone And DeepEval

• مقدمه‌ای بر RAG Introduction To RAG

• نحوه استفاده از متریک مرتبط بودن متنی (Contextual Relevancy) How To Use Contextual Relevancy Metric

• معرفی اپلیکیشن RAG فروشگاه کفش Introduction To Our Shoe Store RAG Application

• ساخت و تست اپلیکیشن RAG فروشگاه کفش - بخش اول Building And Testing Shoe Store RAG Application - Part 1

• ساخت و تست اپلیکیشن RAG فروشگاه کفش - بخش دوم Building And Testing Shoe Store RAG Application - Part 2

• ساخت و تست اپلیکیشن RAG فروشگاه کفش - بخش سوم Building And Testing Shoe Store RAG Application - Part 3

• ساخت و تست اپلیکیشن RAG فروشگاه کفش - بخش چهارم Building And Testing Shoe Store RAG Application - Part 4

• ساخت و تست اپلیکیشن RAG فروشگاه کفش - بخش پنجم Building And Testing Shoe Store RAG Application - Part 5

منابع Resources

• منابع گیت‌هاب Github Resources