آموزش تست و ارزیابی اپلیکیشن‌های هوش مصنوعی (AI) و مدل‌های زبان بزرگ (LLM) با استفاده از DeepEval، RAGas و ابزارهای بیشتر، از طریق Ollama. - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه‌ای بر تست برنامه‌های LLM Introduction to Testing of LLM Applications

• درک انواع مختلف برنامه‌های هوش مصنوعی Understanding different types of AI Applications

• مبانی ارزیابی LLM‌ها و درک انواع ارزیابی‌ها Basics of LLMs Evaluation and understanding Types of Evaluations

• کار با ارزیابی مبتنی بر انسان (نمره‌دهی شده) Working with Human Based (Graded) Evaluation

• درک معیارهای ارزیابی مختلف برای ارزیابی برنامه‌های هوش مصنوعی Understanding different Evaluation Metrics to evaluate AI Applications

• کتابخانه‌های مختلف LLM برای ارزیابی LLM‌ها و برنامه‌های LLM Different LLM libraries to Evaluate LLMs and LLM Applications

• دانش خود را بسنجید! Check your knowledge!

اجرای محلی LLM با استفاده از Ollama Running LLM locally using Ollama

• مقدمه Introduction

• درک مدل‌های مختلف Understanding different Models

• اجرای محلی LLM با استفاده از Ollama Running LLM locally using Ollama

• استفاده از مدل‌های Ollama در رابط کاربری گرافیکی (GUI) Using Ollama Models in GUI

• درک Ollama با چند دستور رابط خط فرمان دیگر Understanding Ollama with few more command line interface commands

• اجرای Ollama با API برای کار به عنوان سرور API Starting Ollama with API to run as a API server

• دانش خود را بسنجید! Check your knowledge!

کد منبع کامل دوره Complete course Source code

• کد منبع کامل Complete Source code

مراحل محیطی مورد نیاز برای تست/ارزیابی برنامه‌ها و LLM‌ها Environment step required for Testing/Evaluating LLM Apps and LLMs

• مقدمه Introduction

• ایجاد نوت‌بوک Jupyter برای تست‌ها و اجرای تست Creating Jupyter Notebook for Tests and Test Execution

• راه‌اندازی Confident AI Setting up Confident AI

درک مبانی DeepEval (اجزای سازنده) Understanding the Basics of DeepEval (Building Blocks)

• تست LLM‌ها با رویکرد سنتی Testing LLMs with Traditional Approach

• تست/ارزیابی LLM‌ها با رویکرد غیرسنتی Testing/Evaluating LLMs with Non Traditional Approach

• LLM‌ها به عنوان داور در ارزیابی LLM‌ها و برنامه‌های مبتنی بر LLM LLMs-As-Judge while Evaluating LLMs and LLMs Based Applications

• نوشتن اولین کد DeepEval برای AnswerRelevance Writing First DeepEval Code for AnswerRelevance

• تست LLM‌ها برای دقت متن (Context Precision) Testing LLMs for Context Precision

• ارزیابی LLM‌ها و بررسی موارد تست ارزیابی شده در Confident AI Evaluating LLMs and check the Evaluated Testcases in Confident AI

• اجرای ارزیابی/تست LLM‌ها (DeepSeek R1) با استفاده از LLM محلی با Ollama Running Evaluation/Tests of LLMs (DeepSeek R1) using Local LLM with Ollama

• درک عمیق LLMTestCases Understanding LLMTestCases in Depth

• درک عمیق Golden و Dataset Understanding Golden And Dataset in Depth

• ایجاد Goldens با استفاده از آرایه لیست Creating Goldens using List Array

• دانش خود را بسنجید! Check your knowledge!

• درک خود را از مفاهیم پایه DeepEval با دستیار هوش مصنوعی عمیق‌تر کنید! Deepen your understanding of the basic concepts of DeepEval with AI Assistant!

ارزیابی LLM‌های واقعی (به صورت محلی) به عنوان منبع و ایجاد دیتاست با LLM‌ها Evaluating Real LLMs (Locally) as the Source and creating Dataset with LLMs

• مقدمه Introduction

• استفاده از LangChain برای فراخوانی LLM به عنوان منبع تست ما Using LangChain to Invoke LLM for our Test Source

• ارزیابی LLM با ارتباط پاسخ (Answer Relevancy) با استفاده از LLM محلی Evaluating LLM with Answer Relevancy using Local LLM

• ارزیابی LLM با دقت متن (Context Precision) با استفاده از LLM محلی Evaluating LLM with Context Precision using Local LLM

• ارزیابی LLM با سوگیری (Bias) با استفاده از LLM‌های محلی Evaluating LLM with Bias using Local LLMs

• استفاده از GEval برای معیارهای سفارشی جهت ارزیابی LLM Using GEval for Custom Criteria to Evaluate LLM

• استفاده از GEval برای انجام تست سوگیری (Bias Testing) با استفاده از LLM‌های محلی Using GEval to perform Bias Testing using Local LLMs

• دانش خود را بسنجید! Check your knowledge!

تست برنامه RAG (تولید مبتنی بر بازیابی-افزوده) با استفاده از DeepEval Testing RAG (Retrieval-Augmented Generation) application using DeepEval

• مقدمه‌ای بر RAG Introduction to RAG

• درک برنامه RAG Understanding RAG application

• کار با برنامه RAG به عنوان یک نمایش Working with RAG application as a Demo

• ایجاد GEval برای برنامه RAG Creating GEval for RAG application

• تست RAG با GEval برای معیارهای ایجاز و جامعیت Testing RAG with GEval for Conciseness & Completeness Metrics

• دانش خود را بسنجید! Check your knowledge!

تست برنامه RAG با DeepEval (پیشرفته) Testing RAG application with DeepEval (Advanced)

• مقدمه Introduction

• ایجاد داده‌های تست متعدد Creating Multiple Test Data

• ایجاد Goldens و ارسال آن به Confident AI Creating Goldens and Pushing it to Confident AI

• ایجاد خروجی واقعی و متن بازیابی برای LLMTestCase Creating Actual Output and Retrieval Context for LLMTestCase

• ایجاد LLMTestCases با متن واقعی و بازیابی از دیتاست Creating LLMTestCases with Actual And Retrieval Context from Dataset

• اجرای ارزیابی برای تأیید RAG و بررسی آن از Confident AI Running Evaluation to verify RAG and check the same from Confident AI

• دانش خود را بسنجید! Check your knowledge!

تست عوامل هوش مصنوعی و فراخوانی ابزارها با LLM‌های محلی و DeepEval Testing AI Agents and Tool Callings with Local LLMs and DeepEval

• درک عوامل هوش مصنوعی (AI Agents) Understanding AI Agents

• کار با یک عامل هوش مصنوعی (AI Agent) Working with an AI Agent

• درک نحوه تست یک عامل هوش مصنوعی (AI Agent) Understanding how to test an AI Agent

• تست یک عامل هوش مصنوعی بدون استفاده از سیستم واقعی تحت تست Testing an AI Agent without using Actual System Under Test

• تست یک عامل هوش مصنوعی بدون استفاده از SUT واقعی (ادامه) Testing an AI Agent without using Actual SUT (Contd.)

• تست عوامل هوش مصنوعی با سیستم واقعی به جای سیستم تقلبی Testing AI Agents with Actual System instead of Fake System

• تست عوامل هوش مصنوعی با دیتاست‌های متعدد Testing AI Agents with Multiple Datasets

• دانش خود را بسنجید! Check your knowledge!

ارزیابی/تست LLM‌ها با استفاده از RAGAs Evaluating/Testing LLMs using RAGAs

• مقدمه Introduction

• بازخوانی متن (Context Recall) با RAGAs Context Recall with RAGAs

• معیارهای حساسیت به نویز (Noise Sensitivity Metrics) با RAGAs Noise Sensitivity Metrics with RAGAs

• نمونه چند نوبته (MultiTurnSample) با RAGAs به همراه Evaluate MultiTurnSample with RAGAs along with Evaluate

• معیارهای عمومی - نقد جنبه‌ها برای خلاصه‌سازی داده‌ها از LLM General Purpose Metrics - Aspect Critics For summary of data from LLM

• معیارهای عمومی - تشخیص مضر بودن از محتوای تولید شده General Purpose Metrics - Detect Harmfulness from the content generated

تست برنامه‌های RAG با RAGAs Testing RAG applications with RAGAs

• مقدمه و راه‌اندازی Introduction and setup

• ایجاد Retriever برای داده‌های واقعی و Vector Storeها برای متن Creating Retriever for Actuals and Vector Stores for Context

• ایجاد دیتاست MultiTurnSample برای تست برنامه RAG Creating MultiTurnSample DataSet for RAG Application to Test

• ارزیابی RAG با RAGAs Evaluating RAG with RAGAs

• دانش خود را بسنجید! Check your knowledge!

تست عملکردی مدل‌های زبان بزرگ (LLM) با HuggingFace و پایتون Functional Testing of Large Language Models (LLMs) with HuggingFace and Python

• مقدمه Introduction

• درک تست LLM‌ها Understanding Testing of LLMs

• تحلیل احساسات مدل Qwen2.5 با چت Ollama Sentiment Analysis of Qwen2.5 Model with Ollama Chat

• خلاصه‌سازی متن با چت Ollama Text Summarization With Ollama Chat

• مقدمه‌ای بر کتابخانه HuggingFace NLP و Transformer Introduction to HuggingFace NLP and Transformer Library

• تحلیل احساسات با استفاده از HuggingFace و Pipeline() Sentiment Analysis using HuggingFace and Pipeline()

• خلاصه‌سازی متن با استفاده از کتابخانه HuggingFace NLP Text Summarization using HuggingFace NLP Library

• تست یک LLM سفارشی برای طبقه‌بندی متن Testing an Custom LLM for Text Classification

• طبقه‌بندی Zero-Shot و شناسایی موجودیت نام‌گذاری شده (NER) LLM‌ها Zero-Shot-Classification and Named Entity Recognition (NER) of LLMs

• دانش خود را بسنجید! Check your knowledge!

ارزیابی LLM‌ها با استفاده از HuggingFace Evaluate Evaluate LLMs using HuggingFace Evaluate

• مقدمه Introduction

• ایجاد و درک معیارهای دقت (Accuracy Metrics) Creating and Understanding Accuracy Metrics

• ایجاد و درک معیارهای تطابق دقیق (Exact Match Metrics) LLM‌ها Creating and Understanding Exact Match Metrics of LLMs

• ایجاد و درک معیارهای F1 Score LLM‌ها Creating and Understanding and F1 Score Metrics of LLMs

• HuggingFace Evaluate برای تحلیل احساسات LLM‌ها HuggingFace Evaluate for Sentiment Analysis of LLMs

• HuggingFace Evaluate برای تحلیل احساسات LLM - معیارهای دقت HuggingFace Evaluate for Sentiment Analysis of LLM - Accuracy Metrics

• HF Evaluate برای تحلیل احساسات LLM - دقت، صحت، فراخوانی و F1 HF Evaluate for Sentiment Analysis of LLM - Accuracy, Precision, Recall & F1

• دانش خود را بسنجید! Check your knowledge

تست کامپوننت برنامه RAG LLM با DeepEval Component Testing of RAG LLMs Application with DeepEval

• مقدمه Introduction

• راه‌اندازی پروژه برای تست کامپوننت با به‌روزرسانی DeepEval 3.x Setting up project for Component Testing with DeepEval 3.x update

• تزیین کامپوننت LLM‌ها با @observe Decorating LLMs Component with @observe

• تزیین کامپوننت بازیابی RAG با AnswerRelevancyMetrics در @observe Decorating RAG Retrieval Component with AnswerRelevancyMetrics in @observe

• ساخت کامپوننت برنامه RAG و تزیین آن با ContextualRelevancyMetrics Build RAG Application Component and Decorate it with ContextualRelevancyMetrics

• ارزیابی کامپوننت‌های RAG با مدل LLM‌های محلی Evaluating RAG Components with Local LLMs Model

• ارزیابی کامپوننت‌های RAG با مدل OpenAI Evaluating RAG Components with OpenAI Model

• افزودن نوع Span Retriever در Confident AI با تفکیک وظایف Add Retriever Span Type in Confident AI with Separation of Concerns

تست کامپوننت عامل هوش مصنوعی و فراخوانی ابزار با DeepEval Component Testing of AI Agent and Tool Calling with DeepEval

• مقدمه Introduction

• ردیابی کامپوننت LLM‌های محلی در Confident AI Tracing the Local LLMs Component in Confident AI

• ردیابی کامپوننت ابزارها در Confident AI Tracing Tools Component in Confident AI

• ردیابی کامپوننت عامل هوش مصنوعی در Confident AI Tracing AI Agent Component in Confident AI

• مشاهده کامپوننت فراخوانی ابزار در Confident AI Seeing Tool Call Component in Confident AI

• افزودن ToolCorrectionMetrics برای ارزیابی عامل هوش مصنوعی Adding ToolCorrectionMetrics for Evaluating AI Agent

• ارزیابی عامل هوش مصنوعی و بررسی اینکه آیا ابزار صحیح توسط LLM‌ها فراخوانی می‌شود Evaluating AI Agent and verify if correct tool is being invoked by LLMs