آموزش دوره جامع تست RAG با Ragas، DeepEval و پایتون - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• تست سریع ۵ دقیقه ای RAG Quick 5 Minute RAG Test

راه اندازی محیط و نصب وابستگی ها Setup the environment - Installing dependencies

• نصب پایتون Install Python

• نصب PIP برای پایتون Install PIP for Python

• نصب NPM و Node.js Install NPM and Node.js

• نصب VSCode Install VSCode

• دریافت API Key مدل OpenAI Get an OPENAI API Key

• لینک مخزن گیت هاب Github Repository link

انواع هوش مصنوعی و چرخه حیات مدل (اختیاری اما توصیه شده) Types of AI and Model Lifecycle - Optional but highly recommended

• هوش مصنوعی چگونه کار می‌کند How AI Works

• انواع هوش مصنوعی Types of AI

• ساختار تکنولوژی اپلیکیشن ها در عصر AI How does the App Tech Stack Look with AI

• مدل پایه (Foundation Model) و LLM چیست What is a Foundation Model and a LLM

• چرخه حیات مدل: مرحله پیش آموزش (Pretraining) Model - Lifecycle - Pretraining Phase of a Model

• چرخه حیات مدل: مرحله تنظیم دقیق (Fine Tuning) Model - Lifecyle Fine Tunning Phase of a model

• مدل AI: ملاحظاتی در مورد داده ها AI Model - Some considerations around data

• انواع اپلیکیشن هایی که از AI و LLM استفاده می کنند Types of applications that use AI / LLMs

آشنایی با RAG Introduction to RAG

• نحوه عملکرد RAG: بررسی کلی How RAG works - a high level overview

• توهمات در سیستم های RAG Hallucinations of RAG

• انواع RAG Types of RAG

• کاربردهای RAG Applications of RAG

• راه اندازی مخزن و وابستگی ها Setting up the repo and dependencies

• پیاده سازی Retriever و دیتابیس Faiss Implementing a retriever and a Faiss DB

• قطعه بندی (Chunks) و همپوشانی اسناد در RAG RAG - Chunks and overlaps for documents

• پیاده سازی Augmentor در RAG RAG - Implementing an Augmentor

• پیاده سازی زنجیره Retriever + Augmenter + Generator RAG - Implementing Retriever + Augmenter + Generator

نحوه تست سیستم های RAG How to Test RAG Systems

• پارامترهای Gen AI: مفاهیم TOP K، P و Temperature Gen AI Param - TOP - K & P and Temperature

• معرفی K سند برتر Introducing top - K Documents

• معرفی K قطعه (Chunk) برتر Introducing Top - K Chunks

• استخراج K قطعه برتر از مرتبط ترین سند Top K Chunks from most Relevant Document

• تست RAG پیش از پیاده سازی خط لوله RAG - Testing Before pipeline is implemented

• تست Retriever با استفاده از Cosine Similarity RAG - Testing for the Retriever - Cosine Similarity

• تست بخش Augmentation RAG - Testing for the Augmentation

• تست بخش Generation RAG - Testing for the Generation

انواع تست های RAG Types of RAG Testing

• تست دستی یا انسانی Manual or Human Testing

• تست خودکار با اعتبارسنجی API (دموی Pytest) Automated Testing with API validations - Pytest Demo

• استفاده از LLM به عنوان داور (Judge) برای اعتبارسنجی پاسخ Using LLM as a Judge to validate the response

تست های تک مرحله ای و چند مرحله ای RAG RAG Single and multihop Testing

• تست RAG: سنتز کوئری های خاص RAG Testing - Specific Query Synthesizer

• تست RAG: سنتز کوئری های انتزاعی RAG Testing - Abstract Query Synthesizer

• تست RAG: سنتز کوئری های خاص چند مرحله ای (MultiHop) RAG Testing - MultiHop Specific Query Synthesizer

• تست RAG: سنتز کوئری های انتزاعی چند مرحله ای RAG Testing MultiHop Abstract Query Synthesizer

• معیارهای Golden Nugget Golden Nugget Metrics

معیارهای مهم یادگیری ماشین Important Machine Learning Metrics

• جدول حقیقت (Ground Truth): منبع حقیقت و Test Oracle Ground Truth Table - source of Truth | Test Oracle

• معیارهای یادگیری ماشین: Accuracy Machine Learning Metrics - Accuracy

• معیارهای یادگیری ماشین: Precision Machine Learning Metrics - Precision

• معیارهای یادگیری ماشین: Recall Machine Learning Metrics - Recall

• معیارهای یادگیری ماشین: F1 Score Machine Learning Metrics - F1 Score

تست با کتابخانه RAGAS Testing with the RAGAS library

• فریم‌ورک اعتبارسنجی RAGAs: بخش Retrieval RAGAs Validation Framework - Retrieval

• معیارهای RAG: دقت کانتکست (Context Precision) RAG Metrics - Context Precision

• دموی پایتون RAGAs: دقت کانتکست RAGAs - Python DEMO - Context Precision

• معیارهای RAG: بازیابی کانتکست (Context Recall) RAG Metrics - Context Recall

• دموی پایتون RAGAs: بازیابی کانتکست RAGAs - Python DEMO - Context Recall

• معیارهای RAG: مرتبط بودن پاسخ (Answer Relevance) RAG Metrics - Answer Relevance

• دموی پایتون RAGAs: مرتبط بودن پاسخ RAGAs - Python DEMO - Answer Relevance

• معیار RAG: واقع‌گرایی (Truthfulness) RAG Metric - Truthfulness

• دموی پایتون RAGAs: وفاداری (Faithfulness) RAGAs - Python DEMO - Faithfulness

• فریم‌ورک RAGAs: چرخه Retrieval، Augmentation و Generation RAGAs Validation Framework - Retrieval - Augmentation - Generation

• فریم‌ورک Rag: انسجام، روانی و مرتبط بودن Rag framework - Coherence, Fluency and Relevance

تست با کتابخانه Deepeval Testing with Deepeval Library

• پلتفرم ارزیابی LLM DeepEval چیست What is the DeepEval LLM Evaluation Platform

• نصب و اجرای اولین تست Installing and running the first test

• ساخت یک معیار مولد (Generative Metric) Creating a Generative Metric

• پیاده سازی گزارش HTML Implementing a HTLM Report