آموزش ارزیابی RAG-LLM و اتوماسیون تست برای مبتدیان - آخرین آپدیت

سرفصل ها و درس ها

آشنایی با مفاهیم AI - LLM's & Rag LLM's Introduction to AI concepts - LLM's & RAG LLM's

• این دوره چه چیزی ارائه می دهد؟ سؤالات متداول ساعت مچی What this course offers? FAQ"s -Must Watch

• نتیجه دوره - تعیین مرحله انتظار Course outcome - Setting the stage of expectation

• آشنایی با هوش مصنوعی و LLM - نحوه کار آنها Introduction to Artificial Intelligence and LLM's - How they work

• نمای کلی از LLM محبوب و چالش های این LLM عمومی Overview of popular LLM"s and Challenges with these general LLM's

• نسل تقویت شده بازیابی (RAG) چیست؟ معماری آن را درک کنید What is Retrieval Augmented Generation (RAG)? Understand its Architecture

• پایان جریان به پایان در معماری RAG و مزایای اصلی آن End to end flow in RAG Architecture and its key advantages

RAG را درک کنید (نسل تقویت شده بازیابی) - معماری LLM با USECase Understand RAG (Retrieval Augmented Generation) - LLM Architecture with Usecase

• تصورات غلط - چرا RAG LLM - آیا نمی توانیم با روشهای سنتی مشکل را حل کنیم؟ Misconceptions - Why RAG LLM's - cant we solve problem with traditional methods?

• آیا اگر اطلاعات موجود در RAG از دست رفته باشد ، باید از داده های LLM استفاده کنم؟ - بهترین روشها Should I use LLM data if the information in RAG is missing? - Best Practices

• اختیاری - مروری بر نحوه نگاه کد در ساخت برنامه های Rag LLM Optional - Overview how code looks in building RAG LLM's applications

شروع با تمرین LLM و رویکرد ارزیابی/آزمایش Getting started with Practice LLM's and the approach to evaluate /Test

• بارگیری منابع دوره Course resources download

• نسخه ی نمایشی RAG LLM برای ارزیابی و نوشتن اسکریپت های اتوماسیون تست Demo of Practice RAG LLM's to evaluate and write test automation scripts

• درک بخشی از تمرین RAG LLM برای درک زمینه Understanding implementation part of practice RAG LLM's to understand context

• درک سناریوهای LLM مکالمه و نحوه استفاده از آنها در Rag Arch Understand conversational LLM scenarios and how they are applied to RAG Arch

• معیارهای متریک برای سیستم بازیابی اسناد در LLM را درک کنید Understand the Metric benchmarks for Document Retrieval system in LLM

تنظیم محیط Python & Pytest با کتابخانه های بسته بندی ارزیابی Ragas LLM Setup Python & Pytest Environment with RAGAS LLM Evaluation Package Libraries

• مسیر پایتون را در سیستم عامل ویندوز نصب و تنظیم کنید Install and set the path of Python in windows OS

• مسیر Python را در سیستم عامل Mac نصب و تنظیم کنید Install and set the path of Python in MAC OS

• بسته های Framework Ragas را نصب کرده و پروژه تست LLM را تنظیم کنید Install RAGAS Framework packages and setup the LLM Test project

• اصول اولیه Python & Pytest - از کجا می توان آنها را در آموزش پیدا کرد؟ Python & Pytest Basics - Where to find them in the tutorial?

راه حل برنامه ای برای ارزیابی معیارهای LLM با کتابخانه های Langchain و Ragas Programmatic solution to evaluate LLM Metrics with Langchain and RAGAS Libraries

• برقراری ارتباط با OpenAI با استفاده از چارچوب Langchain برای Ragas Making connection with OpenAI using Langchain Framework for RAGAS

• پایان تا پایان -ارزیابی LLM برای متریک ContextPrecision با داده های تست Singleturn End to end -Evaluate LLM for ContextPrecision metric with SingleTurn Test data

• دانلود سند معیارها Metrics document download

• با LLM با استفاده از API Post تماس بگیرید تا به صورت پویا پاسخ دریافت کنید Communicate with LLM's using API Post call to dynamically get responses

• ارزیابی LLM برای متریک فراخوان متن با مثال آزمون ragas pytest Evaluate LLM for Context Recall Metric with RAGAS Pytest Test example

تست های ارزیابی LLM را با فیکس های PyTest و تکنیک های پارامتری بهینه کنید Optimize LLM Evaluation tests with Pytest Fixtures & Parameterization techniques

• ساخت وسایل Pytest را برای جدا کردن استفاده های مشترک OpenAi و LLM از آزمایش بسازید Build Pytest fixtures to isolate OpenAI and LLM Wrapper common utils from test

• آشنایی با وسایل پارامتر سازی PyTest برای هدایت داده های آزمون به صورت بیرونی Introduction to Pytest Parameterization fixtures to drive test data externally

• استفاده قابل استفاده مجدد برای جداسازی تماس های API LLM و آزمایش فقط در منطق متریک Reusable utils to isolate API calls of LLM and have test only on Metric logic

معیارهای اصلی LLM و اهمیت Evaldataset را در چارچوب Ragas ارزیابی کنید Evaluate LLM Core Metrics and importance of EvalDataSet in RAGAS Framework

• معیارهای وفاداری و پاسخ LLM را از نظر مفهومی درک کنید Understand LLM's Faithfulness and Response relevance metrics conceptually

• ساخت اسکریپت ارزیابی LLM برای آزمایش معیارهای وفاداری با استفاده از ragas Build LLM Evaluation script to test Faithfulness benchmarks using RAGAS

• خواندن داده های آزمون از پرونده JSON خارجی به اسکریپت های ارزیابی LLM Reading Test data from external json file to LLM evaluation scripts

• درک کنید که چگونه از معیارها در مکان های مختلف معماری RAG LLM استفاده می شود Understand how Metrics are used at different places of RAG LLM Architecture

• صحت واقعی - ساخت یک آزمایش واحد برای ارزیابی چند معیارهای LLM Factual Correctness - Build a single Test to evaluate multiple LLM metrics

آپلود نتایج ارزیابی LLM و آزمایش LLM برای تاریخ چت چند مکالمه Upload LLM Evaluation results & Test LLM for Multi Conversational Chat History

• ارزیابی DevaluationDataset و چگونگی کمک به ارزیابی چندین معیارها Understand EvaluationDataSet and how it help in evaluating Multiple metrics

• نتایج ارزیابی معیارهای LLM را در پورتال داشبورد Ragas به صورت بصری بارگذاری کنید Upload the LLM Metrics evaluation results into RAGAS dashboard portal visually

• نحوه ارزیابی RAG LLM با چت تاریخ چند مکالمه How to evaluate RAG LLM with multi conversational history chat

• آزمون ارزیابی LLM را بسازید که می تواند چند مکالمه را ارزیابی کند - مثال Build LLM Evaluation Test which can evaluate multi conversation - example

برای ارزیابی LLM و تولید نمره ارزیابی Rubrics به صورت پویا داده های آزمون ایجاد کنید Create Test Data dynamically to evaluate LLM & Generate Rubrics Evaluation Score

• نحوه ایجاد داده های تست با استفاده از چارچوب ragas برای ارزیابی LLM How to Create Test Data using RAGAS Framework to evaluate LLM

• برای تجزیه و تحلیل و استخراج داده های آزمون ، اسناد خارجی را در استفاده از Langchain بارگذاری کنید Load the external docs into Langchain utils to analyze and extract test data

• بسته NLTK را نصب و پیکربندی کنید تا اسناد LLM و تست های تولید را اسکن کنید Install and configure NLTK package to scan the LLM documents & generating tests

• برای ارزیابی کیفیت پاسخ های LLM ، معیارهای مبتنی بر Rubrics ایجاد کنید Generate Rubrics based Criteria Scoring to evaluate the quality of LLM responses

نتیجه گیری و مراحل بعدی! Conclusion and next steps!

• 1 اسلاید مفاهیم آموخته شده از دوره 1 slide Recap of concepts learned from the course

• سخنرانی Bonus Lecture

اختیاری - اصول پایتون را با مثال بیاموزید Optional - Learn Python Fundamentals with examples

• برنامه جهانی پایتون سلام با اصول Python hello world Program with Basics

• داده های موجود در پایتون و نحوه دریافت نوع در زمان اجرا Datatypes in python and how to get the Type at run time

• لیست داده ها و عملکردهای آن را برای دستکاری لیست کنید List Datatype and its operations to manipulate

• انواع داده های Tuple و Dictionary در پایتون با مثال Tuple and Dictionary Data types in Python with examples

• اگر شرایط دیگری در پایتون با مثال های کار باشد If else condition in python with working examples

• نحوه ایجاد فرهنگ لغت در زمان اجرا و اضافه کردن داده ها به آن How to Create Dictionaries at run time and add data into it

• چگونه حلقه ها در پایتون و اهمیت شناسایی کد کار می کنند How loops work in Python and importance of code idendation

• نمونه های برنامه نویسی با استفاده از حلقه - 1 Programming examples using for loop - 1

• نمونه های برنامه نویسی با استفاده از حلقه - 2 Programming examples using While loop - 2

• توابع چیست؟ نحوه استفاده از آنها در پایتون What are functions? How to use them in Python

• اوه اصول: کلاس ها و اشیاء در پایتون OOPS Principles : Classes and objects in Python

• سازنده و نقش آن در برنامه نویسی شی گرا چیست What is Constructor and its role in Object oriented programming

• مفاهیم وراثت با مثال در پایتون Inheritance concepts with examples in Python

• رشته ها و عملکردهای آن در پایتون Strings and its functions in python

اختیاری - نمای کلی از اصول اولیه چارچوب Pytest با مثال Optional - Overview of Pytest Framework basics with examples

• وسایل Pytest چیست و چگونه در تقویت تست ها کمک می کند What are pytest fixtures and how it help in enhancing tests

• دامنه ها را در وسایل Pytest با مثال درک کنید Understand scopes in Pytest fixtures with examples

• راه اندازی و تنظیم Teardown با استفاده از وسایل پایتون با کلمه کلیدی عملکرد Setup and teardown setup using Python fixtures with yield keyword