آموزش بازیابی پیشرفته نسل افزوده

سرفصل ها و درس ها

معرفی و راه اندازی Introduction & Setup

• مقدمه Introduction

• قبل از خرید: دوره تمام نشده است و هر هفته ویدیوهای جدید اضافه می شود BEFORE YOU BUY: The course is not finished and new videos are added every weeks

• نحوه پیگیری این دوره How To Follow This Course

• یک کلید OpenAI API ایجاد کنید Create an OpenAI API Key

• Vitual Env و Jupyter را راه اندازی کنید Setup Vitual Env and Jupyter

• Langfuse محلی را با Docker راه اندازی کنید Setup local Langfuse with Docker

• نحوه دریافت «.gitignore» پایتون برای ویدیوی بعدی How to get the Python `.gitignore` for the next video

• یک مخزن git برای کد خود راه اندازی کنید Initialize a git repo for our code

بخش 1 - قوی تر کردن سیستم های مجهز به LLM Section 1 - Making our LLM powered systems more Robust

• ایمن کردن کلیدهای API ما با python-dotenv Securing our API Keys with python-dotenv

• تماس با OPENAI Calling OPENAI

• [اختیاری] تئوری: توکن ها چیست [OPTIONAL] Theory : What are Tokens

• [اختیاری] تئوری: LLM، مدل های دستور داده شده و الگوهای چت چیست [OPTIONAL] Theory: What are LLM, Instructed Models and Chat Templates

• از کد ناهمزمان برای اجرای همزمان چندین تماس OpenAI LLM استفاده کنید Use asynchronous code to execute several OpenAI LLM calls concurrently

• معرفی پنج مشکلی که باید حل کنیم تا برنامه های LLM خود را قوی تر کنیم Introducing the five problems we need to solve to make our LLM apps more robust

• ذخیره سازی (قسمت 1): نحوه کش کردن متغیرها روی دیسک Caching (part 1): How to cache variables on disk

• ذخیره سازی (قسمت 2): ذخیره تماس های LLM Caching (part 2): Caching LLM Calls

• [CODE] کد منبع برای ذخیره تماس LLM [CODE] Source Code for Caching LLM Call

• [اختیاری] دایرکتوری کش در git را نادیده بگیرید [Optional] Ignore cache directory in git

• [اختیاری] عملکرد حافظه پنهان ما را با تکمیل خودکار کار کنید [Optional] Make our cached function work with autocompletion

• نحوه استفاده از Tracing برای بازرسی راحت‌تر سیستم‌ها و ساخت مجموعه داده‌های طلایی How to use Tracing to inspect your systems more easily and build gold datatasets

• ردیابی + ذخیره سازی Tracing + Caching

• چرا تلاش مجدد اهمیت دارد و چگونه آن را با Backoff Python Decorator پیاده سازی کنیم Why Retrying matters and how to implement it with the Backoff Python Decorator

• نحوه ترکیب Caching، Tracing و Retrying و نمایشی از RateLimiteErrors How to combine Caching, Tracing and Retrying, and a demo of RateLimiteErrors

• [نظریه اختیاری] چرا خروجی های ساختاریافته برای الگوهای عامل مهم هستند؟ [OPTIONAL THEORY] Why are Structured Outputs so important for Agentic Patterns

• نسخه ی نمایشی خروجی های ساختاریافته Structured Outputs Demo

• تماس‌های «خروجی‌های ساختاریافته» با ردیابی، تلاش مجدد و ذخیره‌سازی Robust "Structured Outputs" Calls with Tracing, Retrying and Caching

• کد منبع برای "خروجی های ساختاریافته" قوی Source Code for Robust "Structured Outputs"

• [اختیاری] نتیجه بخش [OPTIONAL] Section Conclusion

بخش 2 - اندازه گیری و بهبود عملکرد سیستم بازیابی Section 2 - Measure and Improve Performance of the Retrieval System

• بخش مقدمه - RAG چیست، Retrieval و برنامه در اینجا چیست Section Introduction - What is RAG, Retrieval and what's the plan here

بخش 2 - قسمت 1 - [گام به گام] ایجاد مجموعه داده ارزیابی مصنوعی Section 2 - Part 1 - [STEP BY STEP] Generating a Synthetic Evaluation Dataset

• معرفی مجموعه داده و نحوه دانلود آن (در منابع سخنرانی موجود است) Dataset Introduction & How to Download It (it's in the lecture's resources)

• بارگیری مجموعه داده و بارگیری نوت بوک شروع در منابع Loading the Dataset & Downloading the Starter Notebook In the Resources

• چگونه یک مجموعه داده مصنوعی تولید کنیم؟ How are we going to generate a synthetic dataset

• نحوه نوشتن و سپس تکرار در اولین پیش نویس یک درخواست How to write and then iterate on the first draft of a prompt

• از Jinja و dedent برای ایجاد Prompt Templating قوی و ساده استفاده کنید Use Jinja and dedent to create robust and simple Prompt Templating

• [تمرین اختیاری] پیش نویس درخواست اول را بهبود بخشید [Optional Exercise] Improve the First Prompt Draft

• برای بهبود کیفیت سوالات تولید شده ما، درخواست را بهبود بخشید Improve the prompt to improve the quality of our generated questions

• یک گردش کار دسته ای ایجاد کنید تا سریعتر تکرار شود Create a batch workflow to iterate faster

• بهبود درخواست مرحله تولید سؤال ارزیابی ما را به پایان برسانید Finish improving the prompt for our evaluation question generation step

• دستور را در برابر مجموعه داده کامل اجرا کنید و نوار پیشرفت را برای نظارت نمایش دهید Run the prompt against the full dataset and display a progress bar to monitor

• مقدمه: کپی برداری از داده های مصنوعی با جاسازی ها Introduction : Deduplicating synthetic data with embeddings

• مقدمه‌ای بر جاسازی‌ها (بردارهای معنایی) و نحوه استفاده برای کپی کردن Introduction to Embeddings (Semantic Vectors) and how to use for deduplication

• برقراری تماس های جاسازی قوی با OpenAI Making Robust Embedding Calls to OpenAI

• محاسبه شباهت کسینوس بین دو جاسازی Computing Cosine Similarity between Two Embeddings

• نوت بوک استارتر را دانلود کنید Download The Starter Notebook

• تعبیه‌ها را برای هر سؤال محاسبه کنید Compute Embeddings for Each Questions

• با استفاده از Embedding، موارد تکراری احتمالی را تجزیه و تحلیل کنید Analyze Likely Duplicates using Embedding

• فهرست «سوالات بد» را تهیه کنید و شباهت کسینوس را برای هر سؤال محاسبه کنید Prepare "bad questions" list and Compute Cosine Similarity for Each Question

• برای طبقه‌بندی سؤالات تکراری از سؤالات تکراری احتمالی، درخواست را بنویسید Write the prompt to classify duplicated questions from likely duplicates

• اعلان "شناسایی تکراری" را اجرا کنید و موارد تکراری را حذف کنید Run the "duplicate identification" prompt and eliminate duplicates

• سوالات ایجاد شده را با استفاده از LLM و خروجی های ساخت یافته بهبود بخشید Improve the generated questions using LLM and structured outputs

بخش 2 - قسمت 2 - اندازه گیری بهبود در عملکرد بازیابی Section 2 - Part 2 - Measuring Improvements in Retrieval Performance

• منابع این بخش را دانلود کنید Download the Resources for This Section

• راه اندازی Setup

• Lancedb را نصب کنید Install Lancedb

• ایجاد جدول LanceDB با جستجوی کامل متن (FTS) Creating a LanceDB table with a Full-Text-Search (FTS)

• مقدمه ای برای جستجوی متن کامل و نحوه پاکسازی پرس و جوهای اصطلاحی برای جستجوی متن کامل Intro to Full Text Search and How to Sanitize Term Queries for Full Text Search

• پایه FTS را ایجاد کنید Establish FTS BASELINE

• کتابخانه Reranker را برای اجرای مدل هایی مانند Cross Encoder و ColBERT نصب کنید Install the Reranker Library to run models like Cross Encoder and ColBERT

• اندازه گیری عملکرد بازیابی با FTS با یک مرحله رتبه بندی مجدد Measure Retrieval Performance with FTS with a Reranking Step

• نوت بوک شروع برای جستجوی برداری Starter notebook for Vector Search

نتیجه گیری Conclusion

• قبل از خرید: دوره تمام نشده است و هر هفته ویدیوهای جدید اضافه می شود BEFORE YOU BUY: The course is not finished and new videos are added every weeks