آموزش دوره جامع RAG برای حرفه‌ای‌ها با LangGraph، پایتون و OpenAI - آخرین آپدیت

سرفصل ها و درس ها

شروع کار Getting Started

• خوش‌آمدگویی و معرفی Welcome & Introduction

• آنچه در این دوره خواهید آموخت (پیش‌نمایش) What you will learn in this course (Sneak Preview)

• چگونه بیشترین بهره را از این دوره ببریم How to get the most out of this course

• تولید تقویت‌شده با بازیابی (RAG): چرا و چگونه (انگیزه) Retrieval Augmented Generation - Why and How (Motivation)

• مروری بر دوره و نگاهی به گردش‌کارهای پیشرفته RAG Course Overview and advanced RAG Workflows at a Glance

• پاسخ به سوالات متداول دانشجویان Student FAQ

نصب پایتون و آماده‌سازی محیط کدنویسی دوره Python Installation - Setting up the Coding Environment for this Course

• ایجاد محیط Anaconda جدید مخصوص این دوره (حتما ببینید!) Creating a new Anaconda Environment specific to this Course (Don´t Skip!!!)

• دانلود و نصب Anaconda Download and Install Anaconda

• نحوه باز کردن Jupyter Notebooks How to open Jupyter Notebooks

• نحوه کار با Jupyter Notebooks How to work with Jupyter Notebooks

دسترسی به APIهای OpenAI Getting Access to the OpenAI API

• OpenAI: معرفی و بررسی کلی OpenAI - Intro and Overview

• ایجاد حساب کاربری OpenAI Creating an OpenAI Account

• کار با APIهای OpenAI The OpenAI API

مبانی LangChain و OpenAI: ساخت یک چت‌بات ساده در پایتون LangChain and OpenAI Basics: Creating a simple ChatBot in Python

• مقدمه Intro

• دانلودها و آماده‌سازی‌ها Downloads and Preparations

• اجرای زنده یک مثال ساده A Toy Example Live in Action

• به‌روزرسانی‌های اخیر و متدهای منسوخ شده Recent Updates and Deprecations

• استفاده از سایر مدل‌های LLM (OpenAI) Using other (OpenAI) LLM Models

• تحلیل توکن‌ها و هزینه‌ها Token and Cost Analysis

• پرامپت‌های پویا با PromptTemplate Dynamic Prompts with PromptTemplate

• استفاده از ChatPromptTemplate با نقش‌ها (Roles) ChatPromptTemplate with Roles

• زبان بیان LangChain (LEL) LangChain Expression Language (LEL)

• مفهوم LangChain Runnables LangChain Runnables

• افزودن Runnables سفارشی Adding custom Runnables

• جمع‌بندی: مکالمه چت‌بات بدون حافظه (one shot chain) Wrap Up: ChatBot Conversation without Memory (one-shot chain)

• تبدیل زنجیره تک-مرحله‌ای به مکالمه واقعی با حافظه Turning a One-Shot-Chain into a real conversation with Memory

خلاصه‌سازی اسناد با LangChain و OpenAI Document Summarization with LangChain and OpenAI

• مقدمه Intro

• آماده‌سازی‌ها و متریال‌ها Preparations and Materials

• اجرای یک مثال ساده خلاصه‌سازی Running a Summarization Toy Example

• زنجیره‌های داخلی LangChain برای خلاصه‌سازی اسناد LangChain Built-in Chain for Document Summarization

• مبانی بارگذاری فایل‌های PDF با LangChain Loading PDF Files with LangChain 101

• حالت تک-صفحه در مقابل حالت کل-صفحه Single Mode vs. Page Mode

• بارگذاری اسناد حجیم با LangChain Loading Large Documents with LangChain

• بحث تکمیلی: بارگذاری تنبل (Lazy Loading) Excursus: Lazy Loading

• تقسیم و تکه‌تکه کردن اسناد حجیم با LangChain Splitting & Chunking large Documents with LangChain

• مرور: تکه‌تکه کردن هنگام بارگذاری Recap: Chunking when Loading

• تقسیم متن با RecursiveCharacterTextSplitter Text Splitting with RecursiveCharacterTextSplitter

• بارگذاری و تقسیم PDFها: چالش‌ها و خطاها Loading and Splitting PDFs - Pitfalls

• تقسیم فایل‌های PDF حجیم با Langchain Splitting large PDF Files with Langchain

• تقسیم با استفاده از TokenTextSplitter Splitting with TokenTextSplitter

• خلاصه‌سازی مدل Stuff برای اسناد کوچک و متوسط Stuff Summarization of small and mid size Documents

• خلاصه‌سازی Stuff با زنجیره داخلی Stuff Summarization with Built-in Chain

• خلاصه‌سازی مدل Map Reduce برای اسناد بسیار حجیم Map-Reduce Summarization of (very) large Documents

• خلاصه‌سازی Map Reduce با موازی‌سازی Map-Reduce Summarization with Parallelization

• خلاصه‌سازی Map Reduce با زنجیره داخلی Map-Reduce Summarization with Built-in Chain

• مزایا و معایب خلاصه‌سازی Map Reduce Map-Reduce Summarization - Pros and Cons

• تئوری خلاصه‌سازی مدل Refine برای اسناد بسیار حجیم Refine Summarization of (very) large Documents - Theory

• پیاده‌سازی Refine با LangChain Refine Summarization with LangChain

• نتیجه‌گیری Conclusion

مقدمه‌ای بر تولید تقویت‌شده با بازیابی (RAG) با LangChain و OpenAI Intro to Retrieval Augmented Generation (RAG) with LangChain and OpenAI

• مقدمه Intro

• پیش‌نیازها و متریال‌ها Prerequisites and Materials

• استفاده از زنجیره RAG برای اسناد تجاری: یک مثال کاربردی Using an RAG Chain for Business Docs - a Showcase Example

• زنجیره‌های داخلی LangChain برای RAG LangChain Built-in Chains for RAG

• چرا RAG؟ برتری RAG نسبت به سایر روش‌ها Why RAG? - Superiority of RAG compared to other approaches

• مرور: بارگذاری و تقسیم اسناد Recap: Document Loading and Splitting

• مبانی برداری‌سازی و Embedding Vectorization & Embedding 101

• بازیابی برداری با FAISS Vector Retrieval with FAISS

• تولید متن تقویت‌شده با OpenAI Augmented Text Generation with OpenAI

• قابلیت استفاده مجدد از Embeddingها و Vector Store Reusability of Embeddings and Vector Store

• ذخیره‌ساز برداری با حافظه بلندمدت پایدار (FAISS و Chroma) Vector Store with persistent long-term memory (FAISS and Chroma)

• استراتژی‌های بازیابی: مرور جستجوی شباهت (Similarity Search) Retrieval Strategies and Techniques - Recap: Similarity Search

• استراتژی‌های بازیابی: استفاده از similarity_score_threshold Retrieval Strategies and Techniques - similarity_score_threshold

• استراتژی‌های بازیابی: جستجوی بیشترین ارتباط حاشیه‌ای (MMR) Retrieval Strategies and Techniques - max marginal relevance search (mmr)

• مقایسه استراتژی‌های بازیابی و جمع‌بندی Retrieval Strategies and Techniques - Comparison and Wrap Up

• چالش تمرینی: پیاده‌سازی استراتژی‌های بازیابی Homework Challenge - Retrieval Strategies applied

• سناریو ۱: پرسش و پاسخ متمرکز Scenario 1: Focused Q&A

• سناریو ۲: پرسش و پاسخ اکتشافی و چندجانبه Scenario 2: Exploratory Q&A and Multi-Aspect Q&A

• سناریو ۳: خلاصه‌سازی با RAG Scenario 3: RAG Summarization

• سناریو ۴: جستجوی معنایی و مرور Scenario 4: Semantic Search / Browse

• بونوس: کاهش وابستگی به کلمات کوئری با MultiQueryRetriever Bonus: Reducing Reliance on Query Wording with MultiQueryRetriever

• امنیت داده‌ها، سطوح حریم خصوصی و گزینه‌ها در RAG RAG & Data Security/Privacy Levels and Options

مبانی LangGraph: ساخت چت‌بات گرافی دارای حافظه LangGraph Basics - Building a Graph ChatBot with Memory

• مقدمه Intro

• آماده‌سازی‌ها و متریال‌ها Preparations and Materials

• TypedDict چیست؟ What is a TypedDict?

• یک گراف ساده بدون حافظه A simple Graph without Memory

• پایداری و وضعیت‌های جزئی/به‌روزرسانی‌ها Robustness and partial States / Updates

• یک گراف/زنجیره ساده با حافظه A simple Graph/Chain with Memory

• مقدمه‌ای بر LangGraph Reducers LangGraph Reducers - Introduction

• جمع‌بندی: یک مثال واقعی ساده با استفاده از LangGraph Wrap Up: A simple real-world Example using LangGraph

• مقدمه‌ای بر پیام‌های LangChain (Messages) LangChain Messages - Intro

• یک گراف ساده با پیام‌های LangChain A simple Graph with LangChain Messages

• استفاده از Reducer مدل add_messages The add_messages Reducer

• جمع‌آوری تاریخچه مکالمات با LangGraph Collecting a Messages Conversation with LangGraph

• میان‌بر: استفاده از MessagesState Shortcut: using MessagesState

• مرور: ساخت چت‌بات با LangChain و OpenAI Creating a ChatBot with LangChain and OpenAI - recap

• ساخت چت‌بات دارای حافظه با LangGraph و OpenAI Creating a ChatBot with Memory using LangGraph and OpenAI

• اجرای یک جلسه چت تعاملی Running an Interactive Chat Session

• ادغام یک زنجیره در گراف و سایر ویژگی‌های اختیاری Integrating a (Lang)Chain in a (Lang)Graph and other optional Features

• تئوری مدیریت تاریخچه چت در مکالمات طولانی Managing Chat History in longer Conversations - Theory

• کوتاه کردن (Truncating) تاریخچه چت Truncating a Chat History

• پیاده‌سازی RAG با حافظه چت کوتاه‌شده Retrieval Augmented Generation (RAG) with truncated Chat Memory

کار با اسناد متعدد و انواع مختلف فایل‌ها Working with multiple Documents and File Types

• مقدمه Intro

• آماده‌سازی‌ها، دانلودها و متریال‌ها Preparations, Downloads and Materials

• بارگذاری چندین سند PDF در یک پوشه با LangChain Loading multiple PDF documents in a Directory with LangChain

• تنظیمات اختیاری PyPDFDirectoryLoader PyPDFDirectoryLoader (optional settings)

• بارگذاری چندین فایل PDF با DirectoryLoader Loading multiple PDF Files with DirectoryLoader

• بارگذاری PDFها با UnstructuredLoader Loading PDFs with UnstructuredLoader

• بارگذاری فایل‌های متنی (.txt) Loading Text files (.txt)

• بارگذاری فایل‌های Word (.docx) Loading Word Files (.docx)

• بارگذاری فایل‌های PowerPoint (.pptx) Loading Powerpoint Files (.pptx)

• بارگذاری ارائه‌های PowerPoint در قالب PDF Loading PDF-Powerpoint Presentations

• بارگذاری فایل‌های CSV Loading CSV Files

• بارگذاری انواع فایل‌های مختلط با UnstructuredLoader Loading mixed file types with UnstructuredLoader

• بارگذاری انواع فایل‌های مختلط با DirectoryLoader Loading mixed file types with DirectoryLoader

• مرور: تقسیم اسناد و برداری‌سازی Recap: Document Splitting & Vectorization

• جمع‌بندی: RAG با LangGraph روی اسناد و فرمت‌های متعدد Wrap Up: RAG with LangGraph covering multiple Documents and file types

• بارگذاری سفارشی بر اساس معیارهای مختلف Customized Loading by various Criteria

ساخت دیتابیس برداری پویا با Chroma Creating a Dynamic Vector Database with Chroma

• مقدمه Intro

• آماده‌سازی‌ها، دانلودها و متریال‌ها Preparations, Downloads and Materials

• نحوه ایجاد یک Chroma VectorDB خالی (و افزودن اسناد) How to create an empty Chroma VectorDB (and adding Docs)

• نحوه مقداردهی اولیه Chroma VectorDB با اسناد اولیه How to initialize a Chroma VectorDB with initial Docs

• بارگذاری یک Chroma VectorDB موجود Loading an existing Chroma VectorDB

• جستجو و فیلتر کردن بردارها بر اساس ID Searching / Filtering Vectors by ID

• حذف بردارها بر اساس ID Deleting Vectors by ID

• آماده‌سازی برای جستجو و فیلتر بردارها با متادیتا Searching / Filtering Vectors by Metadata Filters - Preparations

• جستجو و فیلتر بردارها بر اساس نام سند Searching / Filtering Vectors by Document Name

• جستجو و فیلتر با استفاده از سینتکس کوئری Searching / Filtering with Query Syntax

• جستجوی پیشرفته متادیتا: بر اساس صفحات Advanced Metadata Searching / Filtering - by pages

• جستجوی پیشرفته متادیتا: عملگرهای منطقی Advanced Metadata Searching / Filtering - logical operators

• تغییر، افزودن و به‌روزرسانی متادیتا: فرمت‌های تاریخ و زمان Changing, Adding & Updating Metadata - Datetime Formats

• افزودن Unix Timestamp به متادیتای موجود Adding Unix Timestamp to (existing) Metadata

• جستجوی پیشرفته متادیتا: بر اساس تاریخ ایجاد Advanced Metadata Searching / Filtering - by Creation Date

• جستجو و فیلتر بر اساس محتوای سند (زیررشته‌ها) Searching & Filtering by Document Contents (Substrings)

• جستجو و فیلتر پیشرفته بر اساس محتوای سند Advanced Searching & Filtering by Document Contents (Substrings)

• جستجو و فیلتر محتوای سند با استفاده از Regex Searching & Filtering by Document contents (Substrings) using regex

• جمع‌بندی: افزودن، به‌روزرسانی و حذف اسناد از Chroma VectorDB Wrap Up: Adding, Updating and Deleting Docs from a Chroma VectorDB

• چشم‌انداز: استفاده از VectorDBهای قدرتمندتر در LangChain Outlook: Using other (more powerful) VectorDBs in LangChain

به‌روزرسانی‌های خودکار و پویای VectorDB با Chroma و پایتون Automated dynamic VectorDB Updates with Chroma and Python

• مقدمه Intro

• آماده‌سازی‌ها، دانلودها و متریال‌ها Preparations, Downloads and Materials

• شناسایی تغییرات محتوا در تک فایل‌های Word Detecting content changes in single Word files

• شناسایی تغییرات محتوا در تمام فایل‌های یک پوشه Detecting content changes in all files in a Directory

• استفاده از پیش‌فیلترهای متادیتا برای شناسایی تغییرات فایل (بخش اول) Using Metadata Prefilters to detect File Changes (Part 1)

• استفاده از پیش‌فیلترهای متادیتا برای شناسایی تغییرات فایل (بخش دوم) Using Metadata Prefilters to detect File Changes (Part 2)

• Embedding پویا: تجمیع کلیه مباحث (بخش اول) Dynamic Embedding: Bringing it all together (Part 1)

• Embedding پویا: تجمیع کلیه مباحث (بخش دوم) Dynamic Embedding: Bringing it all together (Part 2)

تجمیع کلیه مباحث، ویژگی‌های بیشتر و نکات و ترفندها Bringing Everything together, more Features & Tips and Tricks

• مقدمه Intro

• آماده‌سازی‌ها، دانلودها و متریال‌ها Preparations, Downloads and Materials

• کد کامل در Jupyter The full Code in Juypter

• به‌روزرسانی Embeddingها با یک اسکریپت پایتون Update of Embeddings with a Python Script

• ساخت رابط گرافیکی (GUI) برای RAG Chat با TKinter Creating an RAG Chat GUI with TKinter

• ساخت یک اپلیکیشن دسکتاپ نمونه برای ویندوز Creating an exemplary Desktop App for Windows

• ساخت یک اپلیکیشن دسکتاپ نمونه برای Mac OS Creating an exemplary Desktop App for Mac OS

• چشم‌انداز: RAG و هوش مصنوعی عامل‌محور (Agentic AI) Outlook: RAG and Agentic AI

گام‌های بعدی (چشم‌انداز و منابع تکمیلی) What´s next? (outlook and additional resources)

• درس بونوس Bonus Lecture