آموزش ساخت سیستم خلاصه ساز سند و پرسش و پاسخ مبتنی بر هوش مصنوعی - آخرین آپدیت

مبانی، ورود اسناد و پردازش متن Foundations, Document Ingestion & Text Processing

• آشنایی با مدل‌های زبانی بزرگ (LLM) و API شرکت OpenAI Introduction to LLMs and the OpenAI API

• راه اندازی محیط و ساختار پروژه Environment Setup & Project Structure

• درک مفاهیم توکن‌ها و توکن‌سازی (Tokenization) Understanding Tokens and Tokenization

• بارگذاری فایل‌های PDF و DOCX Loading PDF_DOCX

• کار با اسناد اسکن شده، جداول و HTML Scanned Docs Tables HTML

• پاک‌سازی و نرمال‌سازی متن Text Cleaning Normalization

• توکن‌سازی و پنجره‌های زمینه (Context Windows) Tokenization Context Windows

جاسازی‌ها، جستجوی برداری و خلاصه‌سازی Embeddings, Vector Search & Summarization

• استراتژی‌های تکه‌بندی متن (Chunking) Chunking_Strategies

• تکه‌بندی سلسله‌مراتبی و ساختار-آگاه Structure Aware Hierarchical Chunking

• مفاهیم و شهود جاسازی‌ها (Embeddings) Embeddings Concepts Intuition

• تولید جاسازی با Sentence Transformers Sentence Transformers Embedding Generation

• پایگاه داده‌های برداری Chroma و FAISS Vector Databases Chroma_FAISS

• جستجوی شباهت و بازیابی TopK Similarity Search TopK Retrieval

• فیلتر کردن متادیتا و بازیابی ترکیبی (Hybrid) Metadata Filtering Hybrid Retrieval

تولید تقویت‌شده با بازیابی (RAG) و پرسش و پاسخ Retrieval-Augmented Generation & Q&A

• رتبه‌بندی مجدد (Reranking) و فشرده‌سازی زمینه Reranking Context Compression

• خلاصه‌سازی استخراجی در مقابل خلاصه‌سازی انتزاعی Extractive vs Abstractive Summarization

• خلاصه‌سازی اسناد طولانی با روش‌های Map Reduce و Refine Long Document Summarization Map Reduce Refine.

• اشیاء سند و متادیتا Metadata Document Objects.

• خط لوله ورود داده‌های قابل استفاده مجدد Reusable Ingestion Pipeline

• جستجو و بازیابی معنایی Semantic Search Retrieval

• کنترل طول، سبک و فرمت خلاصه‌ها Controllable Summaries Length Style Format.

بهینه‌سازی، استقرار و بهترین روش‌ها Optimization, Deployment & Best Practices

• ساخت بازیاب (Retriever) آماده برای محیط تولید Production Ready Retriever

• کالبدشناسی یک سیستم RAG Anatomy of a RAG System

• ساخت اولین زنجیره پرسش و پاسخ (QA Chain) Building the First QA Chain

• ارائه پاسخ‌های مستند همراه با ارجاعات Grounded Answers with Citations

• حافظه گفتگو و پاسخ‌های تکمیلی Conversational Memory and Follow Ups.

• جستجوی ترکیبی Dense، BM25 و RRF Hybrid Search Dense BM25 RRF

• رتبه‌بندی مجدد با استفاده از Cross Encoder Cross Encoder Reranking.

استقرار، مانیتورینگ و متدهای پیشرفته Deployment, Monitoring & Best Practices

• تبدیل کوئری: Multi-Query و HyDE Query Transformation Multi Query HyDE

• سیستم‌های RAG عاملیت‌محور (Agentic) و استفاده از ابزارها Agentic RAG and Tool Use

• معیارهای ارزیابی سیستم‌های RAG RAG Evaluation Metrics

• ارزیابی خودکار با استفاده از RAGAS Automated Evaluation with RAGAS

• شناسایی و کاهش توهمات مدل (Hallucinations) Detecting Reducing Hallucinations

• تکرار و بهبود کیفیت پاسخ‌ها Iterating to Improve Answer Quality