پیش پردازش داده های بدون ساختار برای برنامه های RAG و LLM - [جدید]

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه ها و مطالب دوره و پیش نیازها Introductions and What the Course is About and Prerequisites

• ساختار دوره Course Structure

کد منبع را دانلود کنید Download Source Code

• کد منبع Source code

• اسلایدهای دوره Course Slides

راه اندازی محیط توسعه Development Environment Setup

• راه اندازی محیط توسعه - بررسی اجمالی Development Environment Setup - Overview

• حساب OpenAI API و کلید API را راه اندازی کنید Setup OpenAI API Account and API Key

• حساب بدون ساختار و کلید API رایگان را تنظیم کنید Setup the Unstructured Account and FREE API Key

• اجرای آزمایشی چارچوب بدون ساختار Unstructured Framework Test Run

پیش پردازش داده برای LLMs - Deep Dive Data Preprocessing for LLMs - Deep Dive

• پیش پردازش داده ها Deep Dive - بررسی اجمالی Data Preprocessing Deep Dive - Overview

• بررسی اجمالی پیش پردازش داده برای LLM - چرا پیش پردازش داده ها سخت است Data Preprocessing for LLMs Overview - Why Data Preprocessing is Hard

• چالش ها با داده های بدون ساختار Challenges with Unstructured Data

• استخراج محتوا چگونه کار می کند - تمیز کردن و عادی سازی داده ها How Content Extraction Works - Cleaning and Data Normalization

• قطعه بندی و ساختاردهی داده ها و هماهنگی گردش کار Chunking and Structuring Data and Workflow Orchestration

• چارچوب بدون ساختار - کل گردش کار و مرور کلی The Unstructured Framework - The Whole Workflow and Overview

بررسی کنید Check in

• بررسی کنید Check in

عملی: چارچوب بدون ساختار - پیش پردازش HTML، PDF و اسناد PPTX Hands-on: The Unstructured Framework - Preprocessing HTML, PDFs & PPTX Documents

• عملی: پیش پردازش یک فایل PDF و تجزیه داده های JSON استخراج شده Hands-on: Preprocessing a PDF File and Dissecting the Extracted JSON Data

• عملی: پیش پردازش یک فایل PPTX (پاورپوینت). Hands-on: Preprocessing a PPTX (PowerPoint) File

• عملی: پیش پردازش یک فایل HTML Hands-on: Preprocessing an HTML File

• مزایای عادی سازی محتوا - خلاصه Benefits of Normalizing Content - Summary

خرد کردن و استخراج فراداده Chunking and Metadata Extraction

• خرد کردن محتوا و استخراج فراداده - بررسی اجمالی Content Chunking and Metadata Extraction - Overview

• یافتن عناصر مرتبط با فصل ها - عملی Finding Elements Associated with Chapters - Hands-on

• تشابه معنایی - جستجوی ترکیبی و ذخیره اسناد در پایگاه داده برداری Semantic Similarity - Hybrid Search and Saving Documents to Vector Database

• بازسازی کد - از پیش پردازش اسناد چندگانه خودداری کنید Code Restructuring - Avoid Multiple Document Preprocessing

• چالش های تشابه معنایی - معیارهای تازگی اطلاعات Semantic Similarity Challenges - Information Recency Criteria

• تقسیم بندی برای عناصر و مزایای سند - نمای کلی Chunking for Document Elements and Benefits - Full Overview

• قطعه قطعه کردن محتوای سند - عملی Chunking Document Content - Hands-on

• خلاصه Summary

پیش پردازش اسناد پیچیده - PDF و تصاویر Preprocessing Complex Documents - PDFs and Images

• پیش پردازش اسناد پیچیده - PDF و تصاویر - مرور کلی Preprocessing Complex Documents - PDFs and Images - Overview

• روش های تجزیه و تحلیل تصویر سند: آشکارساز طرح بندی سند و ترانسفورماتور بصری Document Image Analysis Methods: Document Layout Detector and Visual Transformer

• مزایا و معایب ViT و DLD Advantages and Disadvantages of ViT and DLD

• پیش پردازش فایل های HTML و PDF - سریع Preprocessing HTML and PDF files - Fast

• پیش پردازش با تشخیص طرح بندی سند و مقایسه نتایج Preprocessing with Document Layout Detection and Comparing the Results

• استخراج محتوای جدول - عملی Table Content Extraction - Hands-on

• خلاصه کردن داده های جدول با LangChain - عملی Summarizing the Table Data with LangChain - Hands-on

یک سیستم RAG با استفاده از تکنیک های آموخته بسازید - مورد استفاده کامل Build a RAG System Using Learned Techniques - Full Use Case

• همه چیز را کنار هم بگذارید - با استفاده از آنچه یاد گرفته اید یک سیستم RAG بسازید - مرور کلی Put it All Together - Build a RAG System Using What You've Learned - Overview

• پیش پردازش یک فایل PDF و نمایش محتوای جدولی نیز - قسمت 1 Preprocessing a PDF File and Showing Tabular Content as Well - Part 1

• فیلتر کردن منابع و سرصفحه ها از PDF - قسمت 2 Filtering out References and Headers from PDF - Part 2

• فایل PPTX و MD را پیش پردازش کنید و عناصر سند را در پایگاه داده برداری ذخیره کنید: قسمت 3 Preprocess PPTX & MD File and Save Document Elements to Vector Database: Part 3

• چت با اسناد خود - PDF - قسمت 4 Chat with Your Own Documents - PDF - Part 4

• با اسناد خود گپ بزنید - اسناد MD و PPTX - نهایی Chat with Your Own Documents - MD and PPTX Documents - Final

جمع کنید Wrap up

• بعد چه است What's Next

• سخنرانی پاداش Bonus Lecture