آموزش جستجوی هوش مصنوعی و یادگیری ماشینی با OpenSearch (الستیک‌سرچ + هوش مصنوعی/یادگیری ماشینی) - آخرین آپدیت

سرفصل ها و درس ها

OpenSearch - Getting Started

• ما کی هستیم | نگهداری | منابع ماشین مورد نیاز Who are we | Housekeeping | Machine resources needed

• پیش‌نیازها | چرا الاستیک‌سرچ | انگیزه | محیط دوره PreRequisites | Why Elasticsearch | Motivation | Course Environment

• نسخه نمایشی: پوشه‌ها | دوره کلی در یک نگاه Demo: Folders | Overall course at a glimpse

• نسخه نمایشی: مجموعه‌داده‌ها | پروژه‌ها | بارگیری مواد درسی Demo: Datasets | Projects | Course Material Downloads

نصب و الزامات سیستم Installation and System Requirements

• الزامات سیستم و شبکه | پیکربندی System & Network Requirements | Configuration

• افزونه‌ها | ارتقا Plugins | Upgrading

• کتابخانه‌های کلاینت OS OS client libraries

• نسخه نمایشی: راه‌اندازی، نصب، پیکربندی و دسترسی به OpenSearch در نمونه AWS EC2 Demo: Setup, Install, Configure and Access OpenSearch on AWS EC2 Instance

• ادامه نسخه نمایشی: راه‌اندازی، نصب، پیکربندی و دسترسی به OpenSearch در AWS EC2 Demo Continued: Setup, Install, Configure and Access OpenSearch on AWS EC2

• نسخه نمایشی: راه‌اندازی، نصب، پیکربندی و دسترسی به Opensearch در ماشین محلی Demo: Setup, Install, Configure and Access Opensearch on Local Machine

مفاهیم OpenSearch OpenSearch Concepts

• جستجو چیست - تشبیه What is Search - Analogy

• OpenSearch چیست | تاریخچه | قابلیت‌ها | پروژه‌های مرتبط What is OpenSearch | History | Capabilities | Related Projects

• انواع جستجو Types of Searches

• انواع جستجوی پیشرفته Advanced Search Types

• موارد استفاده بر اساس صنعت | موارد استفاده بر اساس عملکرد شغلی Use Cases By Industry | Use Cases By Job Function

• تحلیل رقابتی | OpenSearch در مقابل ElasticSearch Competitive Analysis | OpenSearch vs. ElasticSearch

• معماری OS | شاردها | ایندکس معکوس | TF-IDF | الگوریتم BM25 OS Architecture | Shards | Inverted Index | TF-IDF | BM25 Algorithm

OpenSearch - تحلیل متن OpenSearch - Text Analysis

• نسخه نمایشی: حداقل ElasticSearch Demo: ElasticSearch minimal

• نسخه نمایشی: حداقل ES & OS (ادامه) Demo: ES & OS minimal (continued)

• خط لوله تحلیل متن Text Analysis Pipeline

• آنالایزر | اجزا | موارد استفاده | داخلی در مقابل سفارشی Analyzer | Components | Use Cases | Built-in vs. Custom

• تکنیک‌های نرمال‌سازی | توکنایزرها | فیلترهای توکن Normalization Techniques | Tokenizers | Token filters

• نسخه نمایشی: حداقل ES & OS (ادامه) Demo: ES & OS minimal (continued)

• نسخه نمایشی: نگاشت‌ها Demo: Mappings

• نسخه نمایشی نگاشت‌ها (ادامه) Demo mappings(continued)

• نسخه نمایشی: تحلیل متن Demo: Text Analysis

OpenSearch - جستجوی سنتی و هوش مصنوعی/یادگیری ماشینی OpenSearch - Traditional and AI/ML Search

• روش‌های جستجو | زبان‌های کوئری جستجو | عملکرد جستجو | ارتباط جستجو Search Methods | Search Query Languages | Search Performance | Search Relevance

• نتایج جستجو | هایلایت | صفحه‌بندی | مرتب‌سازی | جمع‌کردن | تکمیل خودکار Search Results | Highlight | Paginate | Sort | Collapse | AutoComplete

• بازیابی فیلدهای خاص | جستجوی کلمات کلیدی Retrieve Specific Fields | Keyword Search

• نسخه نمایشی: داده‌های جستجو Demo: Search Data

• نسخه نمایشی: داده‌های جستجو (ادامه) Demo: Search Data (continued)

• جستجوی kNN | ایندکس kNN kNN Search | kNN Index

• جستجوی عصبی Neural Search

• هوش مصنوعی | ML | LLM - شهود و قیاس‌ها AI | ML | LLM - Intuition & Analogies

• نسخه نمایشی: Sentence Transformers Demo: Sentence Transformers

• نسخه نمایشی: RAG | چندوجهی Demo: RAG | multi-modal

• شاخص‌گذاری برداری Vector Indexing

• نسخه نمایشی: جستجوی kNN Demo: kNN Search

• نسخه نمایشی: جستجوی عصبی Demo: Neural Search

• نسخه نمایشی: جستجوی عصبی (ادامه) Demo: Neural Search (continued)

• نسخه نمایشی: Edge Ngrams Demo: Edge Ngrams

OpenSearch - یادگیری ماشینی OpenSearch - Machine Learning

• افزونه ML Commons | الگوریتم‌ها | انتخاب و استفاده از مدل‌های LLM بر اساس اصطلاحات OS ML Commons Plugin | Algorithms | Choosing and using LLM Models per OS jargon

• نسخه نمایشی: مدل msmarco distilbert از پیش آموزش داده شده OS sentence transformer Demo: OS pretrained sentence transformer model: msmarco distilbert

• نسخه نمایشی: ONNX محلی OS sentence transformer از پیش آموزش داده شده Demo: OS pretrained sentence transformer local ONNX

• نسخه نمایشی: TORCH محلی OS sentence transformer از پیش آموزش داده شده Demo: OS pretrained sentence transformer local TORCH

• نسخه نمایشی: sentence transformers های OS که ONNX محلی ثبت نشده‌اند Demo: OS sentence transformers not registered local ONNX

• نسخه نمایشی: ENCODING SPARSE از پیش آموزش داده شده OS پشتیبانی می‌شود Demo: OS supported pretrained SPARSE ENCODING

• نسخه نمایشی: CROSS ENCODER از پیش آموزش داده شده OS پشتیبانی می‌شود Demo: OS supported pretrained CROSS ENCODER

• مدل خارجی | فراخوانی مدل از راه دور | OpenAI | نسخه‌های نمایشی External Model | Remote Model Call | OpenAI | Demos

• طرح‌های اتصال | پیش و پس از پردازش | نسخه‌های نمایشی Connector Blue Prints | Pre & Post processing | Demos

• Guardrails | کلمات متوقف‌شده | نسخه‌های نمایشی Guardrails | Stop Words | Demos

OpenSearch - عوامل و ابزارها OpenSearch - Agents and Tools

• مروری کلی | انواع عوامل | نسخه نمایشی Flow Agent (rag) Overview | Types of Agents | Demo Flow Agent (rag)

• نسخه نمایشی: RAG با sentence transformers های پشتیبانی‌نشده Demo: RAG with non-supported sentence transformers

• نسخه نمایشی: RAG با مجموعه داده‌های کارآموزان Demo: RAG with interns dataset

• ابزارها | Rerank Tools | Rerank

• نسخه نمایشی: Rerank با رمزگذاری متقاطع Demo: Rerank with cross encoding

• نسخه نمایشی: RAG conversational flow agent با حافظه Demo: RAG conversational flow agent with memory

• نسخه نمایشی: RAG conversational flow agent با چندین پایگاه دانش یا ایندکس Demo: RAG conversational flow agent with multiple knowledge bases aka. indices

• نسخه نمایشی: انتخاب ایندکس پویا RAG Demo: RAG dynamic index selection

• نسخه نمایشی: عامل مکالمه RAG chatbot Demo: RAG chatbot conversation agent

OpenSearch Dashboards | قابلیت مشاهده OpenSearch Dashboards | Observability

• شروع به کار | زبان‌های پرس و جو | اجزا Getting Started | Query Languages | Components

• نسخه نمایشی: Dashboards End-End walkthrough Demo: Dashboards End-End walkthrough

• نسخه نمایشی: تجزیه و تحلیل داده‌ها Demo: Analyzing Data

• نسخه نمایشی: ایجاد داشبوردها Demo: Creating Dashboards

• نسخه نمایشی: برندسازی سفارشی Demo: Custom Branding

• نسخه نمایشی: DQL Demo: DQL

• نسخه نمایشی: قابلیت مشاهده | ادغام‌ها | نوت‌بوک‌ها | گزارش‌دهی | ارتباط جستجو Demo: Observability | Integrations | Notebooks | Reporting | Search Relevance

OpenSearch - مقدمه ای بر Data Prepper OpenSearch - Data Prepper Intro

• Data Prepper | موارد استفاده | مفاهیم Data Prepper | Use Cases | Concepts

• Data Prepper | در مقابل Logstash | منابع | پردازنده‌ها | سینک‌ها Data Prepper | vs. Logstash | Sources | Processors | Sinks

• نسخه نمایشی: Log ingestion Apache Logs Demo: Log ingestion Apache Logs

• نسخه نمایشی: Log Ingestion Open Telemetry Logs Demo: Log Ingestion Open Telemetry Logs

پروژه‌های زمان واقعی Real Time Projects

• پروژه 1: بارگذاری، ایجاد و بازیابی در OpenSearch Project1: Load, create, and restore within OpenSearch

• پروژه 2: مهاجرت از ElasticSearch به OpenSearch Project2: Migrate from ElasticSearch to OpenSearch

• پروژه 3: تحلیل فضایی جغرافیایی Project3: Geo Spatial Analysis

Lecture اضافی: MCP (model context protocol) با Opensearch Bonus Lecture: MCP (model context protocol) with Opensearch

• مفاهیم MCP MCP Concepts

• نسخه نمایشی: پرس و جو با زبان طبیعی OpenSearch (Claude Desktop به عنوان کلاینت MCP) Demo: Natural Language Querying OpenSearch (Claude Desktop as MCP client)

• نسخه نمایشی (ادامه): پرس و جو با زبان طبیعی OpenSearch (Claude Desktop به عنوان کلاینت MCP) Demo (cont.) Natural Language Querying OpenSearch (Claude Desktop as MCP client)

• نسخه نمایشی: پرس و جو با زبان طبیعی OpenSearch (Github Copilot به عنوان کلاینت MCP) Demo: Natural Language Querying OpenSearch (Github Copilot as MCP client)