آموزش ساخت هوش مصنوعی چندوجهی (Multimodal AI) با RAG و مهندسی کانتکست - آخرین آپدیت
دانلود Building Multimodal AI with RAG & Context Engineering
این دوره شامل استفاده از هوش مصنوعی است.
افشای اطلاعات: ابزارهای AI تنها برای کمک در ایجاد سرفصلها و تصویر بندانگشتی دوره استفاده شدهاند. تمام محتوای آموزشی، توضیحات و walkthroughهای پروژه به طور کامل توسط مدرس به صورت دستی ایجاد شدهاند.
به دوره ساخت هوش مصنوعی چندوجهی با RAG و مهندسی کانتکست خوش آمدید. این یک دوره جامع پروژه-محور است که در آن یاد میگیرید چگونه یک سیستم AI چندوجهی طراحی کنید که قادر به پردازش انواع ورودیها مانند متن، تصویر و فایلهای صوتی باشد. این دوره ترکیبی ایدهآل از پایتون و AI چندوجهی است که فرصتی عالی برای تقویت مهارتهای برنامهنویسی و دانش فنی شما در توسعه هوش مصنوعی فراهم میکند. در بخش مقدماتی، با مفاهیم پایه آشنا میشوید؛ از جمله نحوه عملکرد این سیستمها، کاربرد RAG برای دسترسی مدل به دانشهای بهروز خارج از دادههای آموزشی، و اهمیت مهندسی کانتکست برای سازماندهی اطلاعات پیش از ارائه به مدل. سپس، نحوه اتصال به APIهای مدلهای زبانی بزرگ از طریق OpenRouter، Mistral AI و Google AI Studio را میآموزید تا سیستم شما بتواند پاسخها، خلاصهها و تحلیلهای هوشمند تولید کند. پس از آن، ادغام پایگاه دادههای برداری (مانند Chroma) را برای ذخیره و بازیابی Embeddingها یاد میگیرید تا مدل بتواند پاسخهای آگاهانهتری بر اساس یک پایگاه دانش خارجی ارائه دهد. پیش از شروع پروژهها، مفاهیمی چون جستجوی معنایی، فیلترینگ متادیتا و بازیابی چندگانه را تمرین میکنیم تا زیربنای لازم برای ساخت سیستمهای پیچیدهتر ایجاد شود. در بخش پروژهها، سه سیستم کاربردی میسازیم: نخست، دستیار تحلیل جلسات برای پردازش اسناد، اسلایدها و صوتها جهت استخراج نکات کلیدی و تسکها. دوم، دستیار ارزیابی املاک برای تحلیل توضیحات، تصاویر و روایتهای مشاورین املاک. و سوم، دستیار بازرسی کیفیت غذا برای تحلیل استانداردهای بهداشتی، تصاویر محصولات و مشاهدات بازرس. در نهایت، تستهای عملکردی و کارایی را روی تمامی دستیارها اجرا میکنیم تا از صحت پردازش ورودیهای چندوجهی و قابلیت اطمینان خروجیها در سناریوهای مختلف مطمئن شویم.
شاید بپرسید چرا باید دستیارهای AI چندوجهی بسازیم؟ پاسخ ساده است: این دستیارها میتوانند انواع مختلف دادهها (متن، تصویر، صوت) را همزمان تحلیل کنند و درک جامعتری از موقعیتها داشته باشند، که منجر به اتوماسیون وظایف پیچیده و افزایش چشمگیر بهرهوری میشود.
در ادامه، سرفصلهای کلیدی که در این دوره میآموزید آورده شده است:
مفاهیم پایه Multimodal AI، RAG و مهندسی کانتکست
اتصال به APIهای LLM مانند Mistral، Gemini، Open Router، Groq و Github
اتصال LLM به پایگاه داده برداری Pinecone
اتصال LLM به پایگاه داده برداری Chroma
اجرای جستجوی معنایی پایه
اجرای فیلترینگ متادیتا
اجرای بازیابی چند پرسوجویی
ساخت دستیار هوشمند تحلیل جلسات
ساخت دستیار ارزیابی قیمت املاک
ساخت دستیار بازرسی کیفیت مواد غذایی
طراحی و ساخت رابط کاربری با Gradio
مقدمهای بر دوره Introduction to the Course
-
مقدمه Introduction
-
سرفصلهای دوره Table of Contents
-
این دوره برای چه کسانی مناسب است؟ Whom This Course is Intended for?
ابزارها، IDE و مدلهای هوش مصنوعی Tools, IDE, and AI Models
-
ابزارها، IDE و مدلهای هوش مصنوعی Tools, IDE, and AI Models
آشنایی با هوش مصنوعی چندوجهی (Multimodal AI) Introduction to Multimodal AI
-
مقدمهای بر هوش مصنوعی چندوجهی Introduction to Multimodal AI
اتصال به API مدلهای زبانی بزرگ (LLM) Connecting to LLM API
-
نحوه اتصال به API مدلهای LLM Connecting to LLM API
اتصال LLM به پایگاه داده برداری Connecting LLM to Vector Database
-
اتصال LLM به پایگاه داده برداری Pinecone Connecting LLM to Pinecone Vector Database
-
اتصال LLM به پایگاه داده برداری Chroma Connecting LLM to Chroma Vector Database
اجرای جستجوی معنایی پایه Performing Basic Semantic Search
-
پیادهسازی جستجوی معنایی پایه Performing Basic Semantic Search
اجرای فیلترینگ متادیتا Performing Metadata Filtering
-
پیادهسازی فیلترینگ متادیتا Performing Metadata Filtering
اجرای بازیابی چند پرسوجویی Conducting Multi Query Retrieval
-
پیادهسازی بازیابی چند پرسوجویی Conducting Multi Query Retrieval
ساخت دستیار هوشمند تحلیل جلسات Building Meeting Intelligence Multimodal AI Assistant
-
تنظیم API Key مدل Mistral و ذخیره سیاستهای شرکتی در دیتابیس برداری Setting Up Mistral API Key & Storing Company Policy Data in Vector Database
-
ساخت سیستم چندوجهی برای تحلیل هوشمند جلسات Building Multimodal System for Meeting Intelligence
-
پیادهسازی مهندسی کانتکست و طراحی رابط کاربری تحلیل جلسات با Gradio Implementing Context Engineering & Building Meeting Intelligence UI with Gradio
ساخت دستیار ارزیابی قیمت املاک Building Real Estate Property Valuation Multimodal AI Assistant
-
تنظیم API Key مدل Gemini و ذخیره دادههای بازار املاک در دیتابیس برداری Setting Up Gemini API Key & Storing Real Estate Market Data in Vector Database
-
ساخت سیستم چندوجهی برای تحلیل هوشمند املاک Building Multimodal System for Property Intelligence
-
پیادهسازی مهندسی کانتکست و طراحی رابط کاربری تحلیل املاک با Gradio Implementing Context Engineering & Building Property Intelligence UI with Gradio
ساخت دستیار بازرسی کیفیت مواد غذایی Building Food Quality Inspection Multimodal AI Assistant
-
تنظیم API Key مدل Groq و ذخیره قوانین مواد غذایی در دیتابیس برداری Setting Up Groq API Key & Storing Food Regulation Data in Vector Database
-
ساخت سیستم چندوجهی برای کنترل کیفیت مواد غذایی Building Multimodal System for Food Quality Control
-
پیادهسازی مهندسی کانتکست و طراحی رابط کاربری کنترل کیفیت غذا با Gradio Implementing Context Engineering & Building Food Quality Control UI with Gradio
جمعبندی و نتیجهگیری Conclusion & Summary
-
جمعبندی و نتیجهگیری نهایی Conclusion & Summary
https://donyad.com/d/1ae159
Christ Raharja
مشاور سابق ریسک فناوری و علاقهمند به تجارت الکترونیک
نمایش نظرات