آموزش عامل‌های چندوجهی با مدل‌های بینایی-زبانی (VLM) - آخرین آپدیت

دانلود Multimodal Agents with Vision Language Models

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره: این دوره آموزشی به بررسی مدل‌های بینایی-زبانی و هماهنگی بین عامل‌های چندگانه می‌پردازد: اینکه چگونه عامل‌ها تصاویر را در کنار متن تفسیر می‌کنند و وظایف را بین خود تقسیم می‌کنند. این ترکیب، قابلیت‌های یک عامل هوشمند را فراتر از ورودی‌های تک‌بعدی می‌برد. شما بررسی خواهید کرد که مدل‌های بینایی-زبانی مانند CLIP، BLIP و LLaVA چگونه تصاویر را با متن هم‌تراز می‌کنند و از این امبدینگ‌ها برای ساخت یک سیستم جستجوی چندوجهی استفاده می‌نمایید. سپس یک خط لوله RAG چندوجهی طراحی می‌کنید که قادر است به سوالات مربوط به نمودارها و جداول درون اسناد PDF (جایی که بازیابی متنی ساده شکست می‌خورد) پاسخ دهد. دوره با مبحث ارکستراسیون به پایان می‌رسد: الگوهای برنامه‌ریز (Planner)، اجراکننده (Executor) و منتقد (Critic) که وظایف پیچیده را به مراحل کوچک‌تر تقسیم می‌کنند، طراحی طرحواره‌های ابزار مطمئن با مدیریت خطا، و سیستم‌های همکاری چند-عاملی که در آن عامل‌های متخصص، بافتار (Context) را بین یکدیگر منتقل می‌کنند. در پایان این دوره، شما قادر خواهید بود: - نحوه هم‌ترازی نمایش‌های تصویر و متن در مدل‌های بینایی-زبانی را توضیح دهید. - یک سیستم جستجوی چندوجهی با استفاده از فضاهای امبدینگ مشترک بسازید. - یک خط لوله RAG چندوجهی برای اسناد حاوی نمودار پیاده‌سازی کنید. - الگوهای برنامه‌ریز، اجراکننده و منتقد را برای تجزیه وظایف پیچیده به کار ببرید. - فراخوانی ابزارها را با طرحواره‌های قابل اعتماد و مدیریت خطای دقیق اجرا کنید. - چندین عامل را از طریق نقش‌های تعریف شده، انتقال وظایف و بافتار مشترک هماهنگ کنید. این دوره برای یادگیرندگانی طراحی شده است که دوره‌های هوش مصنوعی چندوجهی و مبانی عامل‌های هوشمند را گذرانده‌اند. همین حالا ثبت‌نام کنید تا به عامل‌های خود قدرت بینایی، بازیابی پیشرفته و توانایی کار تیمی ببخشید.

سرفصل ها و درس ها

مبانی بینایی-زبانی و RAG چندوجهی Vision-Language Foundations and Multimodal RAG

  • مرور کلی تخصص Specialization Overview

  • معرفی دوره Course Introduction

  • مدل‌های بینایی-زبانی چگونه «می‌بینند» How Vision-Language Models "See"

  • چرا بازیابی برای عامل‌ها اهمیت دارد Why Retrieval Matters for Agents

  • تولید محتوای تقویت‌شده با بازیابی (RAG) چیست؟ What is Retrieval-Augmented Generation (RAG)?

  • دمو: دسته‌بندی تصاویر به روش Zero Shot Demonstration: Zero-Shot Image Classification

  • دمو: درک مفاهیم امبدینگ‌ها Demonstration: Understanding Embeddings

  • دمو: ساخت یک سیستم جستجوی چندوجهی ساده Demonstration: Building a Basic Multimodal Search System

  • دمو: ساخت خط لوله RAG چندوجهی برای پرسش و پاسخ اسناد Demonstration: Building a Multimodal RAG Pipeline for Document Q&A

  • دمو: استخراج اطلاعات از نمودارهای PDF با RAG چندوجهی Demonstration: Querying PDF Charts with Multimodal RAG

  • دمو: مقایسه خروجی‌های متنی خالص و چندوجهی Demonstration: Comparing Text-Only and Multimodal Outputs

معماری عامل‌ها و یکپارچه‌سازی ابزارها Agent Architectures and Tool Integration

  • الگوهای طراحی عامل Agent Design Patterns

  • طراحی طرحواره‌های ابزار قابل اعتماد Designing Reliable Tool Schemas

  • دمو: ساخت عامل برنامه‌ریز-اجراکننده Demonstration: Building a Planner-Executor Agent

  • دمو: ارکستراسیون ابزارهای متعدد Demonstration: Orchestrating Multiple Tools

  • دمو: ساخت عامل خلاصه‌ساز وب Demonstration: Building a Web Summarization Agent

  • دمو: ساخت عامل طراحی تبدیل تصویر به تصویر Demonstration: Creating an Image-to-Image Design Agent

همکاری عامل‌های چندگانه Multi-Agent Collaboration

  • الگوهای انتقال وظایف بین عامل‌ها Multi-Agent Handoff Patterns

  • دمو: ساخت سیستم همکاری دو-عاملی Demonstration: Building a Two-Agent Collaboration System

  • دمو: ساخت یک «تیم مارکتینگ» همکاری با عامل‌های AI Demonstration: Building a Collaborative "Marketing Team" with AI Agents

  • دمو: عیب‌یابی گفتگوهای چند-عاملی Demonstration: Debugging a Multi-Agent Conversation

  • دمو: خط لوله چندوجهی چند-عاملی Demonstration: Multimodal Multi-Agent Pipeline

  • جمع‌بندی دوره Course Summary

نمایش نظرات

آموزش عامل‌های چندوجهی با مدل‌های بینایی-زبانی (VLM)
جزییات دوره
5h 37m
23
(آخرین آپدیت)
37
- از 5
دارد
دارد
دارد
Chris Croft
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Chris Croft Chris Croft

مربی مدیریت، سخنران، نویسنده