آموزش مقدمه‌ای بر هوش مصنوعی چندوجهی (Multimodal AI) با Hugging Face - آخرین آپدیت

مبانی چندوجهی و مدل‌های VLM Multimodal Foundations and VLMs

• خوش‌آمدگویی: از متن تنها تا هوش مصنوعی چندوجهی Welcome: From Text-Only to Multimodal AI

• نحوه هم‌ترازی تصاویر و متن توسط CLIP در یک فضای مشترک How CLIP Aligns Images and Text in a Shared Space

• پاسخ به سوالات بصری و کپشن‌نویسی تصاویر با VLMها Visual Question Answering and Image Captioning with VLMs

• هوش مصنوعی اسناد — OCR، تجزیه تحلیل Layout و استخراج ساختاریافته Document AI — OCR, Layout Parsing, and Structured Extraction

صوت، تولید تصویر و استراتژی‌های تطبیق Audio, Generation, and Adaptation Strategies

• تبدیل صوت به متن با Whisper Transcribing Audio with Whisper

• تولید تصویر از متن با Diffusers Generating Images from Text with Diffusers

• چه زمانی تنظیم دقیق کنیم و چه زمانی بازیابی کنیم — LoRA و RAG چندوجهی When to Fine-Tune vs. When to Retrieve — LoRA and Multimodal RAG

عامل‌ها، MCP و استفاده از ابزارها Agents, MCP, and Tool Use

• ساخت اولین عامل شما با smolagents Building Your First Agent with smolagents

• اتصال عامل‌ها به ابزارهای خارجی از طریق MCP Connecting Agents to External Tools via MCP

• عامل‌های مبتنی بر بینایی — اسکرین‌شات، استدلال، اقدام و تکرار Vision-Powered Agents — Screenshot, Reason, Act, Iterate

استقرار مسئولانه Responsible Deployment

• ریسک‌های امنیتی چندوجهی — چه مشکلاتی ممکن است پیش بیاید و چرا Multimodal Safety Risks — What Can Go Wrong and Why

• فیلترینگ با ShieldGemma 2 — امنیت ورودی و خروجی Filtering with ShieldGemma 2 — Input and Output Safety

• تست در برابر ورودی‌های متخاصم و مستندسازی حالت‌های شکست Testing Against Adversarial Inputs and Documenting Failure Modes

• آنچه می‌توانید ببینید، بسازید و با اطمینان منتشر کنید What You Can See, Build, and Ship Safely