آموزش مقیاس‌بندی مدل‌های هوش مصنوعی با Mixture of Experts (MoE): اصول طراحی و کاربردهای عملی - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقیاس‌بندی مدل‌های هوش مصنوعی با Mixture of Experts (MoE) Scaling AI models with mixture of experts (MoE)

1. آشنایی با Mixture of Experts (MoE) 1. Introduction to Mixture of Experts (MoE)

• MoE چیست؟ What is MoE?

• نکات نهایی Final thoughts

• چالش‌های MoE The challenges of MoE

• اما چرا MoE؟ Why MoE, though?

2. تحلیل ساختار معماری MoE 2. MoE Architecture Breakdown

• توازن‌های مسیریابی، بخش اول Routing trade-offs, part 1

• انواع معماری‌های MoE Types of MoE architectures

• تنظیم دستورالعمل‌ها در MoE Instruction-tuning MoE

• مکانیزم‌های گیتینگ، بخش دوم Gating mechanisms, part 2

• مقدمه‌ای بر معماری MoE Intro to MoE architecture

• اجزای تشکیل‌دهنده MoE MoE components

• توازن‌های مسیریابی، بخش دوم Routing trade-offs, part 2

• بهینه‌سازی (Fine-tuning) مدل‌های MoE Fine-tuning MoEs

• نکات نهایی درباره معماری MoE Final thoughts on MoE architecture

• مکانیزم‌های گیتینگ، بخش اول Gating mechanisms, part 1

3. پیاده‌سازی عملی MoE 3. Hands-On MoE Implementation

• پیاده‌سازی پایه MoE، بخش اول Basic implementation of MoE, part 1

• معرفی متعادل‌سازی بار (Load Balancing) Introducing load balancing

• پیاده‌سازی پایه MoE، بخش دوم Basic implementation of MoE, part 2

• MoE سلسله‌مراتبی: تمرین عملی Hierarchical MoE: Hands-on

4. کاربردها و آینده MoE 4. Applications and Future of MoE

• سیستم FedMoE FedMoE

• مدل Google GateM2Former Google GateM2Former

• MoE فدرال Federated MoE

• مقدمه‌ای بر کاربردهای MoE Introduction to MoE applications

• سیستم FedMoE DA FedMoE-DA

• مدل SwiftMoE SwiftMoE

• مدل Adap MoE Adap-MoE

• مدل UniMoE UniMoE

• مدل‌های MoE تطبیقی Adaptive MoEs

• مدل‌های MoE چندوجهی (Multimodal) Multimodal MoEs

جمع‌بندی Conclusion

• گام‌های بعدی در مسیر یادگیری MoE Next steps in your MoE journey