آموزش معماری‌های ترنسفورمر و مدل‌های چندوجهی (Multimodal) - آخرین آپدیت

مدل‌های متوالی و مبانی توجه Sequence Models and Attention Foundations

• معرفی تخصص Specialization Introduction

• معرفی دوره Course Introduction

• شبکه‌های عصبی بازگشتی و پس‌انتشار (Backpropagation) Recurrent Neural Networks and Backpropagation

• دمو: گذر پیشرو در RNNها Demonstration: Forward Pass in RNNs

• دمو: نمایش محو شدن گرادیان در RNN Demonstration: Vanishing Gradient Illustration in RNN

• LSTM و GRU: معماری‌های گیت‌دار LSTM and GRU: Gated Architectures

• دمو: شبکه‌های LSTM برای مدل‌سازی متوالی Demonstration: LSTM Networks for Sequence Modeling

• دمو: مدل‌سازی متوالی مبتنی بر GRU Demonstration: GRU Based Sequence Modeling

• توضیح توجه به خود (Self Attention) و توجه چندسره Self-Attention and Multi-Head Attention Explained

• دمو: توجه چندسره در ترنسفورمر Demonstration: Multi-Head Attention in Transformer

• دمو: تحلیل مشارکت هدها (Head Contribution) Demonstration : Head Contribution Analysis

معماری‌های کامل ترنسفورمر Complete Transformer Architectures

• معماری رمزگذار (Encoder) و رمزگشا (Decoder) Encoder and Decoder Architecture

• دمو: گذر پیشرو در رمزگذارهای ترنسفورمر: مبانی توجه Demonstration: Encoder Forward Pass in Transformer Encoders: Attention Foundations

• دمو: گذر پیشرو در رمزگذارهای ترنسفورمر: پشته رمزگذار Demonstration: Encoder Forward Pass in Transformer Encoders: Encoder Stack

• دمو: رمزگشایی خودبازگشتی در رمزگشاهای ترنسفورمر: اجزای اصلی Demonstration: Autoregressive Decoding in Transformer Decoders: Core Components

• دمو: رمزگشایی خودبازگشتی در رمزگشاهای ترنسفورمر: تولید خودبازگشتی Demonstration: Autoregressive Decoding in Transformer Decoders: Autoregressive Generation

• کدگذاری‌های سینوسی و RoPE Sinusoidal and RoPE Encodings

• دمو: پیاده‌سازی RoPE Demonstration: RoPE Implementation

• دمو: مقایسه کدگذاری: مکانیزم کدگذاری موقعیتی Demonstration: Encoding Comparison: Positional Encoding Mechanism

• دمو: مقایسه کدگذاری: تحلیل تأثیر کدگذاری Demonstration: Encoding Comparison: Encoding Impact Analysis

• Flash Attention، GQA و MoE Flash Attention GQA and MoE

• دمو: توجه بهینه از نظر حافظه: خط پایه توجه استاندارد Demonstration: Memory Efficient Attention: Standard Attention Baseline

• دمو: توجه بهینه از نظر حافظه: توجه بهینه‌شده Demonstration: Memory Efficient Attention: Optimized Attention

• دمو: بصری‌سازی مسیریابی خبره: مسیریابی توکن به خبره Demonstration: Expert Routing Visualization: Token to Expert Routing

• دمو: بصری‌سازی مسیریابی خبره: ظرفیت و توازن بار Demonstration: Expert Routing Visualization: Capacity and Load Balancing

مدل‌های چندوجهی و مبتنی بر شباهت Multimodal and Similarity-Based Models

• ترنسفورمرهای بینایی و یادگیری چندوجهی Vision Transformers and Multimodal Learning

• دمو: تراز کردن تعبیه تصویر و متن: محاسبه شباهت Demonstration: Image and Text Embedding Alignment: Similarity Computation

• دمو: تراز کردن تعبیه تصویر و متن: بصری‌سازی بازیابی Demonstration: Image and Text Embedding Alignment: Retrieval Visualization

• دمو: تحلیل نمایش چندوجهی: ارزیابی شباهت Demonstration: Multimodal Representation Analysis: Similarity Evaluation

• دمو: تحلیل نمایش چندوجهی: هندسه نمایش Demonstration: Multimodal Representation Analysis: Representation Geometry

• تعبیه‌های متنی و یادگیری شباهت Text Embeddings and Similarity Learning

• دمو: شباهت معنایی متن: محاسبه و تحلیل نقشه گرمایی Demonstration: Semantic Text Similarity: Computation and Heatmap Analysis

• دمو: شباهت معنایی متن: هندسه فضای تعبیه Demonstration: Semantic Text Similarity: Embedding Space Geometry

• دمو: معیارهای فاصله تعبیه: مبانی شباهت Demonstration: Embedding Distance Metrics: Similarity Foundations

• دمو: معیارهای فاصله تعبیه: بصری‌سازی و تحلیل رتبه‌بندی Demonstration: Embedding Distance Metrics: Visualizing and Ranking Analysis

• آموزش توزیع‌شده ترنسفورمر Distributed Transformer Training

• دمو: تنظیمات آموزش مدل‌های بزرگ: تنظیمات معماری Demonstration: Large Model Training Setup: Architecture Setup

• دمو: تنظیمات آموزش مدل‌های بزرگ: آموزش و بهینه‌سازی Demonstration: Large Model Training Setup: Training and Optimisation

• دمو: بهینه‌سازی مصرف حافظه: تنظیمات مدل Demonstration: Memory Usage Optimization: Model Setup

• دمو: بهینه‌سازی مصرف حافظه: بنچ‌مارک و مقایسه Demonstration: Memory Usage Optimization: Benchmark and Comparison

جمع‌بندی دوره Course Wrap-Up

• خلاصه دوره Course Summary