آموزش سریع‌تر مدل‌های زبانی بزرگ - بررسی عمیق موازی‌سازی [ویدئویی] - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه و هدف این دوره چیست Introduction & What Is This Course About

• ساختار دوره Course Structure

• دمو - آنچه در این دوره خواهید ساخت DEMO - What You'll Build in This Course

استراتژی‌های موازی‌سازی LLMها - بررسی عمیق Strategies for Parallelizing LLMS - Deep Dive

• موازی‌سازی چیست و چرا اهمیت دارد What is Parallelism and Why it Matters

• درک استراتژی تک GPU Understanding the Single GPU Strategy

• درک استراتژی موازی و مزایای آن Understanding the Parallel Strategy and Advantages

• موازی‌سازی در مقابل تک GPU - جمع‌بندی Parallelism vs Single GPU - Summary

مفاهیم بنیادی IT IT Fundamental Concepts

• مبانی IT - مقدمه IT Fundamentals - Introduction

• مقدمه‌ای بر رایانش ابری و IT سنتی Introduction to Cloud Computing and Traditional IT

• کامپیوتر چیست - بررسی CPU و RAM What is a Computer - CPU and RAM Overview

• ذخیره‌سازی داده‌ها و سیستم‌های فایل Data Storage and File Systems

• ساختار سیستم فایل سیستم‌عامل OS File System Structure

• مقدمه‌ای بر شبکه محلی (LAN) LAN Introduction

• اینترنت چیست What is the Internet

• بررسی عمیق ارتباطات اینترنتی Internet Communication Deep Dive

• درک مفاهیم سرور و کلاینت Understanding Servers and Clients

• بررسی کلی GPUها GPUs - Overview

معماری GPU برای آموزش LLM - بررسی عمیق GPU Architecture for LLM Training Deep Dive

• معماری GPU برای آموزش LLM GPU Architecture for LLM Training

• چرا این معماری برتری دارد Why this Architecture Excels

یادگیری عمیق و یادگیری ماشین - بررسی عمیق Deep and Machine Learning - Deep Dive

• مقدمه‌ای بر یادگیری ماشین و یادگیری عمیق Machine and Deep Learning Introduction

• یادگیری عمیق و ماشین - بررسی کلی و تفکیک Deep and Machine Learning - Overview and Breakdown

• جنبه‌های کلیدی یادگیری عمیق Deep Learning Key Aspects

• شبکه‌های عصبی عمیق - بررسی عمیق Deep Neural Networks - Deep Dive

• محاسبات تک نورون - بررسی عمیق The Single Neuron Computation - Deep Dive

• وزن‌ها (Weights) Weights

• توابع فعال‌ساز - بررسی عمیق Activation Functions - Deep Dive

• یادگیری عمیق - جمع‌بندی Deep Learning - Summary

• مقدمه‌ای بر یادگیری ماشین - تفاوت ML و DL Machine Learning Introduction - ML vs DL

• انواع یادگیری و مثال مقایسه‌ای کامل ML و DL Learning Types and Full ML & DL Analogy Example

• مقایسه قابلیت‌های DL و ML - جمع‌بندی DL and ML Comparative Capabilities - Summary

مدل‌های زبانی بزرگ - مبانی هوش مصنوعی و LLMها Large Language Models - Fundamentals of AI and LLMs

• مقدمه Introduction

• مبانی معماری ترنسفورمر (Transformer) The Transformer Architecture Fundamentals

• مکانیزم خود-توجهی (Self Attention) - مثال مشابه The Self-Attention Mechanism - Analogy

• انیمیشن معماری ترنسفورمر The Transformer Architecture Animation

• کتابخانه Transformers - بررسی عمیق The Transformer Library - Deep Dive

مبانی محاسبات موازی و موازی‌سازی در آموزش LLM Parallel Computing Fundamentals & Parallelism in LLM Training

• مقدمه‌ای بر محاسبات موازی - مفاهیم کلیدی Parallel Computing Introduction - Key Concepts

• مبانی محاسبات موازی و قوانین مقیاس‌پذیری - بررسی عمیق Parallel Computing Fundamentals and Scaling Laws - Deep Dive

انواع موازی‌سازی در آموزش LLM - موازی‌سازی داده، مدل و ترکیبی Types of Parallelism in LLM Training - Data, Model, and Hybrid Parallelism

• انواع موازی‌سازی در آموزش LLM Types of Parallelism in LLM Training

• موازی‌سازی داده - نحوه عملکرد Data Parallelism - How It Works

• مزایای موازی‌سازی داده برای آموزش LLM Data Parallelism Advantages for LLM Training

• مثال واقعی - موازی‌سازی داده در آموزش GPT-3 Real-world Example - Data Parallelism in GPT-3 Training

• موازی‌سازی مدل، تنسور و لایه - بررسی عمیق Model Parallelism and Tensor Parallelism and Layer Parallelism - Deep Dive

• ارتباط با LLM و نحوه پیاده‌سازی LLM Relevance and Implementation

• موازی‌سازی مدل در مقابل داده Model vs Data Parallelism

• برجسته کردن تفاوت‌های کلیدی - داده در مقابل مدل Key Differences Highlighted - Data vs Model Parallelism

• موازی‌سازی داده در مقابل مدل Data vs Model Parallelism

• موازی‌سازی ترکیبی (Hybrid) - انیمیشن Hybrid Parallelism - Animation

• موازی‌سازی ترکیبی - چیست و انگیزه آن چیست Hybrid Parallelism - What is It and Motivation

انواع موازی‌سازی - موازی‌سازی خط لوله و تنسور Types of Parallelism - Pipeline and Tensor Parallelism

• بررسی کلی موازی‌سازی خط لوله (Pipeline) Pipeline Parallelism Overview

• مفاهیم کلیدی موازی‌سازی خط لوله و نحوه عملکرد - گام به گام Pipeline Parallelism Key Concepts and How it Works - Step by Step

• مفاهیم کلیدی حباب‌های خط لوله (Pipeline Bubbles) Pipeline Bubbles Key Concepts

• مفاهیم کلیدی زمان‌بندی خط لوله (Pipeline Schedules) Pipeline Schedules Key Concepts

• محاسبه مجدد فعال‌سازها (Activation Recomputation) - کلیات و مقدمه Activation Recomputation - Overview and Introduction

• شبکه عصبی، فعال‌ساز، پاس‌های رفت و برگشت - بررسی کامل Neural Network and Activation and Backward and Forward Passes - Full Dive

• درک محاسبه مجدد فعال‌ساز در مقابل آموزش استاندارد - بررسی عمیق Understanding Activation Recomputation vs Standard Training - Deep Dive

• دمو - بصری‌سازی محاسبه مجدد فعال‌سازها Demo - Activation Recomputation Visualization

• محاسبه مجدد فعال‌ساز در مقابل رویکرد استاندارد Activation Recomputation vs Standard Approach

• مزایای محاسبه مجدد فعال‌ساز و استراتژی‌های پیاده‌سازی Benefits of Activation Recomputation and Implementation Strategies

• چارچوب‌های پیاده‌سازی موازی‌سازی خط لوله و نکات کلیدی Pipeline Parallelism Implementation Frameworks and Key Takeaways

موازی‌سازی تنسور - بررسی عمیق Tensor Parallelism - Deep Dive

• موازی‌سازی تنسور چیست و مزایای آن چیست What is Tensor Parallelism and Why - Benefits

• مثال مشابه پیتزا برای درک موازی‌سازی تنسور Tensor Parallel Pizza Making Analogy

• تنسورها و استراتژی‌های افراز (Partitioning) - بررسی عمیق Tensors and Partitioning Strategies - Deep Dive

• الگوهای ارتباطی تنسور - بررسی عمیق Tensor Communication Patterns - Deep Dive

• الگوی ارتباطی Device Mesh - بررسی عمیق Device Mesh Communication Pattern - Deep Dive

• نحوه همکاری اجزا در آموزش توزیع‌شده LLM How Components Work Together in Distributed LLM Training

• درک موازی‌سازی تنسور با دمو انیمیشنی لگو Understanding Tensor Parallelism with LEGO Bricks Animation Demo

• جمع‌بندی نهایی - تمامی استراتژی‌ها در آموزش LLM Putting it All Together - All Strategies in LLM Training

بخش عملی: استراتژی‌های موازی‌سازی - بررسی عمیق موازی‌سازی داده HANDS-ON: Strategies for Parallelism - Data Parallelism Deep Dive

• استراتژی‌های موازی‌سازی LLM - مقدمه عملی Strategies for Parallelizing LLMs - Hands-on Introduction

• PyTorch - بررسی کلی کتابخانه آموزش LLM Pytorch - LLM Training Library Overview

• کتابخانه Transformers - بررسی کلی The Transformers Library - Overview

• بررسی کلی Numpy Numpy Overview

• بررسی کلی TorchVision و TorchDistributed TorchVision and TorchDistributed Overview

• بررسی کلی DeepSpeed و Megatron LM DeepSpeed and Megatron-LM - Overview

• مجموعه‌داده‌ها و علت استفاده از این ابزارها Datasets and Why this Toolkit

• بخش عملی: موازی‌سازی داده - آموزش مدل کوچک - مجموعه‌داده MNIST HANDS-On: Data Parallelism - Training a Small Model - MNIST Dataset

• تست مدل آموزش دیده با موازی‌سازی داده مجازی (Pseudo) Testing Pseudo Data Parallelism Trained Model

• بخش عملی: موازی‌سازی داده - دمو کامل در Colab HANDS-ON: Data Parallelism - Colab - Full Demo

• موازی‌سازی داده - نکات شبیه‌سازی موازی‌سازی روی GPU Data Parallelism - Simulated Parallelism on GPU Takeaways

بخش عملی: موازی‌سازی داده با مجموعه‌داده WikiText و بهینه‌سازی حافظه DeepSpeed HANDS-ON: Data Parallelism w/ WikiText Dataset & DeepSpeed Mem. Optimization

• بخش عملی: موازی‌سازی داده - مجموعه‌داده Wikitext 2 Hands-on: Data Parallelism - Wikitext-2 Dataset

• DeepSpeed - بررسی کامل DeepSpeed - Full Dive

• بخش عملی: موازی‌سازی داده با بهینه‌سازی DeepSpeed Hands-on: Data Parallelism with DeepSpeed Optimization

اجرای موازی‌سازی واقعی روی سیستم‌های چند GPU - Runpod.io Running TRUE Parallelism on Multiple GPU Systems - Runpod.io

• بررسی کلی محیط Runpod.io و راه‌اندازی Setup Runpod.io Environment Overview

• تنظیمات SSH در Runpod Runpod SSH Setup

• راه‌اندازی موازی‌سازی Runpod در JupyterNotebook Setting up Runpod Parallelism in JupyterNotebook

• بخش عملی: موازی‌سازی با مجموعه‌داده IMDB - بررسی عمیق موازی‌سازی واقعی HANDS-ON - Parallelism with IMDB Dataset - Deep Dive - True Parallelism

• پاک‌سازی محیط Runpod Runpod Cleanup

تحمل خطا، مقیاس‌پذیری و استراتژی‌های پیشرفته Checkpointing - بررسی عمیق Fault Tolerance and Scalability & Advanced Checkpointing Strategies - Deep Dive

• مقدمه‌ای بر تحمل خطا و انواع خرابی‌ها در آموزش توزیع‌شده LLM Fault Tolerance Introduction & Types of Failures in Distributed LLM Training

• استراتژی‌های تحمل خطا Strategies for Fault Tolerance

• ذخیره‌سازی نقاط بازگشت (Checkpointing) در آموزش LLM - انیمیشن Checkpointing in LLM Training - Animation

• Checkpointing پایه در آموزش LLM Basic Checkpointing in LLM Training

• Checkpointing افزایشی (Incremental) در آموزش LLM Incremental Checkpointing in LLM Training

• Checkpointing ناهمگام (Asynchronous) در آموزش LLM Asynchronous Checkpointing in LLM Training

• Checkpointing چندسطحی در آموزش LLM - انیمیشن Multi-level Checkpointing in LLM Training - Animation

• ملاحظات ذخیره‌سازی Checkpoint - بررسی عمیق Checkpoint Storage Considerations - Deep Dive

• پیاده‌سازی رویکرد ترکیبی - عملکرد، خطا و بهینه‌سازی‌ها - بررسی کامل Implementing a Hybrid Approach - Performance, Failure, Optimizations - Full Dive

• استراتژی ذخیره‌سازی Checkpoint - جمع‌بندی Checkpoint Storage Strategy - Summary

مباحث پیشرفته و روندهای نوظهور Advanced Topics and Emerging Trends

• مباحث پیشرفته و روندهای نوظهور Advanced Topics and Emerging Trends

جمع‌بندی و گام‌های بعدی Wrap up and Next Steps

• خلاصه دوره و گام‌های بعدی Course Summary and Next Steps