آموزش سریع‌تر مدل‌های زبانی بزرگ - بررسی عمیق موازی‌سازی - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه و هدف این دوره چیست Introduction & What Is This Course About

• ساختار دوره Course Structure

• دمو: آنچه در این دوره خواهید ساخت DEMO - What You'll Build in This Course

استراتژی‌های موازی‌سازی LLMها - بررسی عمیق Strategies for Parallelizing LLMS - Deep Dive

• موازی‌سازی چیست و چرا اهمیت دارد What is Parallelism and Why it Matters

• درک استراتژی تک GPU Understanding the Single GPU Strategy

• درک استراتژی موازی و مزایای آن Understanding the Parallel Strategy and Advantages

• موازی‌سازی در مقابل تک GPU - جمع‌بندی Parallelism vs Single GPU - Summary

مفاهیم بنیادی IT IT Fundamental Concepts

• مبانی IT - مقدمه IT Fundamentals - Introduction

• مقدمه‌ای بر رایانش ابری و IT سنتی Introduction to Cloud Computing and Traditional IT

• کامپیوتر چیست - بررسی اجمالی CPU و RAM What is a Computer - CPU and RAM Overview

• ذخیره‌سازی داده‌ها و سیستم‌های فایل Data Storage and File Systems

• ساختار سیستم فایل سیستم‌عامل OS File System Structure

• مقدمه‌ای بر LAN LAN Introduction

• اینترنت چیست What is the Internet

• بررسی عمیق ارتباطات اینترنتی Internet Communication Deep Dive

• درک سرورها و کلاینت‌ها Understanding Servers and Clients

• بررسی اجمالی GPUها GPUs - Overview

معماری GPU برای آموزش LLM - بررسی عمیق GPU Architecture for LLM Training Deep Dive

• معماری GPU برای آموزش LLM GPU Architecture for LLM Training

• چرا این معماری برتر است Why this Architecture Excels

یادگیری عمیق و یادگیری ماشین - بررسی عمیق Deep and Machine Learning - Deep Dive

• مقدمه‌ای بر یادگیری ماشین و یادگیری عمیق Machine and Deep Learning Introduction

• یادگیری عمیق و ماشین - بررسی اجمالی و تجزیه Deep and Machine Learning - Overview and Breakdown

• جنبه‌های کلیدی یادگیری عمیق Deep Learning Key Aspects

• شبکه‌های عصبی عمیق - بررسی عمیق Deep Neural Networks - Deep Dive

• محاسبات تک نورون - بررسی عمیق The Single Neuron Computation - Deep Dive

• وزن‌ها (Weights) Weights

• توابع فعال‌ساز - بررسی عمیق Activation Functions - Deep Dive

• یادگیری عمیق - جمع‌بندی Deep Learning - Summary

• مقدمه یادگیری ماشین - ML در مقابل DL Machine Learning Introduction - ML vs DL

• انواع یادگیری و مثال مشابهت کامل ML و DL Learning Types and Full ML & DL Analogy Example

• مقایسه قابلیت‌های DL و ML - جمع‌بندی DL and ML Comparative Capabilities - Summary

مدل‌های زبانی بزرگ - مبانی هوش مصنوعی و LLMها Large Language Models - Fundamentals of AI and LLMs

• مقدمه Introduction

• مبانی معماری ترنسفورمر (Transformer) The Transformer Architecture Fundamentals

• مکانیزم Self Attention - مثال مشابهت The Self-Attention Mechanism - Analogy

• انیمیشن معماری ترنسفورمر The Transformer Architecture Animation

• کتابخانه Transformers - بررسی عمیق The Transformer Library - Deep Dive

مبانی محاسبات موازی و موازی‌سازی در آموزش LLM Parallel Computing Fundamentals & Parallelism in LLM Training

• مقدمه محاسبات موازی - مفاهیم کلیدی Parallel Computing Introduction - Key Concepts

• مبانی محاسبات موازی و قوانین مقیاس‌پذیری - بررسی عمیق Parallel Computing Fundamentals and Scaling Laws - Deep Dive

انواع موازی‌سازی در آموزش LLM - موازی‌سازی داده، مدل و ترکیبی Types of Parallelism in LLM Training - Data, Model, and Hybrid Parallelism

• انواع موازی‌سازی در آموزش LLM Types of Parallelism in LLM Training

• موازی‌سازی داده‌ها - نحوه عملکرد Data Parallelism - How It Works

• مزایای موازی‌سازی داده‌ها برای آموزش LLM Data Parallelism Advantages for LLM Training

• مثال واقعی - موازی‌سازی داده‌ها در آموزش GPT-3 Real-world Example - Data Parallelism in GPT-3 Training

• موازی‌سازی مدل، تنسور و لایه - بررسی عمیق Model Parallelism and Tensor Parallelism and Layer Parallelism - Deep Dive

• ارتباط با LLM و پیاده‌سازی LLM Relevance and Implementation

• موازی‌سازی مدل در مقابل موازی‌سازی داده Model vs Data Parallelism

• برجسته‌سازی تفاوت‌های کلیدی - داده در مقابل مدل Key Differences Highlighted - Data vs Model Parallelism

• مقایسه موازی‌سازی داده و مدل Data vs Model Parallelism

• موازی‌سازی ترکیبی - انیمیشن Hybrid Parallelism - Animation

• موازی‌سازی ترکیبی - چیست و انگیزه آن چیست Hybrid Parallelism - What is It and Motivation

انواع موازی‌سازی - موازی‌سازی خط لوله (Pipeline) و تنسور Types of Parallelism - Pipeline and Tensor Parallelism

• بررسی اجمالی موازی‌سازی خط لوله (Pipeline) Pipeline Parallelism Overview

• مفاهیم کلیدی موازی‌سازی خط لوله و نحوه عملکرد - گام به گام Pipeline Parallelism Key Concepts and How it Works - Step by Step

• مفاهیم کلیدی حباب‌های خط لوله (Pipeline Bubbles) Pipeline Bubbles Key Concepts

• مفاهیم کلیدی زمان‌بندی خط لوله Pipeline Schedules Key Concepts

• محاسبه مجدد فعال‌سازها (Activation Recomputation) - مقدمه Activation Recomputation - Overview and Introduction

• شبکه عصبی، فعال‌سازها، پاس‌های رفت و برگشت - بررسی کامل Neural Network and Activation and Backward and Forward Passes - Full Dive

• درک محاسبه مجدد فعال‌سازها در مقابل آموزش استاندارد - بررسی عمیق Understanding Activation Recomputation vs Standard Training - Deep Dive

• دمو - بصری‌سازی محاسبه مجدد فعال‌سازها Demo - Activation Recomputation Visualization

• محاسبه مجدد فعال‌سازها در مقابل روش استاندارد Activation Recomputation vs Standard Approach

• مزایای محاسبه مجدد فعال‌سازها و استراتژی‌های پیاده‌سازی Benefits of Activation Recomputation and Implementation Strategies

• چارچوب‌های پیاده‌سازی موازی‌سازی خط لوله و نکات کلیدی Pipeline Parallelism Implementation Frameworks and Key Takeaways

موازی‌سازی تنسور - بررسی عمیق Tensor Parallelism - Deep Dive

• موازی‌سازی تنسور چیست و مزایای آن What is Tensor Parallelism and Why - Benefits

• مثال مشابهت پیتزا برای موازی‌سازی تنسور Tensor Parallel Pizza Making Analogy

• تنسورها و استراتژی‌های افراز - بررسی عمیق Tensors and Partitioning Strategies - Deep Dive

• الگوهای ارتباطی تنسور - بررسی عمیق Tensor Communication Patterns - Deep Dive

• الگوی ارتباطی Device Mesh - بررسی عمیق Device Mesh Communication Pattern - Deep Dive

• نحوه همکاری اجزاء در آموزش توزیع‌شده LLM How Components Work Together in Distributed LLM Training

• درک موازی‌سازی تنسور با دمو انیمیشن لگو Understanding Tensor Parallelism with LEGO Bricks Animation Demo

• جمع‌بندی نهایی - تمام استراتژی‌ها در آموزش LLM Putting it All Together - All Strategies in LLM Training

کارگاه عملی: استراتژی‌های موازی‌سازی - بررسی عمیق موازی‌سازی داده‌ها HANDS-ON: Strategies for Parallelism - Data Parallelism Deep Dive

• استراتژی‌های موازی‌سازی LLM - مقدمه عملی Strategies for Parallelizing LLMs - Hands-on Introduction

• Pytorch - بررسی اجمالی کتابخانه آموزش LLM Pytorch - LLM Training Library Overview

• بررسی اجمالی کتابخانه Transformers The Transformers Library - Overview

• بررسی اجمالی Numpy Numpy Overview

• بررسی اجمالی TorchVision و TorchDistributed TorchVision and TorchDistributed Overview

• بررسی اجمالی DeepSpeed و Megatron LM DeepSpeed and Megatron-LM - Overview

• مجموعه‌داده‌ها و دلیل استفاده از این ابزارها Datasets and Why this Toolkit

• کارگاه عملی: موازی‌سازی داده‌ها - آموزش مدل کوچک با مجموعه داده MNIST HANDS-On: Data Parallelism - Training a Small Model - MNIST Dataset

• تست مدل آموزش دیده با موازی‌سازی داده‌های مجازی Testing Pseudo Data Parallelism Trained Model

• کارگاه عملی: موازی‌سازی داده‌ها در Colab - دمو کامل HANDS-ON: Data Parallelism - Colab - Full Demo

• موازی‌سازی داده‌ها - نکات شبیه‌سازی موازی‌سازی روی GPU Data Parallelism - Simulated Parallelism on GPU Takeaways

کارگاه عملی: موازی‌سازی داده‌ها با مجموعه داده WikiText و بهینه‌سازی حافظه DeepSpeed HANDS-ON: Data Parallelism w/ WikiText Dataset & DeepSpeed Mem. Optimization

• کارگاه عملی: موازی‌سازی داده‌ها با مجموعه داده Wikitext 2 Hands-on: Data Parallelism - Wikitext-2 Dataset

• DeepSpeed - بررسی کامل DeepSpeed - Full Dive

• کارگاه عملی: موازی‌سازی داده‌ها با بهینه‌سازی DeepSpeed Hands-on: Data Parallelism with DeepSpeed Optimization

اجرای موازی‌سازی واقعی روی سیستم‌های چند GPU - Runpod.io Running TRUE Parallelism on Multiple GPU Systems - Runpod.io

• بررسی اجمالی تنظیمات محیط Runpod.io Setup Runpod.io Environment Overview

• تنظیمات SSH در Runpod Runpod SSH Setup

• تنظیم موازی‌سازی Runpod در JupyterNotebook Setting up Runpod Parallelism in JupyterNotebook

• کارگاه عملی: موازی‌سازی با مجموعه داده IMDB - بررسی عمیق موازی‌سازی واقعی HANDS-ON - Parallelism with IMDB Dataset - Deep Dive - True Parallelism

• پاک‌سازی محیط Runpod Runpod Cleanup

تحمل خطا، مقیاس‌پذیری و استراتژی‌های پیشرفته Checkpointing - بررسی عمیق Fault Tolerance and Scalability & Advanced Checkpointing Strategies - Deep Dive

• مقدمه تحمل خطا و انواع خرابی‌ها در آموزش توزیع‌شده LLM Fault Tolerance Introduction & Types of Failures in Distributed LLM Training

• استراتژی‌های تحمل خطا Strategies for Fault Tolerance

• ذخیره‌سازی (Checkpointing) در آموزش LLM - انیمیشن Checkpointing in LLM Training - Animation

• ذخیره‌سازی پایه در آموزش LLM Basic Checkpointing in LLM Training

• ذخیره‌سازی افزایشی در آموزش LLM Incremental Checkpointing in LLM Training

• ذخیره‌سازی ناهمگام در آموزش LLM Asynchronous Checkpointing in LLM Training

• ذخیره‌سازی چندسطحی در آموزش LLM - انیمیشن Multi-level Checkpointing in LLM Training - Animation

• ملاحظات ذخیره‌سازی Checkpoint - بررسی عمیق Checkpoint Storage Considerations - Deep Dive

• پیاده‌سازی رویکرد ترکیبی - عملکرد، خرابی و بهینه‌سازی‌ها - بررسی کامل Implementing a Hybrid Approach - Performance, Failure, Optimizations - Full Dive

• استراتژی ذخیره‌سازی Checkpoint - جمع‌بندی Checkpoint Storage Strategy - Summary

مباحث پیشرفته و روندهای نوظهور Advanced Topics and Emerging Trends

• مباحث پیشرفته و روندهای نوظهور Advanced Topics and Emerging Trends

جمع‌بندی و گام‌های بعدی Wrap up and Next Steps

• جمع‌بندی دوره و گام‌های بعدی Course Summary and Next Steps