کانال تلگرام پشتیبانی تلگرام شماره تماس پشتیبانی: 0930 395 3766
ورود ثبت نام

آموزش استراتژی‌های موازی‌سازی مدل‌های زبانی بزرگ (LLM) | کلاس تخصصی - آخرین آپدیت

دانلود Strategies for Parallelizing LLMs Masterclass

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:

آموزش موازی سازی LLM: مقیاس بندی مدل‌های زبانی بزرگ با DeepSpeed و سیستم‌های Multi-GPU

یاد بگیرید چگونه مدل‌های زبانی بزرگ (LLM) را با استفاده از موازی سازی و DeepSpeed در سیستم‌های Multi-GPU آموزش دهید. این آموزش جامع، راهنمای شما برای مقیاس‌بندی LLMها است.

آنچه در این دوره خواهید آموخت:

  • درک و پیاده‌سازی استراتژی‌های موازی سازی برای LLMها (موازی سازی داده، مدل، خط لوله و تانسور)
  • پیاده‌سازی آموزش توزیع شده با DeepSpeed
  • استقرار و مدیریت LLMها بر روی سیستم‌های Multi-GPU
  • بهبود تحمل خطا و مقیاس پذیری در آموزش LLM

چرا باید این دوره را بگذرانید؟

  • تمرکز عملی و تجربی: با پیاده‌سازی استراتژی‌های موازی سازی با DeepSpeed و استقرار بر روی سیستم‌های Multi-GPU، مهارت‌های دنیای واقعی را کسب کنید.
  • تحلیل عمیق جامع: هر بخش شامل توضیحات عمیق و مثال‌های عملی است که اطمینان می‌دهد هم "چرایی" و هم "چگونگی" موازی سازی LLM را درک می‌کنید.
  • راه حل‌های مقیاس‌پذیر: تکنیک‌هایی را برای آموزش کارآمد LLMها بیاموزید، چه با یک GPU واحد کار کنید و چه با یک خوشه توزیع شده.

این دوره برای چه کسانی مناسب است؟

  • مهندسان یادگیری ماشین و دانشمندان داده که به دنبال مقیاس بندی آموزش LLM هستند.
  • محققان هوش مصنوعی علاقه مند به محاسبات توزیع شده و استراتژی‌های موازی سازی.
  • توسعه دهندگان و مهندسانی که با سیستم‌های Multi-GPU کار می‌کنند و می‌خواهند عملکرد LLM را بهینه کنند.
  • هرکسی که درک اساسی از یادگیری عمیق و پایتون دارد و می‌خواهد بر تکنیک‌های پیشرفته آموزش LLM مسلط شود.

پیش نیازها:

  • دانش پایه برنامه نویسی پایتون و مفاهیم یادگیری عمیق.
  • آشنایی با PyTorch یا فریمورک‌های مشابه مفید است اما الزامی نیست.
  • دسترسی به یک محیط دارای GPU (مانند Google Colab) برای بخش‌های عملی - نگران نباشید، ما شما را در تنظیمات راهنمایی خواهیم کرد!

با این دوره، شما قادر خواهید بود مدل‌های زبانی بزرگ را با کارایی بالا و در مقیاس بزرگ آموزش دهید. همین حالا شروع کنید!

سرفصل ها و درس ها

مقدمه Introduction

  • مقدمه و این دوره درباره چیست Introduction & What Is This Course About

  • ساختار دوره Course Structure

  • دمو - چیزی که در این دوره خواهید ساخت DEMO - What You'll Build in This Course

کد منبع و منابع دوره Course Source Code and Resources

  • دریافت کد منبع Get Source Code

  • دریافت اسلایدهای دوره Get Course Slides

استراتژی های موازی سازی LLM ها - بررسی عمیق Strategies for Parallelizing LLMS - Deep Dive

  • موازی سازی چیست و چرا مهم است What is Parallelism and Why it Matters

  • درک استراتژی تک GPU Understanding the Single GPU Strategy

  • درک استراتژی موازی و مزایا Understanding the Parallel Strategy and Advantages

  • موازی سازی در مقابل تک GPU - خلاصه Parallelism vs Single GPU - Summary

مفاهیم اساسی فناوری اطلاعات IT Fundamental Concepts

  • مبانی فناوری اطلاعات - مقدمه IT Fundamentals - Introduction

  • کامپیوتر چیست - بررسی CPU و RAM What is a Computer - CPU and RAM Overview

  • ذخیره سازی داده و سیستم های فایل Data Storage and File Systems

  • ساختار سیستم فایل سیستم عامل OS File System Structure

  • مقدمه ای بر LAN LAN Introduction

  • اینترنت چیست What is the Internet

  • بررسی عمیق ارتباطات اینترنتی Internet Communication Deep Dive

  • درک سرورها و کلاینت ها Understanding Servers and Clients

  • GPU ها - بررسی اجمالی GPUs - Overview

معماری GPU برای آموزش LLM - بررسی عمیق GPU Architecture for LLM Training Deep Dive

  • معماری GPU برای آموزش LLM GPU Architecture for LLM Training

  • چرا این معماری برتر است Why this Architecture Excels

یادگیری عمیق و ماشین - بررسی عمیق Deep and Machine Learning - Deep Dive

  • مقدمه ای بر یادگیری ماشین و عمیق Machine and Deep Learning Introduction

  • یادگیری عمیق و ماشین - بررسی اجمالی و تفکیک Deep and Machine Learning - Overview and Breakdown

  • جنبه های کلیدی یادگیری عمیق Deep Learning Key Aspects

  • شبکه های عصبی عمیق - بررسی عمیق Deep Neural Networks - Deep Dive

  • محاسبه نورون تک - بررسی عمیق The Single Neuron Computation - Deep Dive

  • وزن ها Weights

  • توابع فعال سازی - بررسی عمیق Activation Functions - Deep Dive

  • یادگیری عمیق - خلاصه Deep Learning - Summary

  • مقدمه ای بر یادگیری ماشین - ML در مقابل DL Machine Learning Introduction - ML vs DL

  • انواع یادگیری و مثال قیاس کامل ML و DL Learning Types and Full ML & DL Analogy Example

  • قابلیت های مقایسه ای DL و ML - خلاصه DL and ML Comparative Capabilities - Summary

مدل های زبان بزرگ - مبانی هوش مصنوعی و LLM ها Large Language Models - Fundamentals of AI and LLMs

  • مقدمه Introduction

  • مبانی معماری ترانسفورمر The Transformer Architecture Fundamentals

  • مکانیسم خود توجهی - قیاس The Self-Attention Mechanism - Analogy

  • انیمیشن معماری ترانسفورمر The Transformer Architecture Animation

  • کتابخانه ترانسفورمر - بررسی عمیق The Transformer Library - Deep dive

مبانی محاسبات موازی و موازی سازی در آموزش LLM Parallel Computing Fundamentals & Parallelism in LLM Training

  • مقدمه ای بر محاسبات موازی - مفاهیم کلیدی Parallel Computing Introduction - Key Concepts

  • مبانی محاسبات موازی و قوانین مقیاس پذیری - بررسی عمیق Parallel Computing Fundamentals and Scaling Laws - Deep Dive

انواع موازی سازی در آموزش LLM - داده - مدل و موازی سازی ترکیبی Types of Parallelism in LLM Training - Data - Model and Hybrid Parallelism

  • انواع موازی سازی در آموزش LLM Types of Parallelism in LLM Training

  • موازی سازی داده - نحوه کارکرد Data Parallelism - How It Works

  • مزایای موازی سازی داده برای آموزش LLM Data Parallelism Advantages for LLM Training

  • مثال واقعی - موازی سازی داده در آموزش GPT-3 Real-world Example - Data Parallelism in GPT-3 Training

  • موازی سازی مدل و موازی سازی تانسور و موازی سازی لایه - بررسی عمیق Model Parallelism and Tensor Parallelism and Layer Parallelism - Deep Dive

  • ارتباط و پیاده سازی LLM LLM Relevance and Implementaion

  • موازی سازی مدل در مقابل داده Model vs Data Parallelism

  • تفاوت های کلیدی برجسته شده - موازی سازی داده در مقابل مدل Key Differences Highlighted - Data vs Model Parallelism

  • موازی سازی داده در مقابل مدل Data vs Model Parallelism

  • موازی سازی ترکیبی - انیمیشن Hybrid Parallelism - Animation

  • موازی سازی ترکیبی - چیست و انگیزه Hybrid Parallelism - What is It and Motivation

انواع موازی سازی - خط لوله و موازی سازی تانسور Types of Parallelism - Pipeline and Tensor Parallelism

  • بررسی اجمالی موازی سازی خط لوله Pipeline Parallelism Overview

  • مفاهیم کلیدی موازی سازی خط لوله و نحوه کارکرد آن - گام به گام Pipeline Parallelism Key Concepts and How it Works - Step by Step

  • مفاهیم کلیدی حباب های خط لوله Pipeline Bubbles Key Concepts

  • مفاهیم کلیدی برنامه های خط لوله Pipeline Schedules Key Concepts

  • محاسبه مجدد فعال سازی - بررسی اجمالی و مقدمه Activation Recomputation - Overview and Introduction

  • شبکه عصبی و فعال سازی و گذر رو به عقب و رو به جلو - بررسی کامل Neural Network and Activation and Backward and Forward Passes - Full Dive

  • درک محاسبه مجدد فعال سازی در مقابل آموزش استاندارد - بررسی عمیق Understanding Activation Recomputation vs Standard Training - Deep Dive

  • دمو - تجسم محاسبه مجدد فعال سازی Demo - Activation Recomputation Visualization

  • محاسبه مجدد فعال سازی در مقابل رویکرد استاندارد Activation Recomputation vs Standard Approach

  • مزایای محاسبه مجدد فعال سازی و استراتژی های پیاده سازی Benefits of Activation Recomputation and Implementation Strategies

  • چارچوب های پیاده سازی موازی سازی خط لوله و نکات کلیدی Pipeline Parallelism Implementation Frameworks and Key Takeaways

موازی سازی تانسور - بررسی عمیق Tensor Parallelism - Deep Dive

  • موازی سازی تانسور چیست و چرا - مزایا What is Tensor Parallelism and Why - Benefits

  • قیاس پخت پیتزا موازی سازی تانسور Tensor Parallel Pizza Making Analogy

  • تانسورها و استراتژی های تقسیم بندی - بررسی عمیق Tensors and Partitioning Strategies - Deep Dive

  • الگوهای ارتباط تانسور - بررسی عمیق Tensor Communication Patterns - Deep Dive

  • الگوی ارتباط مش دستگاه - بررسی عمیق Device Mesh Communication Pattern - Deep Dive

  • نحوه همکاری اجزا در آموزش LLM توزیع شده How Components Work Together in Distributed LLM Training

  • درک موازی سازی تانسور با دموی انیمیشن آجرهای LEGO Understanding Tensor Parallelism with LEGO Bricks Animation Demo

  • جمع بندی - همه استراتژی ها در آموزش LLM Putting it All Together - All Strategies in LLM Training

عملی: استراتژی های موازی سازی - بررسی عمیق موازی سازی داده HANDS-ON: Strategies for Parallelism - Data Parallelism Deep Dive

  • استراتژی های موازی سازی LLM ها - مقدمه عملی Strategies for Parallelizing LLMs - Hands- on Introduction

  • Pytorch - بررسی اجمالی کتابخانه آموزش LLM Pytorch - LLM Training Library Overview

  • کتابخانه Transformers - بررسی اجمالی The Transformers Library - Overview

  • بررسی اجمالی Numpy Numpy Overview

  • بررسی اجمالی TorchVision و TorchDistributed TorchVision and TorchDistributed Overview

  • DeepSpeed و Megatron-LM - بررسی اجمالی DeepSpeed and Megatron-LM - Overview

  • مجموعه داده ها و چرا این ابزار Datasets and Why this Toolkit

  • عملی: موازی سازی داده - آموزش یک مدل کوچک - مجموعه داده MNIST HANDS-On: Data Parallelism - Training a Small Model - MNIST Dataset

  • تست مدل آموزش داده شده موازی سازی داده شبه Testing Pseudo Data Parallelism Trained Model

  • عملی: موازی سازی داده - Colab - دمو کامل HANDS-ON: Data Parallelism - Colab - Full Demo

  • موازی سازی داده - برداشت های موازی سازی شبیه سازی شده بر روی GPU Data Parallelism - Simulated Parallelism on GPU Takeaways

عملی: موازی سازی داده با مجموعه داده WikiText و بهینه سازی حافظه DeepSpeed HANDS-ON: Data Parallelism w/ WikiText Dataset & DeepSpeed Mem. Optimizatization

  • عملی: موازی سازی داده - مجموعه داده Wikitext-2 Hands-on: Data Parallelism - Wikitext-2 Dataset

  • DeepSpeed - بررسی کامل DeepSpeed - Full Dive

  • عملی: موازی سازی داده با بهینه سازی DeepSpeed Hands-on: Data Parallelism with DeepSpeed Optimization

اجرای موازی سازی واقعی روی سیستم های GPU چندگانه - Runpod.io Running TRUE Parallelism on Multiple GPU Systems - Runpod.io

  • بررسی اجمالی تنظیم محیط Runpod.io Setup Runpod.io Environment Overview

  • تنظیم SSH Runpod Runpod SSH Setup

  • تنظیم موازی سازی Runpod در JupyterNotebook Setting up Runpod Parallelism in JupyterNotebook

  • عملی - موازی سازی با مجموعه داده IMDB - بررسی عمیق - موازی سازی واقعی HANDS-ON - Parallelism with IMDB Dataset - Deep Dive - True Parallelism

  • پاکسازی Runpod Runpod Cleanup

تحمل خطا و مقیاس پذیری و استراتژی های پیشرفته Checkpointing - بررسی عمیق Fault Tolerance and Scalability & Advanced Checkpointing Strategies - Deep Dive

  • مقدمه ای بر تحمل خطا و انواع خرابی ها در آموزش LLM توزیع شده Fault Tolerance Introduction & Types of Failures in Distributed LLM Training

  • استراتژی های تحمل خطا Strategies for Fault Tolerance

  • Checkpointing در آموزش LLM - انیمیشن Checkpointing in LLM Training - Animation

  • Checkpointing اولیه در آموزش LLM Basic Checkpointing in LLM Taining

  • Checkpointing افزایشی در آموزش LLM Incremental Checkpointing in LLM Training

  • Checkpointing ناهمزمان در آموزش LLM Asynchronous Checkpointing in LLM Training

  • Checkpointing چند سطحی در آموزش LLM - انیمیشن Multi-level Checkpointing in LLM Training - Animation

  • ملاحظات ذخیره سازی Checkpoint - بررسی عمیق Checkpoint Storage Considerations - Deep Dive

  • پیاده سازی یک رویکرد ترکیبی - عملکرد، خرابی، بهینه سازی ها - بررسی کامل Implementing a Hybrid Approach - Performance, Failure, Optimizations - Full Dive

  • استراتژی ذخیره سازی Checkpoint - خلاصه Checkpoint Storage Strategy - Summary

موضوعات پیشرفته و روندهای نوظهور Advanced Topics and Emerging Trends

  • موضوعات پیشرفته و روندهای نوظهور Advanced Topics and Emerging Trends

جمع بندی و گام های بعدی Wrap up and Next Steps

  • خلاصه دوره و گام های بعدی Course Summary and Next Steps

آموزش ساخت یک دونده بی‌پایان سه‌بعدی از پایه - سازگار با Unity 6

آموزش ساخت یک دونده بی‌پایان سه‌بعدی از پایه - سازگار با Unity 6

دانلود Create a 3D Endless Runner from Scratch - Unity 6 Compatible

آموزش مذاکره با چابکی

آموزش مذاکره با چابکی

دانلود Negotiating with Agility

آموزش گل های تابستانی غنی شروع آسان آبرنگ!

آموزش گل های تابستانی غنی شروع آسان آبرنگ!

Rich Summer Flowers. Easy Watercolor Start!

نمایش نظرات

آموزش استراتژی‌های موازی‌سازی مدل‌های زبانی بزرگ (LLM) | کلاس تخصصی
جزییات دوره
8.5 hours
99
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
142
4.6 از 5
دارد
دارد
دارد

https://donyad.com/d/030c70

جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Paulo Dichone Software Engineer, AWS Cloud Practitioner Instructor Paulo Dichone Software Engineer, AWS Cloud Practitioner Instructor

Android، Flutter، AWS، پرفروش ترین مربی