آموزش ساخت مدلهای زبانی بزرگ (LLM) مانند ChatGPT از صفر و استقرار در ابر - آخرین آپدیت
دانلود Building LLMs like ChatGPT from Scratch and Cloud Deployment
مدلهای زبانی بزرگ (LLMs) مانند GPT-4، Llama و Mistral دیگر علمی-تخیلی نیستند؛ آنها مرز جدید تکنولوژی هستند و همه چیز، از چتباتهای پیشرفته تا کشفیات علمی انقلابی را قدرت میبخشند. اما برای اکثر مردم، این مدلها مانند یک «جعبه سیاه» هستند. در حالی که بسیاری میتوانند از یک API استفاده کنند، تعداد کمی مهارت نادر و ارزشمند درک نحوه عملکرد این مدلهای شگفتانگیز را از درون به بیرون دارند.
چه میشود اگر بتوانید پردهها را کنار بزنید؟ چه میشود اگر بتوانید یک مدل زبانی بزرگ، مدرن و قدرتمند را نه فقط با تغییر چند خط کد، بلکه با نوشتن آن از پایه و خط به خط بسازید؟
این دوره یک مرور کلی و سطحی نیست. بلکه یک سفر مهندسی عمیق و عملی برای کدنویسی یک LLM کامل است ــ به طور خاص، معماری Mistral 7B که بسیار بهینه و قدرتمند است ــ از صفر در PyTorch. ما فاصله بین تئوریهای انتزاعی و کدهای عملی در سطح تولید (Production) را پر میکنیم. شما فقط یاد نمیگیرید که Grouped-Query Attention چیست؛ بلکه آن را پیادهسازی میکنید. شما فقط درباره KV Cache نمیخوانید؛ بلکه آن را برای سرعت بخشیدن به استنتاج مدل خود میسازید.
ما معتقدیم بهترین راه برای رسیدن به تسلط واقعی، ساختن است. با شروع از مفاهیم بنیادی که منجر به انقلاب ترنسفورمر شد، شما را گام به گام در هر جزء حیاتی راهنمایی میکنیم. در نهایت، مدل ساخته شده خود را برداشته و یاد میگیرید که آن را برای استفاده در دنیای واقعی با استفاده از موتور استنتاج vLLM (استاندارد صنعت و با کارایی بالا) روی Runpod مستقر کنید.
پس از اتمام این دوره، شما از یک کاربر LLM به یک معمار LLM تبدیل خواهید شد. شما دانش اصول اولیه را به دست خواهید آورد که متخصصان را از توده متمایز میکند و شما را قادر میسازد در لبه تکنولوژی هوش مصنوعی، مدلسازی، عیبیابی و نوآوری کنید.
شما یاد خواهید گرفت که موارد زیر را بسازید و درک کنید:
ریشههای LLMها: تکامل از RNNها تا مکانیزم Attention که شروعکننده همه چیز بود.
رمزگشایی ترنسفورمر: بررسی عمیق اینکه چرا معماری ترنسفورمر کار میکند و تفاوتهای حیاتی بین آموزش (Training) و استنتاج (Inference).
نقشه راه Mistral 7B: نحوه معماری یک مدل زبانی بزرگ کامل، با بازسازی ساختار کلی یک مدل پیشرو (State-of-the-art).
مکانیزمهای اصلی از صفر:
توکنایزیشن (Tokenization): تبدیل متن خام به فرمتی که مدل شما بتواند درک کند.
کدگذاری موقعیتی چرخشی (RoPE): پیادهسازی تکنیک مدرن برای تزریق آگاهی موقعیتی.
توجه پرسوجوی گروهی (GQA): کدنویسی نوآوری که مدلهایی مانند Mistral را بسیار بهینه میکند.
توجه پنجره لغزان (SWA): پیادهسازی گونهای از Attention که اجازه پردازش توالیهای بسیار طولانیتر را میدهد.
KV Cache: ساخت جزء ضروری برای تولید متن با سرعت برقآسا در هنگام استنتاج.
ساخت مدل انتها به انتها: سرهم کردن تمام قطعات ــ از هدهای توجه مجزا تا بلوکهای کامل ترنسفورمر ــ در قالب یک LLM کاربردی در PyTorch.
جان بخشیدن به مدل: پیادهسازی منطق تولید متن برای مشاهده اینکه مدل شما چگونه زبان منسجم خلق میکند.
استقرار در سطح تولید: راهنمای عملی برای استقرار مدل سفارشی شما با استفاده از موتور فوق سریع vLLM در پلتفرم ابری Runpod.
اگر توسعهدهنده، مهندس یادگیری ماشین یا پژوهشگری هستید که آماده است فراتر از API برود و تکنولوژی تغییردهنده جهان را واقعاً درک کند، این دوره برای شما طراحی شده است. ما مشتاقیم شما را در مسیر تبدیل شدن به یک متخصص واقعی LLM راهنمایی کنیم.
بیایید ساختن را شروع کنیم.
مقدمه Introduction
-
مقدمه Introduction
-
آنچه خواهید آموخت What you'll learn
-
دفترچههای Colab Colab Notebooks
پیشنیازها Pre-requisites
-
مدلهای RNN و Attention RNNs and Attention Models
-
نحوه عملکرد ترنسفورمر How the Transformer works
-
تفاوت آموزش و استنتاج Difference in Training and Inference
ساخت Mistral از صفر Building Mistral from Scratch
-
معماری کلی مدل Mistral Global Architecture of Mistral Model
-
توکنایزیشن Tokenization
-
کدگذاری موقعیتی چرخشی (RoPE) Rotary Positional Encoding (RoPE)
-
تمرین کدگذاری موقعیتی چرخشی Rotary Positional Encoding Practice
-
توجه پرسوجوی گروهی (GQA) Group Query Attention (GQA)
-
توجه پنجره لغزان Sliding Window Attention
-
کش KV (KV Caching) KV-Caching
-
بلوک ترنسفورمر Transformer Block
-
مدل کامل ترنسفورمر Full Transformer Model
استقرار Mistral در ابر (RunPod) Deploying Mistral to the Cloud (RunPod)
-
استقرار Deployment
https://donyad.com/d/83cec8
Neuralearn Dot AI
کمک به میلیون ها یادگیرنده، بر یادگیری عمیق مسلط شوید.
نمایش نظرات