آموزش مدل‌سازی زبانی هوش مصنوعی مولد با ترنسفورمرها - آخرین آپدیت

مفاهیم بنیادی معماری ترنسفورمر Fundamental Concepts of Transformer Architecture

• معرفی دوره Course Introduction

• کدگذاری موقعیتی (Positional Encoding) Positional Encoding

• مکانیسم توجه (Attention Mechanism) Attention Mechanism

• مکانیسم خود-توجه (Self-attention) Self-attention Mechanism

• از مکانیسم توجه تا ترنسفورمرها From Attention to Transformers

• ترنسفورمرها برای طبقه‌بندی: انکودر Transformers for Classification: Encoder

مفاهیم پیشرفته معماری ترنسفورمر Advanced Concepts of Transformer Architecture

• مدل‌سازی زبانی با دکودرها و مدل‌های مشابه GPT Language Modeling with the Decoders and GPT-like Models

• آموزش مدل‌های دکودر Training Decoder Models

• مدل‌های دکودر: پیاده‌سازی Causal LM در PyTorch Decoder Models- PyTorch Implementation-Causal LM

• مدل‌های دکودر: پیاده‌سازی آموزش و استنتاج در PyTorch Decoder Models: PyTorch Implementation Using Training and Inference

• مدل‌های انکودر با BERT: پیش‌آموزش با استفاده از MLM Encoder Models with BERT: Pretraining Using MLM

• مدل‌های انکودر با BERT: پیش‌آموزش با استفاده از NSP Encoder Models with BERT: Pretraining Using NSP

• آماده‌سازی داده‌ها برای BERT با PyTorch Data Preparation for BERT with PyTorch

• پیش‌آموزش مدل‌های BERT با PyTorch Pretraining BERT Models with PyTorch

• معماری ترنسفورمر برای ترجمه زبان Transformer Architecture for Language Translation

• معماری ترنسفورمر برای ترجمه: پیاده‌سازی در PyTorch Transformer Architecture for Translation: PyTorch Implementation