آموزش یادگیری عمیق برای پردازش زبان طبیعی (NLP) - آخرین آپدیت

شبکه‌های عصبی پیش‌خور و شبکه‌های عصبی بازگشتی Feedforward Neural Nets and Recurrent Neural Networks

• پرسپترون The Perceptron

• مسئله XOR The XOR Problem

• شبکه‌های پیش‌خور Feedforward Networks

• شبکه‌های پیش‌خور در NLP Feedforward Networks in NLP

• جاسازی جملات با شبکه‌های پیش‌خور Sentence Embeddings with Feedforward Networks

• جاسازی جملات با شبکه‌های عصبی بازگشتی Sentence Embeddings with Recurrent Neural Networks

• برچسب‌گذاری توالی با شبکه‌های عصبی بازگشتی Sequence Labelling with Recurrent Neural Networks

• مدل‌های LSTM و GRU LSTMs and GRUs

• شبکه‌های عصبی بازگشتی دوطرفه Bidirectional Recurrent Neural Networks

• شبکه‌های عصبی بازگشتی سلسله‌مراتبی Hierarchical Recurrent Neural Networks

• شبکه‌های عصبی بازگشتی در پایتون Recurrent Neural Networks in Python

• توابع زیان (Loss Functions) Loss Functions

• شهود پشت گرادیان نزولی The Intuition behind Gradient Descent

• گرادیان نزولی تصادفی (SGD) Stochastic Gradient Descent

• گرادیان نزولی تصادفی در پایتون Stochastic Gradient Descent in Python

مدل‌های توالی به توالی، توجه (Attention) و ترنسفورمرها Sequence to Sequence Models, Attention, Transformers

• وظایف توالی به توالی در NLP Sequence-to-sequence Tasks in NLP

• مدل‌های اولیه بازگشتی توالی به توالی Early Recurrent Sequence-to-Sequence Models

• ترازسازی در ترجمه ماشینی Alignment in Machine Translation

• مدل‌های توالی به توالی با مکانیزم توجه Sequence-to-Sequence Models with Attention

• مدل ترنسفورمر The Transformer Model

• کاربردهای مدل ترنسفورمر Applications of the Transformer Model

• انواع مکانیزم توجه Variants of the Attention Mechanism

• منظم‌سازی (Regularization) Regularization

• بهینه‌سازها Optimizers

• آموزش بهینه مدل Efficient Model Training

یادگیری انتقالی Transfer Learning

• تنظیمات کم‌منبع در NLP Low-Resource Settings in NLP

• پیش‌آموزش و تنظیم دقیق Pretraining & Finetuning

• مدل‌های زبانی پیش‌آموزش‌دیده محبوب: GPT و GPT-2 Popular Pretrained Language Models: GPT&GPT-2

• مدل‌های زبانی ماسک‌شده پیش‌آموزش‌دیده: BERT و همکاران Popular Pretrained Masked Language Models: BERT&Co.

• تطبیق دامنه (Domain Adaptation) Domain Adaptation

• فراموشی فاجعه‌بار Catastrophic Forgetting

• آموزش چندوظیفه‌ای چیست؟ What Is Multitask Training?

• اشتراک پارامترها برای آموزش چندوظیفه‌ای Parameter Sharing for Multitask Training

• وزن‌دهی به زیان‌ها Weighing of Losses

• ترکیب وظایف Task Combinations

• افزایش داده‌ها (Data Augmentation) Data Augmentation

• مدل‌های پیش‌آموزش‌دیده چندوظیفه‌ای محبوب Popular Multitask-Pretrained Models

• انتقال بین‌زبانی چیست؟ What Is Crosslingual Transfer?

• رویکردهای انتقال بین‌زبانی مبتنی بر ترجمه Translation-based Crosslingual Transfer Approaches

• یادگیری صفر-شات، تک-شات و چند-شات Zero-shot, One-shot and Few-shot Learning

• درباره زبان‌های انتقال مناسب On Suitable Transfer Languages

• مدل‌های پیش‌آموزش‌دیده چندزبانه محبوب Popular Multilingual Pretrained Models

مدل‌های زبانی بزرگ Large Language Models

• مدل‌های زبانی بزرگ و توانمندی‌های نوظهور Large Language Models and Emergent Abilities

• تنظیم دقیق با بهره‌وری پارامتری Parameter-Efficient Finetuning

• پرامپتینگ، مهندسی پرامپت و یادگیری در متن (In-Context) Prompting, Prompt Engineering, and In-Context Learning

• چالش‌های پرامپتینگ Prompting Challenges

• محدودیت‌های مدل‌های صرفاً زبانی The Limits of Language-only Models

• مدل‌های بینایی و زبانی پیش‌آموزش‌دیده محبوب Popular Pretrained Language-and-Vision Models

• چندوجهی (Multimodality) فراتر از بینایی Multimodality Beyond Vision

• توهمات مدل (Hallucinations) Hallucinations

• عدالت و ترازسازی مدل Fairness and Model Alignment

• بهره‌وری منابع و تقطیر دانش (Knowledge Distillation) Resource Efficiency and Knowledge Distillation

• حریم خصوصی Privacy

• تفسیرپذیری Interpretability