آموزش آشنایی با مدل‌های ترنسفورمر در پردازش زبان طبیعی (NLP): واحد ۲ - آخرین آپدیت

آشنایی با مدل‌های ترنسفورمر در پردازش زبان طبیعی: واحد ۲ Introduction to Transformer Models for NLP: Unit 2

• سرفصل‌ها Topics

• مقدمه‌ای بر BERT Introduction to BERT

• توکنایز کردن Wordpiece Wordpiece tokenization

• جایگذاری‌های (Embeddings) متنوع در BERT The many embeddings of BERT

• سرفصل‌ها Topics

• تکلیف مدل‌سازی زبان ماسک‌شده (MLM) The Masked Language Modeling Task

• تکلیف پیش‌بینی جمله بعدی (NSP) The Next Sentence Prediction Task

• تنظیم دقیق (Fine-tuning) مدل BERT برای حل مسائل NLP Fine-tuning BERT to solve NLP tasks

• سرفصل‌ها Topics

• انواع مختلف مدل BERT Flavors of BERT

• استفاده از BERT برای طبقه‌بندی توالی BERT for sequence classification

• استفاده از BERT برای طبقه‌بندی توکن BERT for token classification

• استفاده از BERT برای سیستم‌های پرسش و پاسخ BERT for question/answering

• سرفصل‌ها Topics

• مقدمه‌ای بر خانواده مدل‌های GPT Introduction to the GPT family

• مکانیزم توجه چندسر ماسک‌شده (Masked Multi-headed Attention) Masked multi-headed attention

• پیش‌آموزش (Pre-training) مدل GPT Pre-training GPT

• یادگیری Few-shot Few-shot learning

• سرفصل‌ها Topics

• استفاده از GPT برای تکمیل سبک نوشتاری GPT for style completion

• استفاده از GPT برای تبدیل متن به کد GPT for code dictation

• سرفصل‌ها Topics

• شبکه‌های Siamese BERT برای جستجوی معنایی Siamese BERT-networks for semantic searching

• آموزش هم‌زمان چندین تکلیف به GPT با مهندسی پرامپت Teaching GPT multiple tasks at once with prompt engineering