آموزش مقدمه ای بر شبکه های عصبی مبتنی بر توجه

مقدمه Introduction

• پیش نیازها Prerequisites

• مدل های مبتنی بر توجه چیست؟ What are attention-based models?

• توجه در تولید زبان و مدل های ترجمه Attention in language generation and translation models

• امتحان فصل Chapter Quiz

1. شبکه های عصبی مکرر برای یادگیری داده های متوالی 1. Recurrent Neural Networks to Learn Sequential Data

• شبکه های فید فوروارد و محدودیت های آنها Feed forward networks and their limitations

• شبکه های عصبی مکرر برای داده های متوالی Recurrent neural networks for sequential data

• نیاز به سلول های حافظه بلند The need for long memory cells

• سلول های LSTM و GRU LSTM and GRU cells

• انواع RRNNS Types of RRNNS

• امتحان فصل Chapter Quiz

2. شبکه های رمزگذار-رمزگشا برای مدل های زبان 2. Encoder-Decoder Networks for Language Models

• مدل های تولید زبان Language generation models

• مدل‌های ترتیب به ترتیب برای ترجمه زبان Sequence to sequence models for language translation

3. شبکه های عصبی مبتنی بر توجه 3. Attention-Based Neural Networks

• نقش توجه در مدل های توالی به دنباله The role of attention in sequence to sequence models

• مکانیسم توجه در مدل‌های توالی به دنباله Attention mechanism in sequence to sequence models

• تراز کردن وزن ها در مدل های توجه Alignment weights in attention models

• توجه بهداناو Bahdanau attention

• مدل های توجه برای شرح تصاویر Attention models for image captioning

• ساختار رمزگشای رمزگذار برای نوشتن شرح تصاویر Encoder decoder structure for image captioning

• امتحان فصل Chapter Quiz

4. مدل زیرنویس تصویر بدون توجه 4. Image Captioning Model without Attention

• راه اندازی Colab و Google Drive Setting up Colab and Google Drive

• در حال بارگیری در مجموعه داده Flickr8k Loading in the Flickr8k dataset

• ساخت واژگان Constructing the vocabulary

• راه اندازی کلاس داده Setting up the dataset class

• پیاده سازی توابع ابزار برای داده های آموزشی Implementing utility functions for training data

• ساخت رمزگذار CNN Building the encoder CNN

• ساخت رمزگشا RNN Building the decoder RNN

• تنظیم مدل دنباله به دنباله Setting up the sequence to sequence model

• آموزش مدل زیرنویس تصویر Training the image captioning model

• امتحان فصل Chapter Quiz

5. مدل شرح تصویر با استفاده از توجه 5. Image Captioning Model Using Attention

• بارگیری مجموعه داده و تنظیم توابع ابزار Loading the dataset and setting up utility functions

• رمزگذار CNN که نقشه‌های ویژگی بازشده را تولید می‌کند The encoder CNN generating unrolled feature maps

• اجرای توجه بهداناو Implementing Bahdanau attention

• رمزگشا RNN با استفاده از توجه The decoder RNN using attention

• ایجاد زیرنویس با استفاده از توجه Generating captions using attention

• آموزش مدل زیرنویس تصویر مبتنی بر توجه Training the attention-based image captioning model

• تجسم توجه مدل Visualizing the model's attention

• امتحان فصل Chapter Quiz

نتیجه Conclusion

• خلاصه و مراحل بعدی Summary and next steps