آموزش ریاضی بنیادی برای هوش مصنوعی تولید: درک LLM ها و ترانسفورماتورها از طریق برنامه های کاربردی

سرفصل ها و درس ها

مقدمه Introduction

• بیشترین استفاده را از این دوره Getting the most out of this course

• معرفی ریاضیات بنیادی برای AI تولیدی Intro to foundational math for generative AI

• بررسی نسخه Version check

1. مقدمه ای برای ریاضی برای Genai و اصول توجه 1. Introduction to Math for GenAI and Attention Basics

• RNN ها و مشکل تنگنای زمینه RNNs and the context bottleneck problem

• نسخه ی نمایشی: اضافه کردن توجه به یک مدل RNN Demo: Adding attention to an RNN model

• مقدمه توجه: راه حل بهدانائو Introduction to attention: Bahdanau’s solution

• راه حل: توجه بهانائو را پیاده سازی کنید Solution: Implement Bahdanau's attention

• چرا LLMS و توجه Why LLMs and attention matter

• نسخه ی نمایشی: ساخت یک مدل RNN ساده برای تجزیه و تحلیل احساسات Demo: Building a simple RNN model for sentiment analysis

2. ترانسفورماتورها: حذف RNN ها برای مدل های کارآمدتر 2. Transformers: Removing RNNs for More Efficient Models

• از RNN به ترانسفورماتورها From RNNs to transformers

• راه حل: یک رمزگذار ترانسفورماتور دو لایه بسازید Solution: Build a two-layer transformer encoder

• درک توجه خود در ترانسفورماتورها Understanding self-attention in transformers

• ساختن یک مدل ترانسفورماتور برای تجزیه و تحلیل احساسات Building a transformer model for sentiment analysis

• توجه چند سر و رمزگذاری موقعیت Multi-head attention and positional encoding

3. شیرجه عمیق به LLM ها و تنظیم دقیق مدل 3. Deep Dive into LLMs and Model Fine-Tuning

• مدل های خاص فقط رمزگذار Special decoder-only models

• راه حل: طنز و مواضع آب و هوا را در Tweeteval تشخیص دهید Solution: Detect irony and climate stance in TweetEval

• توضیح مدل های رمزگذار فقط مانند برت Explaining encoder-only models like BERT

• سه نوع LLMS The three types of LLMs

• تنظیم دقیق Distilbert برای تجزیه و تحلیل احساسات Fine-tuning DistilBERT for sentiment analysis

• ماسک های توجه در ترانسفورماتورها Attention masks in transformers

پایان Conclusion

• خلاصه دوره و مراحل بعدی Course summary and next steps