آموزش یادگیری عمیق: شبکه های عصبی مکرر با پایتون [ویدئو]

سرفصل ها و درس ها

معرفی Introduction

• مقدمه ای بر علوم هوش مصنوعی Introduction to AI Sciences

• تمرکز دوره Focus of the Course

کاربردهای RNN Applications of RNN

• تشخیص فعالیت های انسانی Human Activity Recognition

• زیرنویس تصویر Image Captioning

• ترجمه ماشینی Machine Translation

• تشخیص گفتار Speech Recognition

• پیش بینی قیمت سهام Stock Price Predictions

• چه زمانی باید RNN را مدل کرد When to Model RNN

• فعالیت Activity

نمای کلی شبکه عصبی عمیق (DNN). Deep Neural Network (DNN) Overview

• چرا PyTorch Why PyTorch

• مقدمه نصب PyTorch و تنسورها PyTorch Installation and Tensors Introduction

• تمایز خودکار PyTorch جدید Automatic Differentiation PyTorch New

• چرا DNN ها در یادگیری ماشینی Why DNNs in Machine Learning

• قدرت نمایندگی و ظرفیت استفاده از داده DNN Representational Power and Data Utilization Capacity of DNN

• پرسپترون Perceptron

• تمرین پرسپترون Perceptron Exercise

• محلول تمرین پرسپترون Perceptron Exercise Solution

• پیاده سازی پرسپترون Perceptron Implementation

• معماری DNN DNN Architecture

• تمرین معماری DNN DNN Architecture Exercise

• راه حل تمرین معماری DNN DNN Architecture Exercise Solution

• پیاده سازی گام رو به جلو DNN DNN Forward Step Implementation

• DNN چرا عملکرد فعال سازی مورد نیاز است DNN Why Activation Function Is Required

• DNN چرا عملکرد فعالسازی مورد نیاز است تمرین کنید DNN Why Activation Function Is Required Exercise

• DNN چرا عملکرد فعالسازی مورد نیاز است راه حل تمرین DNN Why Activation Function Is Required Exercise Solution

• ویژگی های عملکرد فعال سازی DNN DNN Properties of Activation Function

• توابع فعال سازی DNN در PyTorch DNN Activation Functions in PyTorch

• DNN عملکرد ضرر چیست DNN What Is Loss Function

• DNN تمرین عملکرد ضرر چیست DNN What Is Loss Function Exercise

• راه حل تمرین عملکرد DNN چیست DNN What Is Loss Function Exercise Solution

• DNN عملکرد ضرر چیست تمرین 02 DNN What Is Loss Function Exercise 02

• راه حل تمرین 02 عملکرد ضرر چیست DNN What Is Loss Function Exercise 02 Solution

• عملکرد از دست دادن DNN در PyTorch DNN Loss Function in PyTorch

• DNN Gradient Descent DNN Gradient Descent

• تمرین نزول گرادیان DNN DNN Gradient Descent Exercise

• راه حل تمرین نزول گرادیان DNN DNN Gradient Descent Exercise Solution

• اجرای DNN Gradient Descent DNN Gradient Descent Implementation

• مینی بچ دسته ای تصادفی شیب دار DNN DNN Gradient Descent Stochastic Batch Minibatch

• خلاصه DNN Gradient Descent DNN Gradient Descent Summary

• مرحله گرادیان پیاده سازی DNN DNN Implementation Gradient Step

• پیاده‌سازی DNN نزولی گرادیان تصادفی DNN Implementation Stochastic Gradient Descent

• نزول گرادیان دسته ای پیاده سازی DNN DNN Implementation Batch Gradient Descent

• پیاده‌سازی DNN مینی‌بچ نزول گرادیان DNN Implementation Minibatch Gradient Descent

• پیاده سازی DNN در PyTorch DNN Implementation in PyTorch

• مقدار دهی اولیه وزن DNN DNN Weights Initializations

• نرخ یادگیری DNN DNN Learning Rate

• عادی سازی دسته ای DNN DNN Batch Normalization

• اجرای عادی سازی دسته ای DNN DNN Batch Normalization Implementation

• بهینه سازی DNN DNN Optimizations

• خروج DNN DNN Dropout

• DNN Dropout در PyTorch DNN Dropout in PyTorch

• توقف زودهنگام DNN DNN Early Stopping

• فراپارامترهای DNN DNN Hyperparameters

• مثال DNN PyTorch CIFAR10 DNN PyTorch CIFAR10 Example

معماری RNN RNN Architecture

• مقدمه ای بر ماژول Introduction to Module

• مدل حافظه با طول ثابت Fixed Length Memory Model

• تمرین مدل حافظه با طول ثابت Fixed Length Memory Model Exercise

• راه حل تمرین مدل حافظه با طول ثابت قسمت 01 Fixed Length Memory Model Exercise Solution Part 01

• راه حل تمرین مدل حافظه با طول ثابت قسمت 02 Fixed Length Memory Model Exercise Solution Part 02

• معماری حافظه بی نهایت Infinite Memory Architecture

• تمرین معماری حافظه بی نهایت Infinite Memory Architecture Exercise

• راه حل معماری حافظه بی نهایت Infinite Memory Architecture Solution

• تقسیم وزن Weight Sharing

• نمادها Notations

• مدل ManyToMany ManyToMany Model

• تمرین مدل ManyToMany 01 ManyToMany Model Exercise 01

• راه حل مدل ManyToMany 01 ManyToMany Model Solution 01

• تمرین مدل ManyToMany 02 ManyToMany Model Exercise 02

• راه حل مدل ManyToMany 02 ManyToMany Model Solution 02

• مدل ManyToOne ManyToOne Model

• تمرین مدل OneToMany OneToMany Model Exercise

• راه حل مدل OneToMany OneToMany Model Solution

• مدل OneToMany OneToMany Model

• تمرین مدل ManyToOne ManyToOne Model Exercise

• راه حل مدل ManyToOne ManyToOne Model Solution

• فعالیت خیلی به یک Activity Many to One

• فعالیت چند به یک تمرین Activity Many to One Exercise

• فعالیت بسیاری به یک راه حل Activity Many to One Solution

• مدل ManyToMany سایزهای مختلف ManyToMany Different Sizes Model

• فعالیت بسیاری از Nmt Activity Many to Many Nmt

• خلاصه مدل Model Summary

• RNN های عمیق Deep RNNs

• تمرین RNN های عمیق Deep RNNs Exercise

• راه حل عمیق RNNs Deep RNNs Solution

Gradient Descent در RNN Gradient Descent in RNN

• مقدمه ای بر ماژول نزول گرادیان Introduction to Gradient Descent Module

• راه اندازی مثال Example Setup

• معادلات Equations

• تمرین معادلات Equations Exercise

• حل معادلات Equations Solution

• عملکرد از دست دادن Loss Function

• چرا گرادیان Why Gradients

• چرا گرادیان ها ورزش می کنند Why Gradients Exercise

• چرا راه حل گرادیان Why Gradients Solution

• قاعده زنجیره ای Chain Rule

• قانون زنجیره ای در عمل Chain Rule in Action

• انتشار برگشتی در طول زمان Back Propagation Through Time

• فعالیت Activity

پیاده سازی RNN RNN Implementation

• تمایز خودکار Automatic Differentiation

• تمایز خودکار PyTorch Automatic Differentiation PyTorch

• مدل‌سازی زبان فهرست واژگان پیش‌بینی کلمه بعدی Language Modeling Next Word Prediction Vocabulary Index

• مدل سازی زبان بعدی پیش بینی واژگان گنجاندن فهرست Language Modeling Next Word Prediction Vocabulary Index Embeddings

• مدل سازی زبان بعدی پیش بینی کلمه معماری RNN Language Modeling Next Word Prediction RNN Architecture

• مدل سازی زبان پیش بینی کلمه بعدی پایتون 1 Language Modeling Next Word Prediction Python 1

• مدل سازی زبان بعدی پیش بینی کلمه پایتون 2 Language Modeling Next Word Prediction Python 2

• مدل سازی زبان بعدی پیش بینی کلمه پایتون 3 Language Modeling Next Word Prediction Python 3

• مدل سازی زبان بعدی پیش بینی کلمه پایتون 4 Language Modeling Next Word Prediction Python 4

• مدل سازی زبان بعدی پیش بینی کلمه پایتون 5 Language Modeling Next Word Prediction Python 5

• مدل سازی زبان بعدی پیش بینی کلمه پایتون 6 Language Modeling Next Word Prediction Python 6

طبقه بندی احساسات با استفاده از RNN Sentiment Classification Using RNN

• پیاده سازی واژگان Vocabulary Implementation

• کمک های پیاده سازی واژگان Vocabulary Implementation Helpers

• پیاده سازی واژگان از فایل Vocabulary Implementation from File

• وکتورساز Vectorizer

• راه اندازی RNN 1 RNN Setup 1

• راه اندازی RNN 2 RNN Setup 2

• بعدش چی What Next

ناپدید شدن گرادیان در RNN Vanishing Gradients in RNN

• مقدمه ای بر یک ماژول RNN بهتر Introduction to a Better RNN Module

• مقدمه ای بر گرادیان های ناپدید شده در RNN Introduction to Vanishing Gradients in RNN

• واحد بازگشتی دردار (GRU) Gated Recurrent Unit (GRU)

• معادلات واحد بازگشتی دروازه ای (GRU). Gated Recurrent Unit (GRU) Equations

• حافظه بلند مدت کوتاه مدت (LSTM) Long Short Term Memory (LSTM)

• معادلات حافظه کوتاه مدت بلند مدت (LSTM). Long Short Term Memory (LSTM) Equations

• شبکه های عصبی بازگشتی دو طرفه Bidirectional Recurrent Neural Networks

• مدل توجه Attention Model

• معادله مدل توجه Attention Model Equation

TensorFlow TensorFlow

• معرفی Introduction

• مثال طبقه‌بندی متن TensorFlow با استفاده از RNN TensorFlow Text Classification Example using RNNs

پروژه 1: نویسنده کتاب Project 1: Book Writer

• معرفی Introduction

• نقشه برداری داده ها Data Mapping

• مدل سازی معماری RNN Modelling RNN Architecture

• مدلسازی مدل RNN در TensorFlow Modelling RNN Model in TensorFlow

• آموزش مدل سازی مدل RNN Modelling RNN Model Training

• مدل سازی RNN مدل تولید متن Modelling RNN Model Text Generation

• فعالیت Activity

پروژه 2: پیش بینی قیمت سهام Project 2: Stock Price Prediction

• بیان مسأله Problem Statement

• مجموعه داده Dataset

• آماده سازی داده ها Data Preparation

• آموزش و ارزیابی مدل RNN RNN Model Training and Evaluation

• فعالیت Activity

مطالعه بیشتر و منابع Further Reading and Resources

• مطالعه بیشتر و منابع Further Reading and Resources