آموزش یادگیری عمیق: پردازش زبان طبیعی با ترنسفورمرها - آخرین آپدیت

سرفصل ها و درس ها

مقدمه intro

• خوش آمدید Welcome

• معرفی کلی General Introduction

• درباره این دوره About this Course

• لینک به کد Link to Code

پیش‌نیازها- تانسورها و متغیرها [PRE-REQUISITE] Tensors and Variables

• لینک به کد Link to Code

• مبانی Basics

• مقداردهی اولیه و تبدیل نوع Initialization and casting

• نمایه سازی Indexing

• عملیات ریاضی Maths Operations

• عملیات جبر خطی Linear algebra operations

• متدهای متداول Common methods

• تانسورهای ناهمگون Ragged tensors

• تانسورهای پراکنده Sparse tensors

• تانسورهای رشته‌ای String tensors

• متغیرها Variables

پیش‌نیازها- ساخت شبکه‌های عصبی با تنسورفلو [PRE-REQUISITE] Building Neural Networks with TensorFlow

• لینک به کد Link to Code

• لینک به دیتاست Link to Dataset

• درک وظیفه Task Understanding

• آماده‌سازی داده‌ها Data Preparation

• مدل رگرسیون خطی Linear Regression Model

• جریمه خطا Error Sanctioning

• آموزش و بهینه‌سازی Training and Optimization

• اندازه‌گیری عملکرد Performance Measurement

• اعتبارسنجی و تست Validation and Testing

• اقدامات اصلاحی Corrective Measures

• دیتاست‌های تنسورفلو TensorFlow Datasets

پیش‌پردازش متن برای تحلیل احساسات Text Preprocessing for Sentiment Analysis

• درک تحلیل احساسات Understanding Sentiment Analysis

• استانداردسازی متن Text Standardization

• توکن‌سازی Tokenization

• کدگذاری یک-داغ و کیسه کلمات One-hot encoding and Bag of Words

• فرکانس واژه - معکوس فرکانس سند (TF-IDF) Term frequency - Inverse Document frequency (TF-IDF)

• جاسازی‌ها (Embeddings) Embeddings

تحلیل احساسات با شبکه‌های عصبی بازگشتی Sentiment Analysis with Recurrent neural networks

• لینک به کد Link to Code

• نحوه کار شبکه‌های عصبی بازگشتی How Recurrent neural networks work

• آماده‌سازی داده‌ها Data Preparation

• ساخت و آموزش RNNها Building and training RNNs

• RNNهای پیشرفته (LSTM و GRU) Advanced RNNs (LSTM and GRU)

• شبکه عصبی کانولوشنی یک‌بعدی 1D Convolutional Neural Network

تحلیل احساسات با یادگیری انتقالی Sentiment Analysis with transfer learning

• درک Word2vec Understanding Word2vec

• ادغام جاسازی‌های از پیش آموزش‌دیده Word2vec Integrating pretrained Word2vec embeddings

• تست Testing

• مصورسازی جاسازی‌ها Visualizing embeddings

ترجمه ماشینی عصبی با شبکه‌های عصبی بازگشتی Neural Machine Translation with Recurrent Neural Networks

• لینک به کد Link to Code

• درک ترجمه ماشینی Understanding Machine Translation

• آماده‌سازی داده‌ها Data Preparation

• ساخت، آموزش و تست مدل Building, training and testing Model

• درک امتیاز BLEU Understanding BLEU score

• پیاده‌سازی امتیاز BLEU از ابتدا Coding BLEU score from scratch

ترجمه ماشینی عصبی با توجه (Attention) Neural Machine Translation with Attention

• لینک به کد Link to Code

• درک توجه به سبک بهدانو (Bahdanau Attention) Understanding Bahdanau Attention

• ساخت، آموزش و تست توجه به سبک بهدانو Building, training and testing Bahdanau Attention

ترجمه ماشینی عصبی با ترنسفورمرها Neural Machine Translation with Transformers

• لینک به کد Link to Code

• درک شبکه‌های ترنسفورمر Understanding Transformer Networks

• ساخت، آموزش و تست ترنسفورمرها Building, training and testing Transformers

• ساخت ترنسفورمر با لایه توجه سفارشی Building Transformers with Custom Attention Layer

• مصورسازی امتیازات توجه Visualizing Attention scores

تحلیل احساسات با ترنسفورمرها Sentiment Analysis with Transformers

• لینک به کد Link to Code

• تحلیل احساسات با انکودر ترنسفورمر Sentiment analysis with Transformer encoder

• تحلیل احساسات با توجه LSH Sentiment analysis with LSH Attention

یادگیری انتقالی و مدل‌های زبان تعمیم‌یافته Transfer Learning and Generalized Language Models

• درک یادگیری انتقالی Understanding Transfer Learning

• Ulmfit Ulmfit

• Gpt Gpt

• Bert Bert

• Albert Albert

• Gpt2 Gpt2

• Roberta Roberta

• T5 T5

تحلیل احساسات با Deberta در ترنسفورمرهای Huggingface Sentiment Analysis with Deberta in Huggingface transformers

• لینک به کد Link to Code

• آماده‌سازی داده‌ها Data Preparation

• ساخت، آموزش و تست مدل Building,training and testing model

استقرار مدل Model Deployment

• درک تقطیر (Distillation) Understanding Distillation

• تنظیم دقیق مدل تقطیر شده Finetuning Distilled Model

• تبدیل مدل تنسورفلو به فرمت Onnx Converting Tensorflow model to Onnx format

• درک کوانتیزاسیون (Quantization) Understanding quantization

• کوانتیزاسیون عملی مدل Onnx Practical quantization of Onnx model

• API چیست What is an API

• ساخت API با FastAPI Building an API with FastAPI

• استقرار API در ابر Deploying API to cloud

طبقه‌بندی هدف با Deberta در ترنسفورمرهای Huggingface Intent Classification with Deberta in Huggingface transformers

• لینک به کد Link to Code

• درک مسئله و آماده‌سازی داده‌ها Problem Understanding and Data Preparation

• ساخت، آموزش و تست مدل Building,training and testing model

رابطه موجودیت نام‌گذاری شده با Roberta در ترنسفورمرهای Huggingface Named Entity Relation with Roberta in Huggingface transformers

• لینک به کد Link to Code

• درک مسئله و آماده‌سازی داده‌ها Problem Understanding and Data Preparation

• ساخت، آموزش و تست مدل Building,training and testing model

ترجمه ماشینی عصبی با T5 در ترنسفورمرهای Huggingface Neural Machine Translation with T5 in Huggingface transformers

• لینک به کد Link to Code

• آماده‌سازی دیتاست Dataset Preparation

• ساخت، آموزش و تست مدل Building,training and testing model

پاسخ به پرسش استخراجی با Longformer در ترنسفورمرهای Huggingface Extractive Question Answering with Longformer in Huggingface transformers

• لینک به کد Link to Code

• درک مسئله و آماده‌سازی داده‌ها Problem Understanding and Data Preparation

• ساخت، آموزش و تست مدل Building,training and testing model

موتور جستجوی فروشگاه اینترنتی با Sentence transformers Ecommerce search engine with Sentence transformers

• لینک به کد Link to Code

• درک مسئله و جاسازی جملات Problem Understanding and Sentence Embeddings

• آماده‌سازی دیتاست Dataset preparation

• ساخت، آموزش و تست مدل Building,training and testing model

مولد متن ترانه با GPT2 در ترنسفورمرهای Huggingface Lyrics Generator with GPT2 in Huggingface transformers

• لینک به کد Link to Code

• درک مسئله و آماده‌سازی داده‌ها Problem Understanding and Data Preparation

• ساخت، آموزش و تست مدل Building,training and testing model

تصحیح خطاهای گرامری با T5 در ترنسفورمرهای Huggingface Grammatical Error Correction with T5 in Huggingface transformers

• لینک به کد Link to Code

• درک مسئله و آماده‌سازی داده‌ها Problem Understanding and Data Preparation

• ساخت، آموزش و تست مدل Building,training and testing model

• لینک به کد Link to Code

• درک مسئله و آماده‌سازی داده‌ها Problem Understanding and Data Preparation

• ساخت، آموزش و تست مدل Building,training and testing model

تشخیص گفتار خودکار Automatic Speech Recogntion

• لینک به کد Link to Code

• درک و آماده‌سازی داده‌ها Understanding and Data Preparation

• مدل‌سازی، آموزش و تست Modeling, Training and Testing

برنامه‌نویسی ضروری پایتون Essential Python Programming

• نصب پایتون Python Installation

• متغیرها و عملگرهای پایه Variables and Basic Operators

• دستورات شرطی Conditional Statements

• حلقه‌ها Loops

• متدها Methods

• اشیاء و کلاس‌ها Objects and Classes

• اضافه‌بارگذاری عملگر (Operator Overloading) Operator Overloading

• انواع متدها Method Types

• وراثت Inheritance

• کپسوله‌سازی Encapsulation

• چندریختی Polymorphism

• دکوراتورها Decorators

• مولدها (Generators) Generators

• بسته Numpy Numpy Package

• مقدمه‌ای بر Matplotlib Introduction to Matplotlib