Fine Tuning LLM 2024 with Hugging Face Transformers برای NLP - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• معرفی دوره Course Introduction

• فایل کد [منابع] Code File [Resources]

سلام ترانسفورماتور Hello Transformers

• مقدمه Introduction

• مقدمه ای بر ترانسفورماتورهای صورت در آغوش گرفتن Introduction to Hugging Face Transformers

• مقدمه ای بر HuggingFace Pipeline Introduction to HuggingFace Pipeline

• مقدمه ای بر نقاط بازرسی صورت، مدل ها، مجموعه داده ها Introduction to Hugging Face Checkpoints, Models, Datasets

• مقدمه ای بر فضاهای صورت در آغوش گرفتن Introduction to Hugging Face Spaces

• مقدمه ای بر کلاس های خودکار صورت بغل کردن Introduction to Hugging Face Auto-Classes

• مقدمه ای بر آموزش انتقالی با ترانسفورماتورها Introduction to Transfer Learning with Transformers

• برنامه های کاربردی ترانسفورماتورها Transformers Applications

• خط لوله طبقه بندی برای پیش بینی احساسات و عواطف Classification Pipeline for Sentiment and Emotions Prediction

• خط لوله NER توضیح داده شد NER Pipeline Explained

• خط لوله پاسخ سوال Question Answer Pipeline

• خط لوله خلاصه سازی Summarization Pipeline

• خط لوله تولید متن Text Generation Pipeline

• خط لوله ترجمه Translation Pipeline

• طبقه بندی تصویر برای تشخیص احساسات و سن یک فرد Image Classification for Emotions and Age of a Person Detection

• بخش بندی تصویر برای سایت های تجارت الکترونیک پوشاک Image Segmentation for Clothing eCommerce Sites

• تبدیل متن به گفتار با استفاده از خط لوله صوتی Text to Speech Conversion using Audio Pipeline

• متن به موسیقی نسل با استفاده از musicgen فیس بوک Text to Music Generation using Facebook's musicgen

معماری ترانسفورماتور و مفاهیم پایه LLM Transformers Architectures and Basic LLM Concepts

• مقدمه Introduction

• قسمت اول معرفی مدل Seq2Seq Seq2Seq Model Introduction Part 1

• قسمت 2 معرفی مدل Seq2Seq Seq2Seq Model Introduction Part 2

• غلبه بر مسائل Seq2Seq Overcoming from the Seq2Seq Issues

• نحوه اعمال توجه در شبکه های Seq2Seq How to Apply Attention in Seq2Seq Networks

• نحوه محاسبه بردارهای Q، K و V How to Calculate Q, K and V Vectors

• توجه محصول Scaled Dot Scaled Dot Product Attention

• ترانسفورماتور با پشته های رمزگذاری و رمزگشایی Transformers with Encoding and Decoding Stacks

• نحوه عملکرد رمزگذار در ترانسفورماتورها How Encoder Works in Transformers

• نحوه محاسبه کدگذاری موقعیت در ترانسفورماتورها How Position Encoding is Calculated in Transformers

• توجه به خود، توجه نقاب دار و توجه متقابل توضیح داده شده است Self-Attention, Masked Self Attention and Cross Attention Explained

• شبکه توجه چند سر چگونه کار می کند How Multi-Head Attention Network Works

• رسیور چگونه کار می کند How Decoder Works

• برنامه های کاربردی ترانسفورماتورها Transformers Applications

نظریه معماری BERT BERT Architecture Theory

• مقدمه Introduction

• مقدمه BERT BERT Introduction

• اهمیت Right Context در BERT چیست؟ What is importance of Right Context in BERT

• درک اصطلاحات مقاله BERT قسمت 1 BERT Paper Terminology Understanding Part 1

• درک اصطلاحات مقاله BERT قسمت 2 BERT Paper Terminology Understanding Part 2

• رفتن عمیق تر به BERT Going Deeper into BERT

• نحوه پردازش ورودی در BERT How Input is Processed into BERT

• نحوه اجرای MLM و NSP How MLM and NSP is Performed

• تنظیم دقیق و ارزیابی مدل BERT چگونه انجام شد How BERT Model Fine-Tuning and Evaluation were Done

تنظیم دقیق BERT برای طبقه بندی احساسات چند طبقه برای توییت های توییتر Fine-Tuning BERT for Multi-Class Sentiment Classification for Twitter Tweets

• مقدمه Introduction

• مقدمه طبقه بندی کننده BERT BERT Classifier Introduction

• توییت های توییتر در حال بارگیری Twitter Tweets Loading

• تجزیه و تحلیل داده ها Data Analysis

• چگونه توکن سازی انجام می شود How Tokenization is Done

• تقسیم داده بارگذار و تست قطار Data Loader and Train Test Split

• توکن سازی داده ها Tokenization of the Data

• پیکربندی مدل Deep Dive Model Config Deep Dive

• مدل بارگیری برای طبقه بندی با سر طبقه بندی کننده Loading Model for Classification with Classifier Head

• استدلال های آموزشی ساختمان Building Training Arguments

• متریک محاسباتی ساختمان Building Compute Metrics

• ساخت ترینر و انجام آموزش Build Trainer and Do Training

• ارزیابی مدل در مجموعه تست Evaluate Model on Test Set

• ماتریس سردرگمی طرح Plot Confusion Matrix

• ذخیره مدل و انجام پیش بینی در داده های سفارشی Save Model and Do Prediction on Custom Data

• ساخت برنامه Streamlit با مدل برای پیش بینی Build Streamlit Application with Model for Prediction

تقطیر دانش برای BERT - DistilBERT، MobileBERT و TinyBERT [نظریه] Knowledge Distillation for BERT - DistilBERT, MobileBERT and TinyBERT [Theory]

• مقدمه Introduction

• مقدمه تقطیر دانش Knowledge Distillation Introduction

• توابع از دست دادن DistilBERT DistilBERT Loss Functions

• قسمت 1 بررسی مقاله DistilBERT DistilBERT Paper Walkthrough Part 1

• بررسی مقاله DistilBERT قسمت 2 DistilBERT Paper Walkthrough Part 2

• MobileBERT مقدمه MobileBERT Introduction

• تنظیمات پارامتر MobileBERT MobileBERT Parameter Settings

• تقطیر دانش MobileBERT MobileBERT Knowledge Distillation

• بررسی مقاله MobileBERT قسمت 1 MobileBERT Paper Walkthrough Part 1

• بررسی مقاله MobileBERT قسمت 2 MobileBERT Paper Walkthrough Part 2

• بررسی مقاله MobileBERT قسمت 3 MobileBERT Paper Walkthrough Part 3

• TinyBERT مقدمه TinyBERT Introduction

• بررسی کاغذ TinyBERT TinyBERT Paper Walkthrough

تشخیص اخبار جعلی با استفاده از DistilBERT، MobileBERT و TinyBERT Fake News Detection using DistilBERT, MobileBERT and TinyBERT

• مقدمه Introduction

• در حال بارگیری اطلاعات اخبار جعلی Fake News Data Loading

• تجزیه و تحلیل مجموعه داده ها Dataset Analysis

• آماده سازی مجموعه داده تقسیم آزمون قطار Train Test Split Dataset Preparation

• توکن سازی داده ها Data Tokenization

• ساخت و تحلیل مدل برای DistilBERT، MobileBERT و TinyBERT Model Building and Analysis for DistilBERT, MobileBERT and TinyBERT

• آموزش مدل Model Training

• ارزیابی مدل Model Evaluation

• ارزیابی عملکرد DistilBERT، MobileBERT و TinyBERT با BERT-Base Performance Benchmarking of DistilBERT, MobileBERT and TinyBERT with BERT-Base

• ارزیابی عملکرد DistilBERT، MobileBERT و TinyBERT با BERT-Base Performance Benchmarking of DistilBERT, MobileBERT and TinyBERT with BERT-Base

جستجوی رستوران تشخیص NER با تنظیم دقیق DistilBERT Restaurant Search NER Recognition By Fine Tuning DistilBERT

• مقدمه Introduction

• مقدمه ای بر NER Introduction to NER

• فرمت برچسب گذاری BIO یا IOB NER چیست؟ What is BIO or IOB NER Tagging Format

• بارگیری مجموعه داده قسمت 1 Loading Dataset Part 1

• بارگیری مجموعه داده قسمت 2 Loading Dataset Part 2

• مجموعه داده HuggingFace قسمت 1 را بارگیری کنید Load HuggingFace Dataset Part 1

• مجموعه داده HuggingFace قسمت 2 را بارگیری کنید Load HuggingFace Dataset Part 2

• مدل سازی و توکن سازی Model Building and Tokenization

• تراز کردن برچسب های NER با توکن ها NER Labels Alignment with Tokens

• برای برچسب‌گذاری NER، Sequence Evaluator بسازید Make Sequence Evaluator for NER Tagging

• آموزش مدل Model Training

• ذخیره مدل و انجام پیش بینی NER Save Model and Do NER Prediction

تنظیم دقیق T5 برای کار خلاصه سازی سفارشی Fine Tuning T5 for Custom Summarization Task

• مقدمه Introduction

• خلاصه سازی چیست What is Summarization

• معیار T5 و BART T5 and BART Benchmarking

• مقدمه ای بر T5 Transformer و SamSum Dataset Introduction to T5 Transformer and SamSum Dataset

• تجزیه و تحلیل مجموعه داده ها Dataset Analysis

• توکن سازی برای تولید متن Tokenization for Text Generation

• تنظیم دقیق T5 T5 Fine Tuning

• پیش بینی خلاصه در داده های سفارشی Summarization Prediction on Custom Data

ترانسفورماتور بینایی تنظیم دقیق (ViT) برای طبقه بندی غذاهای هندی Fine Tuning Vision Transformer (ViT) for Indian Foods Classification

• مقدمه Introduction

• Vision Transformer Introduction and Paper Walkthrough قسمت 1 Vision Transformer Introduction and Paper Walkthrough Part 1

• Vision Transformers Introduction and Paper Walkthrough قسمت 2 Vision Transformers Introduction and Paper Walkthrough Part 2

• مجموعه داده های غذای هندی را بارگیری کنید Load Indian Food Dataset

• پیش پردازش و تبدیل تصویر Image Preprocessing and Transform

• معیارهای ارزیابی تصویر ساختمان Building Image Evaluation Metrics

• مدل Inside ViT چیست؟ What's Inside ViT Model?

• آموزش مدل ViT ViT Model Training

• ذخیره و بارگذاری مدل برای استنتاج Save and Load the Model for Inference

تنظیم دقیق LLM در مجموعه داده سفارشی [نظریه] Fine Tuning LLM on Custom Dataset [Theory]

• مقدمه Introduction

• بررسی مقاله Phi3 Phi3 Paper Review

• بررسی مقاله Phi2 Phi2 Paper Review

• بررسی مقاله Parameter Efficient Fine Tuning (PEFT). Parameter Efficient Fine Tuning (PEFT) Paper Review

• بررسی مقاله سازگار با رتبه پایین (LORA). Low Rank Adaption (LORA) Paper Review

• بررسی مقاله QLORA QLORA Paper Review

• نحوه انجام پیش آموزش (مدل سازی زبان) How Pre-Training is Done (Language Modelling)

• تنظیم دقیق نظارت شده Supervised Fine Tuning

• آداپتور PEFT و LORA دوباره بازدید می کنند PEFT Adapter and LORA Revisits

• PEFT QLORA بازديد مي كند PEFT QLORA Revisits

• اهمیت Quantization شناور نرمال شده 4 بیتی چیست؟ What is Significance of 4-bit Normalized Float Quantization

تنظیم دقیق LLM (Phi2/یا هر LLM) روی داده های سفارشی [کدگذاری] Fine Tuning LLM (Phi2/ or Any LLM) on Custom Data [Coding]

• مقدمه Introduction

• شروع با تنظیم دقیق سفارشی LLM Getting Started with LLM Custom Fine Tuning

• نام و توضیحات محصولات آمازون تجزیه و تحلیل مجموعه داده ها Amazon Products Name and Description Dataset Analysis

• تجزیه و تحلیل مجموعه داده برای انتخاب حداکثر طول رمز Dataset Analysis to Select Max Token Length

• قالب بندی متن را برای چند کار انجام دهید Do Text Formatting for Multi Tasking

• بارگذاری مدل پایه و توکن سازی داده ها Base Model Loading and Data Tokenization

• چگونه مدل پایه خارج از جعبه کار می کند. How Does the Base Model Do Out of the Box.

• اجازه می دهد تا پیکربندی 8 بیتی QLORA را پیکربندی کنیم Lets configure 8-bit QLORA Config

• تنظیم دقیق مدل Phi2 Phi2 Model Fine Tuning

• نام و توضیحات محصول آمازون را با مدل PEFT ایجاد کنید Generate Amazon Product Name and Description by PEFT Model

تنظیم دقیق مدل پایه LLAMA به عنوان مدل چت/دستورالعمل در داده های سفارشی Fine Tuning LLAMA Base Model as Chat/Instruction Model on Custom Data

• مقدمه Introduction

• شروع به کار با Fine Tuning Base LLAMA Getting Started with Fine Tuning Base LLAMA

• بارگیری مجموعه داده برای مدل چت Dataset Loading for Chat Model

• مجموعه داده را در قالب چت آماده کنید Prepare Dataset into Chat Format

• آزمایش مدل پایه LLAMA به عنوان مدل چت Testing Base LLAMA Model as Chat Model

• پیکربندی مدل برای آموزش Model Configuration for Training

• پیکربندی Lora را برای تنظیم دقیق PEFT آماده کنید Prepare Lora Configuration for PEFT Fine tuning

• تنظیم دقیق مدل به عنوان مدل چت Model Fine Tuning as Chat Model

• بارگذاری مدل PEFT از قبل آموزش دیده برای پیش بینی Load Pre-Trained PEFT Model for Prediction