آموزش بوت کمپ پردازش زبان طبیعی در پایتون

سرفصل ها و درس ها

معرفی دوره Course Introduction

• معرفی Introduction

• [توجه]: دوره در طول سال 2023 به روز می شود [Note]: Course is being Updated during 2023

• سخنرانی مهم - این یکی را از دست ندهید IMPORTANT LECTURE - Don't skip this one

• مواد دوره و افزایش سرعت Course Materials and Speed Up

نصب Anaconda و Initial Setup Installing Anaconda and Initial Setup

• [اسلایدها] - تنظیم محیط [Slides] - Setting up the Environment

• نصب Anaconda Distribution Installing the Anaconda Distribution

• وارد کردن محیط به آناکوندا Importing an Environment to Anaconda

• ایجاد یک محیط از ابتدا و نصب کتابخانه های فردی Creating an Environment from Scratch and Installing Individual Libraries

• جایگزین: اجرای نوت بوک در Google Colab Alternative: Running Notebooks on Google Colab

• راه اندازی محیط - آزمون Setting up Environment - Quiz

[اختیاری، برای مبتدیان] - مینی دوره پایه پایتون [Optional, for Beginners] - Python Basics Mini-Course

• [اسلایدها] - دوره مقدماتی پایتون قسمت 1 [Slides] - Python Basics Course Part 1

• [اسلایدها] - دوره مقدماتی پایتون قسمت 2 [Slides] - Python Basics Course Part 2

• شروع - مروری بر نوت بوک Jupyter Getting Started - Jupyter Notebook Overview

• استفاده از پایتون به عنوان یک ماشین حساب - کاوش اعداد صحیح و شناورها Using Python as a Calculator - Exploring Integers and Floats

• کاوش کتابخانه‌ها/ماژول‌های پایتون - با استفاده از کتابخانه ریاضی Exploring Python Libraries / Modules - Using the Math Library

• رشته ها و شاخص های پایتون Python Strings and Indexes

• لیست های پایتون Python Lists

• بحث در مورد روش ها و ویژگی تغییرپذیری Discussing Methods and the Mutability Property

• مجموعه های پایتون Python Sets

• دیکشنری های پایتون Python Dictionaries

• تاپل های پایتون Python Tuples

• جریان کنترل - اگر بیانیه ها Control Flow - If Statements

• جریان کنترل - حلقه های پایتون Control Flow - Python Loops

• توابع پایتون Python Functions

• نمای کلی Numpy Numpy Overview

• بررسی اجمالی پانداها Pandas Overview

• امتحان - دوره سریع پایتون Quiz - Python Quick Course

• آموزش - نحوه تکمیل تمرینات Tutorial - How to Complete the Exercises

• راهکارهای تمرین - سخنرانی کد همراه Exercise Solutions - Code Along Lecture

[اختیاری، برای مبتدیان] - پردازش متن پایه [Optional, for Beginners] - Basic Text Processing

• [اسلایدها] - پردازش متن پایه [Slides] - Basic Text Processing

• چرا کامپیوترها مانند ما کلمات را نمی فهمند؟ Why Computers don't understand words as we do

• فهرست بندی رشته ای String Indexing

• ترکیب رشته ها Combining Strings

• روش تکرار رشته و قالب Iterating Strings and Format Method

• آزمایش اینکه آیا رشته در جمله است و نویسه های فرار Testing if String is in Sentence and Escaping Characters

• روش‌های رشته 1 - طول جمله، تبدیل‌ها، روش‌های حروف کوچک و IsAlpha String Methods 1 - Sentence Length, Conversions, Casing Methods and IsAlpha

• روش های رشته 2 - تقسیم، نوار و پیوستن String Methods 2 - Split, Strip and Join

• روش های رشته 3 - بزرگ کردن، جایگزین کردن، شمارش و پیدا کردن String Methods 3 - Capitalize, Replace, Count and Find

• کار با متن - آزمون Working with Text - Quiz

• راه حل های تمرین - کد در کنار سخنرانی - مبانی رشته Exercise Solutions - Code Along Lecture - String Basics

کاوش NLTK (مجموعه ابزار زبان طبیعی) Exploring NLTK (Natural Language Toolkit)

• [اسلایدها] - معرفی NLTK - Tokenizers و عادی سازی متن [Slides] - NLTK Intro - Tokenizers and Text Normalization

• [اسلایدها] - NLTK - POS و N-Gram [Slides] - NLTK - POS and N-Grams

• بخش مقدمه Section Introduction

• مقدمه ای بر توکن سازی و توکنیزه کننده جمله Intro to Tokenization and Sentence Tokenizer

• مثال توکنایزر Word Word Tokenizer Example

• پاک کردن نشانه‌های ما (حذف علائم نقطه‌گذاری و حروف کوچک) Cleaning our Tokens (Removing Punctuation and lowercase)

• تابع FreqDist NLTK FreqDist NLTK Function

• مقدمه ای بر استمینگ - پورتر، لنکستر و اسنوبال استمر Introduction to Stemming - Porter, Lancaster and Snowball Stemmer

• مثال کاربرد ساقه Stemming Application Example

• مقدمه ای بر Lemmatization Introduction to Lemmatization

• برچسب گذاری قسمتی از گفتار (POS). Part-of-Speech (POS) Tagging

• آموزش تگر POS خودمان - قسمت 1 Training our own POS Tagger - Part 1

• آموزش تگر POS خودمان - قسمت 2 - UniGram Tagger Training our own POS Tagger - Part 2 - UniGram Tagger

• آموزش تگر POS خودمان - قسمت 3 - BiGram Tagger Training our own POS Tagger - Part 3 - BiGram Tagger

• Lemmatization و POS Tagging Lemmatization and POS Tagging

• کلمات را متوقف کنید Stop Words

• مفهوم N-Grams N-Grams Concept

• جعبه ابزار زبان طبیعی - آزمون Natural Language Toolkit - Quiz

• راهکارهای تمرین - سخنرانی کد همراه - NLTK Exercise Solutions - Code Along Lecture - NLTK

پروژه 1 - تجزیه و تحلیل نظرات IMDB Project 1 - Analyzing IMDB Reviews

• شرح پروژه - تجزیه و تحلیل نظرات IMDB Project Description - Analyzing IMDB Reviews

• پیوند به مواد پروژه Link to the Project Materials

شهود بردارهای کلمه Word Vectors Intuition

• [اسلایدها] - شهود بردارهای کلمه [Slides] - Word Vectors Intuition

• مقدمه ای بر وکتورهای ورد و ایجاد بردارهای تک داغ Introduction to Word Vectors and creating One-Hot Vectors

• راه اندازی ماتریس همزمانی Initializing Co-Occurence Matrix

• پر کردن ماتریس همزمانی Filling Co-Occurence Matrix

• کاوش شباهت کسینوس Exploring Cosine Similarity

• تجسم بردارهای کلمه Visualizing Word Vectors

• کلمه به عنوان بردار - آزمون Word as Vectors - Quiz

• راه حل های تمرین - کد در امتداد سخنرانی 1 - بردارهای کلمه Exercise Solutions - Code Along Lecture 1 - Word Vectors

• راه حل های تمرین - کد در امتداد سخنرانی 2 - بردارهای کلمه Exercise Solutions - Code Along Lecture 2 - Word Vectors

[اختیاری] - خواندن داده های متنی در پایتون [Optional] - Reading Text Data into Python

• [اسلایدها] - خواندن داده های متنی در پایتون [Slides] - Reading Text Data into Python

• خواندن داده ها از یک فایل CSV - با استفاده از پانداها Read Data from a CSV File - Using Pandas

• خواندن داده ها از یک فایل CSV - با استفاده از Python CSV Read Data from a CSV File - Using Python CSV

• خواندن داده ها از یک فایل TXT Read Data from a TXT File

• خراش دادن یک صفحه وب با استفاده از درخواست ها و BeautifulSoup - مثال ویکی پدیا Scraping a Web Page using Requests and BeautifulSoup - Wikipedia Example

• خراش دادن یک صفحه وب با استفاده از درخواست ها و BeautifulSoup - یاهو Finance مثال Scraping a Web Page using Requests and BeautifulSoup - Yahoo Finance Example

• خراش دادن یک صفحه وب - خطاها در درخواست Scraping a Web Page - Errors in Request

• خراش دادن یک صفحه وب با استفاده از کتابخانه های خاص Scraping a Web Page using Specific Libraries

• خواندن داده های متن - آزمون Reading Text Data - Quiz

پیاده سازی Continuous Bag of Words و Word2Vec Continuous Bag of Words Implementation and Word2Vec

• [اسلایدها] - تعریف شبکه عصبی و Word2Vec [Slides] - Neural Network Definition and Word2Vec

• مقدمه مدل کیسه کلمات پیوسته (CBOW). Continuous Bag of Words Model (CBOW) Introduction

• CBOW - ایجاد Vocab و One-Hot Vectors CBOW - Creating Vocab and One-Hot Vectors

• CBOW - ویژگی های ساختمان (X) و متغیر هدف (y) CBOW - Building Features (X) and Target Variable (y)

• معرفی و نمودار شبکه عصبی Neural Network Introduction and Diagram

• CBOW - آموزش شبکه عصبی CBOW - Training the Neural Network

• CBOW - بدست آوردن بردارهای کلمه (جاسازی ها) CBOW - Obtaining Word Vectors (Embeddings)

• استخراج داده های ویکی پدیا برای مدل CBOW Extracting Wikipedia Data for CBOW Model

• ایجاد زمینه از داده های ویکی پدیا Building Context from Wikipedia Data

• تبدیل کلمه و متن به بردارهای ریاضی Turning Word and Context Into Mathematical Vectors

• برازش شبکه عصبی در داده های ویکی پدیا Fitting Neural Network on Wikipedia Data

• عملکرد شبکه عصبی و پیش بینی یک کلمه با توجه به یک زمینه Performance of Neural Network and Predicting a Word Given a Context

• بازیابی جاسازی های کلمه و شباهت های کلمه Retrieving Word Embeddings and Word Similarities

• در حال بارگیری Word2VecModel Loading the Word2VecModel

• Word2Vec - عملیات با بردارها (مشابه) Word2Vec - Operations with Vectors (Analogies)

• Word2Vec - تجسم بردارها با استفاده از PCA Word2Vec - Visualizing Vectors using PCA

• اجرای مداوم کیسه کلمات و Word2Vec - آزمون Continuous Bag of Words Implementation and Word2Vec - Quiz

• راه حل های تمرین - کد در امتداد سخنرانی - بردارهای کلمه با استفاده از شبکه های عصبی Exercise Solutions - Code Along Lecture - Word Vectors using Neural Networks

بازنمایی متن Text Representation

• [اسلایدها] - نمایش متن [Slides] - Text Representation

• خواندن فایل توییت ها Reading the Tweets File

• باینری وکتوریزر Binary Vectorizer

• شمارش بردار Count Vectorizer

• TF-IDF Vectorizer TF-IDF Vectorizer

• ایجاد وکتورهای سند از طریق جاسازی های ورد Creating Document Vectors via Word Embeddings

• نمایش متن - آزمون Text Representation - Quiz

• راه حل های تمرین - نمایش متن - قسمت 1 Exercise Solutions - Text Representation - Part 1

• راه حل های تمرین - نمایش متن - قسمت 2 Exercise Solutions - Text Representation - Part 2

طبقه بندی متن Text Classification

• [اسلایدها] - طبقه بندی متن و شهود رگرسیون لجستیک [Slides] - Text Classification and Logistic Regression Intuition

• [اسلایدها] - خط لوله آموزش و آزمایش طبقه بندی متن [Slides] - Text Classification Training and Testing Pipeline

• مقدمه ای بر طبقه بندی متن و بارگیری نظرات مثبت/منفی در پایتون Intro to Text Classification and Loading Positive / Negative Reviews into Python

• پیش پردازش متن برای طبقه بندی متن Pre-Processing Text for Text Classification

• تجزیه و تحلیل داده های اکتشافی: نسبت گزارش و تأثیر کلمه Exploratory Data Analysis: Log Ratio and Word Influence

• ریشه یابی و برداری از بررسی ها Stemming and Vectorizing the Reviews

• ایجاد ویژگی های WordVec و آرایه هدف Creating WordVec Features and Target Array

• شهود رگرسیون لجستیک و تنظیم دستی وزنها Logistic Regression Intuition and Manually Tweaking Weights

• تقسیم قطار و تست Train and Test Split

• برازش و ارزیابی مدل Fitting and Evaluating Model

• به دست آوردن وزن ها/ضرایب رگرسیون (تأثیر توکن ها) Obtaining the Weights/Coefficients of Regression (Influence of Tokens)

• مدل آموزشی با استفاده از ویژگی های Word2Vec Training Model Using Word2Vec Features

• مثال ماتریس سردرگمی Confusion Matrix Example

• آموزش ساده لوح بیز Naive Bayes Training

• پیش بینی احساسات نظرات جدید Predicting New Reviews' Sentiment

• طبقه بندی متن - آزمون Text Classification - Quiz

• طبقه بندی متن - تمرینات Text Classification - Exercises

پایان دوره Course Ending

• [سخنرانی پاداش] - دوره های دیگر [Bonus Lecture] - Other Courses

• بازخورد دوره Course Feedback

• متشکرم! Thank you!