آموزش استخراج هوشمند متن و داده از سند با OCR NER

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• طرح پروژه Project Plan

• سند پروژه Project Document

• منابع را دانلود کنید Download the Resources

• با مشکلی در دوره مواجه هستید؟ راه حل اینجاست Facing any Issue with the Course ? Here is the solution

راه اندازی پروژه Project Setup

• پایتون را نصب کنید Install Python

• محیط مجازی را نصب کنید Install Virtual Environment

• بسته ها را در محیط مجازی نصب کنید Install Packages into Virtual Environment

• Tesseract OCR و Pytesseract را نصب کنید Install Tesseract OCR & Pytesseract

• SpaCy را نصب کنید Install spaCy

• تست کنید، بسته ها نصب می شوند Test, the packages are installed

آماده سازی داده ها Data Preparation

• کارت ویزیت را با استفاده از OpenCV و PIL بارگیری کنید Load Business Card using OpenCV & PIL

• Pytesseract: متن را از Image استخراج کنید Pytesseract: Extract text from Image

• Pytesseract: خطای Tesseract Pytesseract: Tesseract Error

• Pytesseract: Pytesseract چگونه کار می کند؟ Pytesseract: How Pytesseract with work ?

• Pytesseract: تصویر به متن به دیتافریم Pytesseract: Image to text to dataframe

• Pytesseract: پاک کردن متن در Dataframe Pytesseract: Clean Text in Dataframe

• Pytesseract: اطراف هر کلمه را باکس مرزی بکشید Pytesseract: Draw Bounding Box around each word

• متن و داده ها را از تمام کارت ویزیت استخراج کنید Extract Text and Data from all Business Card

• ذخیره داده ها در csv Save data in csv

• برچسب زدن Labeling

پیش پردازش و پاکسازی داده ها Data Preprocessing and Cleaning

• فرمت داده های آموزشی فضایی Spacy Training Data Format

• داده ها را بارگیری کنید و به Pandas DataFrame تبدیل کنید Load Data and convert into Pandas DataFrame

• کد به روز شده Updated Code.

• متن تمیز کردن Cleaning Text

• تبدیل داده ها به فرمت فضایی Convert Data into spacy format

• نهادهای آزمایشی Testing Entities

• تبدیل داده ها به فرمت فضایی برای تمام متن های کارت ویزیت Convert data into spacy format for all Business card text

• تقسیم داده ها به مجموعه آموزشی و آزمایشی Splitting Data into Training and Testing Set

مدل تشخیص نهاد با نام قطار (NER). Train Named Entity Recognition (NER) model

• Spacy: پیکربندی را پر کنید Spacy: Fill the Configuration

• Spacy: داده ها را آماده کنید Spacy: Prepare Data

• Spacy: مدل خط لوله قطار NER Spacy: Train NER pipeline model

• Spacy: Save Model NER Spacy: Save NER Model

پیش بینی ها Predictions

• واردات کتابخانه های مورد نیاز Import Required Libraries

• تابع متن پاک Clean Text Function

• مدل NER فضای بار Load Spacy NER Model

• متن را از تصویر استخراج کرده و به قاب داده تبدیل کنید Extract Text from Image and Convert into Data Frame

• Data Frame را به Content تبدیل کنید Convert Data Frame into Content

• نهادهای نامگذاری شده را از مدل دریافت کنید Get Named Entities from model

• رندر جابجایی Displacy render

• برچسب زدن به هر کلمه Tagging Each Word

• به Label tokens dataframe بپیوندید Join Label to tokens dataframe

• به دیتافریم توکن با داده های Pytesseract بپیوندید Join token dataframe with Pytesseract data

• جعبه محدود کردن و برچسب گذاری موجودیت های پیش بینی شده Bounding Box and Tagging Predicted Entities

• اطلاعات BIO را با هم ترکیب کنید Combine the BIO information

• جعبه مرزی Bounding Box

• تابع تجزیه Parsing Function

• آزمایش کردن Testing

• عناوین را تجزیه کنید Parse Entitles

• عملکرد پیش بینی ها Predictions Function

• خط لوله پیش بینی نهایی Final Prediction Pipeline

بهبود عملکرد مدل Improve Model Performance

• ایده هایی برای بهبود دقت مدل Ideas to Improve model accuracy

• چارچوب مدل نسخه 2: پیش پردازش داده ها Version-2 model framework: Data Preprocessing

• مدل قطار نسخه 2 Train Version 2 model

• پیش بینی ها را از مدل دریافت کنید Get Predictions from the model

اسکنر اسناد Document Scanner

• منابع را دانلود کنید Download the Resources

• اسکنر اسناد در OpenCV چیست و چرا؟ What and Why Document Scanner in OpenCV ?

• تنظیم و خواندن تصویر Setup and Read Image

• تغییر اندازه تصویر با نسبت تصویر یکسان Resize Image with same aspect ratio

• تشخیص لبه (تقویت، تاری و Canny) برای سند Edge Detection (Enhance, Blur and Canny) to Document

• گشاد کردن لبه ها با تبدیل مورفولوژیکی Dilate Edges with morphological transform

• تعداد چهار نقطه را پیدا کنید (محل سند را شناسایی کنید) Find Four Point Countours (Identify Location of document)

• تبدیل Wrap را اعمال کنید و فقط سند را برش دهید Apply Wrap transform and crop only document

• عملکرد اسکنر اسناد: قرار دادن همه با هم Document Scanner Function: Putting All together

• رنگ جادویی به تصویر Magic Color to Image

• ادغام پیش بینی های NER Integrate NER Predictions

برنامه وب اسکنر اسناد Document Scanner Web App

• چه چیزی را توسعه خواهید داد؟ What will you Develop ?

• دانلود اپلیکیشن وب Download Web App

• راه اندازی پروژه برنامه وب Setting Up Web App Project

• VS Code را نصب کنید Install VS Code

• Flask را نصب کنید Install Flask

• اولین برنامه فلاسک First Flask App

• فایل HTML را با سرور Flask اجرا کنید Run HTML file with Flask server

• مراحل طراحی اپلیکیشن وب ما Our Web App design steps

• مرحله 1: صفحه طراحی: نوار ناوبری در HTML ایجاد کنید Step-1: Design Page: Create Navigation Bar in HTML

• مرحله 1: ایجاد صفحه درباره Step-1: Create About Page

• مرحله 2: برای آپلود تصویر یا فایل در HTML فرم HTML ایجاد کنید Step-2: Create HTML form to Upload Image or File in HTML

• مرحله 3: نحوه پیش بینی مختصات سند با پایتون در فلاسک Step-3: How to Predict document coordinates with Python in Flask

• مرحله 2: تصویر پشتیبان را آپلود و ذخیره کنید: settings.py را ایجاد کنید Step-2: Upload and save image Backend : create settings.py

• مرحله 2: آپلود و ذخیره تصویر Backend: ذخیره تصویر از فرم HTML Step-2: Upload and save image Backend: save image from HTML form

• مرحله 3: اسکن اسناد Step-3: Document Scanning

• مختصات سند را با استفاده از جاوا اسکریپت تنظیم کنید Adjust coordinates of document using JavaScript

• سند را بپیچید و برش دهید و تصویر را ذخیره کنید Wrap and Crop the document and save the image

• دریافت پیش بینی ها Get Predictions

• صفحه پیش بینی طراحی Design Predictions page

• نمایش نتایج در جدول Display results in table

• نهایی Final

ضمیمه Appendix

• محدودیت های Pytesseract Limitations of Pytesseract

جایزه BONUS

• سخنرانی پاداش: مراحل بعدی Bonus Lecture: Next Steps