آموزش پردازش زبان طبیعی برای جمع بندی متن
Natural Language Processing for Text Summarization
آنچه خواهید آموخت
- تئوری و محاسبات ریاضی الگوریتم های خلاصه سازی متون را درک کنید
- الگوریتم های خلاصه سازی زیر را گام به گام در پایتون پیاده سازی کنید: مبتنی بر فرکانس ، مبتنی بر فاصله و الگوریتم کلاسیک Luhn
- برای جمع بندی متن از کتابخانه های زیر استفاده کنید: sumy ، pysummarization و BERT summarizer
- خلاصه مقالات استخراج شده از صفحات وب و فیدها
- برای پیاده سازی پردازش زبان طبیعی خود از کتابخانه های NLTK و spaCy و Google Colab استفاده کنید
- برای ارائه خلاصه تجسم HTML ایجاد کنید
حوزه پردازش زبان طبیعی (NLP) زیر ناحیه ای از هوش مصنوعی است که هدف آن این است که رایانه ها قادر به درک زبان انسانها ، هم نوشتاری و هم گفتاری باشند. برخی از نمونه های کاربردی عبارتند از: مترجمان بین زبانها ، ترجمه از متن به گفتار یا گفتار به متن ، چت بات ها ، سیستم های پرسش و پاسخ خودکار (QA) ، تولید خودکار توضیحات برای تصاویر ، ایجاد زیرنویس در فیلم ها ، طبقه بندی احساسات در جملات ، در میان بسیاری دیگر! کاربرد مهم دیگر ، جمع بندی خودکار اسناد است که شامل ایجاد خلاصه های متنی است. فرض کنید شما نیاز به خواندن مقاله ای با 50 صفحه دارید ، با این حال ، زمان کافی برای خواندن متن کامل ندارید. در این صورت ، می توانید از یک الگوریتم خلاصه برای ایجاد خلاصه ای از این مقاله استفاده کنید. اندازه این خلاصه قابل تنظیم است: شما می توانید 50 صفحه را به 20 صفحه تبدیل کنید که تنها مهمترین قسمتهای متن را شامل می شوند!
بر این اساس ، این دوره نظریه و عمدتا اجرای عملی سه الگوریتم خلاصه سازی متن را ارائه می دهد: (i) مبتنی بر فرکانس ، (ii) مبتنی بر فاصله (شباهت کسینوس با Pagerank) و (iii) معروف و کلاسیک الگوریتم Luhn ، که یکی از اولین تلاش ها در این زمینه بود. در طول سخنرانی ها ، هر یک از این الگوریتم ها را با استفاده از فناوری های مدرن ، مانند زبان برنامه نویسی پایتون ، NLTK (مجموعه ابزار زبان طبیعی) و کتابخانه های spaCy و Google Colab ، گام به گام پیاده سازی می کنیم ، که این اطمینان را می دهد که با نصب هیچ مشکلی نخواهید داشت. یا پیکربندی نرم افزار در دستگاه محلی شما.
علاوه بر پیاده سازی الگوریتم ها ، نحوه استخراج اخبار از وبلاگ ها و فیدها را نیز خواهید آموخت و همچنین نماهای جالبی از خلاصه ها را با استفاده از HTML ایجاد خواهید کرد! پس از پیاده سازی الگوریتم ها از ابتدا ، یک ماژول اضافی دارید که در آن می توانید از کتابخانه های خاص برای خلاصه سازی اسناد مانند: sumy ، pysummarization و BERT summarizer استفاده کنید. در پایان دوره ، همه چیز را که برای ایجاد الگوریتم های خلاصه خود نیاز دارید ، می دانید! اگر تا به حال درباره خلاصه نویسی متن چیزی نشنیده اید ، این دوره برای شما مناسب است! از سوی دیگر ، اگر از قبل تجربه دارید ، می توانید از این دوره برای مرور مفاهیم استفاده کنید.
چه کسی این دوره است:
- مردم علاقه مند به پردازش زبان طبیعی و خلاصه متن
- مردم علاقه مند به اسفنجی های تبلیغاتی و NLTK
- دانش آموزانی که موضوعات مربوط به هوش مصنوعی را مطالعه می کنند
- دانشمندان داده که می خواهند دانش خود را در پردازش زبان طبیعی افزایش دهند
- حرفه ای ها علاقه مند به توسعه راه حل های خلاصه متن
- مبتدیانی که شروع به یادگیری پردازش زبان طبیعی می کنند
معرفی Introduction
-
محتوای دوره Course content
-
مقدمه ای بر پردازش زبان طبیعی Introduction to natural language processing
-
کد منبع و اسلایدها Source code and slides
الگوریتم مبتنی بر فرکانس Frequency-based algorithm
-
طرح حمله Plan of attack
-
الگوریتم - شهود Algorithm - intuition
-
پیش پردازش متون 1 Preprocessing the texts 1
-
پیش پردازش متون 2 Preprocessing the texts 2
-
فرکانس کلمات Word frequency
-
فرکانس وزنی کلمات Weighted word frequency
-
علامت گذاری نشانه Sentence tokenization
-
تولید خلاصه Generating the summary
-
تجسم خلاصه در HTML Visualizing the summary in HTML
-
استخراج متون از اینترنت Extracting texts from the Internet
-
عملکرد خلاصه کردن متون Function to summarize the texts
-
عملکردی برای تجسم نتایج Function to visualize the results
-
جمع بندی چند متن Summarizing multiple texts
الگوریتم لوهن Luhn algorithm
-
طرح حمله Plan of attack
-
آماده سازی محیط Preparing the environment
-
پیاده سازی 1 Implementation 1
-
پیاده سازی 2 Implementation 2
-
پیاده سازی 3 Implementation 3
-
پیاده سازی 4 Implementation 4
-
پیاده سازی 5 Implementation 5
-
استخراج متون از اینترنت Extracting texts from the Internet
-
خواندن مقالات از خوراک RSS Reading articles from RSS feeds
-
ابر کلمه Word cloud
-
استخراج موجودیت های نامگذاری شده Extracting named entities
-
جمع بندی مقالات از فید Summarizing articles from feed
-
خلاصه در فایل های HTML Summary in HTML files
شباهت به کسینوس Cosine similarity
-
طرح حمله Plan of attack
-
آماده سازی محیط Preparing the environment
-
شباهت بین جملات 1 Similarity between sentences 1
-
شباهت بین جملات 2 Similarity between sentences 2
-
ماتریس شباهت Similarity matrix
-
خلاصه متون Summarizing texts
-
استخراج متون از اینترنت Extracting texts from the Internet
-
استخراج متون از اینترنت Extracting texts from the Internet
کتابخانه ها برای جمع بندی متن Libraries for text summarization
-
طرح حمله Plan of attack
-
طرح حمله Plan of attack
-
آماده سازی محیط Preparing the environment
-
کتابخانه سومی Sumy library
-
کتابخانه جمع بندی مجدد Pysummarization library
-
کتابخانه خلاصه گر BERT BERT summarizer library
-
مطالب اضافی: خلاصه چکیده Additional content: abstractive summarization
نکات پایانی Final remarks
-
نکات پایانی Final remarks
Udemy (یودمی)
یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.
یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.
https://donyad.com/d/7c86
Jones Granatyr
استاد اولا! 10 مورد از جونز گراناتیر و ترابیلو در 10 سال گذشته است که شامل Inteligência Artificial (IA) می باشد استاد حرفه ای ، پشکیزادور و بنیانگذار پورتال IA Expert ، وب سایت com conteúdo específico sobre Inteligência Artificial. Desde que iniciei na Udemy criei vários cursos sobre diversos assuntos de IA، como as exemplolo: یادگیری عمیق ، یادگیری ماشین ، علم داده ، Redes Neurais Artificiais، Algoritmos Genéticos، Detecção e Reconhecimento Facial، Algoritmos de cesos، Busca ، Mineração de Regras de Associação ، Sistemas Especialistas e Sistemas de Recomendação. اگر بخواهید از طریق برنامه های مختلف زبان (Python ، R e Java) و یا فن آوری های مختلف (tensorflow ، keras ، pandas ، sklearn ، opencv ، dlib ، weka ، nltk ، به عنوان مثال) استفاده کنید. با توجه به هدف اصلی و دستیابی به اطلاعات IA و مجوز فعالیت در TI و متقاضیان ، به عنوان تجدید نظر در زمینه استفاده از قوانین و مقررات و امکان مشاهده تجدید نظرهای جدید در زمینه مشروبات الکلی ارائه می شود.
IA Expert Academy
Plataforma de Cursos sobre Ciência de Dados و IAA plataforma IA Expert tem o Objetivo de trazer cursos teóricos and Páticos de facil entendimento sobre sobre Inteligência Artificial e Ciência de Dados، برای اینکه حرفه ای به عنوان یک IAcareos به عنوان یک رضایتمندی به عنوان یک رضایتمندی شناخته شود. trazer para seus negócios، bem como apresentar todas as oportunidades que essa área pode trazer para profissionais de tecnologia da informação. Também trazemos notícias atualizadas semanais sobre a área em nosso portal.
نمایش نظرات