آموزش Spark NLP برای دانشمندان داده - آخرین آپدیت

سرفصل ها و درس ها

مرور کلی Spark NLP Spark NLP Overview

• مرور کلی Spark NLP برای دانشمندان داده Spark NLP for Data Scientists overview

• ساختار دوره Spark NLP Spark NLP Course Structure

پردازش متن - نرمال سازی متن با غلط گیر املایی Text Preprocessing - Text Normalization with Spell Checker

• غلط گیر املایی متنی بخش اول Context Spell Checker part 1

• غلط گیر املایی متنی بخش دوم Context Spell Checker part 2

• غلط گیر املایی متنی بخش سوم Context Spell Checker part 3

• غلط گیر املایی متنی بخش چهارم Context Spell Checker part 4

• غلط گیر املایی NorvigSweeting NorvigSweeting Spellchecker

• غلط گیر املایی SymmetricDelete SymmetricDelete Spellchecker

پردازش متن - استخراج و نرمال سازی تاریخ ها Text Processing - Extracting and Normalizing the Dates

• Date Matcher و MultiDateMatcher Date Matcher and MultiDateMatcher

پردازش متن - تولید NGram Text Preprocessing - NGram Generation

• NGramGenerator NGramGenerator

پردازش متن - ریشه یابی و استخراج ریشه لغات Text Preprocessing - Stemming and Lemmatizing

• Lemmatizer Lemmatizer

• Stemmer Stemmer

مدل های پردازش متن Text Preprocessing Models

• SentenceDetectorDL SentenceDetectorDL

• Normalizer Normalizer

• StopWordsCleaner StopWordsCleaner

پاکسازی متن با DocumentNormalizer Text cleaning with DocumentNormalizer

• DocumentNormalizer DocumentNormalizer

پردازش متن - توکن سازی متن با Tokenizer Text Preprocessing - Text tokenization with Tokenizer

• Tokenizer Tokenizer

• RegexTokenizer RegexTokenizer

• ChunkTokenizer ChunkTokenizer

• TokenAssembler TokenAssembler

استخراج اطلاعات - استخراج کلیدواژه Information Extraction - Keyword Extraction

• استخراج کننده کلیدواژه YAKE YAKE keyword extractor

استخراج اطلاعات با عبارات منظم (Regular Expression) Information Extraction with Regular Expression

• RegexMatcher RegexMatcher

استخراج اطلاعات با مدل های مبتنی بر متن Information Extraction with Text-based models

• TextMatcher و BigTextMatcher TextMatcher and BigTextMatcher

تجزیه وابستگی و حل ارجاع با DependecyParser Dependency Parsing and Coreference Resolution with DependecyParser

• Dependency Parser Dependency Parser

• POS Tagger POS Tagger

• Chunker Chunker

استخراج اطلاعات - استخراج اطلاعات مبتنی بر گراف Information Extraction - Graph-based Information Extraction

• GraphExtraction GraphExtraction

حل ارجاع با SpanBertCoref Coreference Resolution with SpanBertCoref

• SpanBertCoref SpanBertCoref

بازنمایی متن با Embeddings و Vectorization - Word Embeddings Text Representation with Embeddings and Vectorization - Word Embeddings

• Word2Vec Word2Vec

• WordEmbeddings بخش اول WordEmbeddings part 1

• WordEmbeddings بخش دوم WordEmbeddings part 2

بازنمایی متن با Embeddings و Vectorization - Sentence Embeddings Text Representation with Embeddings and Vectorization - Sentence Embeddings

• Doc2Vec Doc2Vec

• Chunk Embeddings Chunk Embeddings

• SentenceEmbeddings SentenceEmbeddings

• UniversalSentenceEncoder UniversalSentenceEncoder

• Embeddings Finisher Embeddings Finisher

بازنمایی متن با Embeddings و Vectorization با Transformers Text Representation with Embeddings and Vectorization with Transformers

• Embeddings مبتنی بر Transformers بخش اول Transformers-based Embeddings Part 1

• Embeddings مبتنی بر Transformers بخش دوم Transformers-based Embeddings Part 2

• Embeddings Finisher Embeddings Finisher

تحلیل احساسات Sentiment Analysis

• ViveknSentiment ViveknSentiment

• SentimentDL SentimentDL

• SentimentDetector SentimentDetector

طبقه بندی متن با Transformers Text Classification with Transformers

• Bert برای طبقه بندی دنباله بخش اول Bert for Sequence Classification Part 1

• Bert برای طبقه بندی دنباله بخش دوم Bert for Sequence Classification Part 2

• Sentence Embeddings با Transformers بخش اول Sentence Embeddings with Transformers Part 1

• Sentence Embeddings با Transformers بخش دوم Sentence Embeddings with Transformers Part 2

طبقه بندی متن - آموزش مدل های طبقه بندی متن با ClassifierDL Text Classification - Training Text Classification models with ClassifierDL

• ClassifierDLApproach ClassifierDLApproach

• ClassifierDLModel ClassifierDLModel

• MultiClassifierDL MultiClassifierDL

تشخیص موجودیت نام دار (NER) - تشخیص موجودیت نام دار مبتنی بر قاعده با EntityRuler Named Entity Recognition (NER)- Rule-based NER with EntityRuler

• EntityRuler EntityRuler

تشخیص موجودیت نام دار (NER) - تشخیص موجودیت نام دار با معماری BiLSTM-CNN-Char Named Entity Recognition (NER) - NER with BiLSTM-CNN-Char architecture

• NerDLModel و NerConverter NerDLModel and NerConverter

• NerOverwriter NerOverwriter

تشخیص موجودیت نام دار (NER) - مصورسازی موجودیت های نام دار Named Entity Recognition (NER) - Visualizing the Named Entities

• NerVisualizer NerVisualizer

تشخیص موجودیت نام دار (NER) - آموزش مدل های NER سفارشی با NerDLApproach Named Entity Recognition (NER) - Training custom NER models with NerDLApproach

• NerDLApproach NerDLApproach

• TFNerDLGraphBuilder TFNerDLGraphBuilder

• آماده سازی CoNLL برای NER CoNLL Preparation for NER

تشخیص موجودیت نام دار (NER) - فیلدهای تصادفی شرطی برای NER با NerCrf Named Entity Recognition (NER) - Conditional Random Fields for NER with NerCrf

• NerCrf NerCrf

تشخیص موجودیت نام دار (NER) - NER با Bert برای طبقه بندی توکن Named Entity Recognition (NER) - NER with Bert for Token Classification

• Bert برای طبقه بندی توکن بخش اول Bert for Token Classification Part 1

• Bert برای طبقه بندی توکن بخش دوم Bert for Token Classification Part 2

پرسش و پاسخ از متن با Transformers Question Answering from Text with Transformers

• پرسش و پاسخ با Transformers Question Answering with Transformers

• MultiDocumentAssembler MultiDocumentAssembler

پرسش و پاسخ از جداول با TAPAS Question Answering from Tables with TAPAS

• Tapas برای پرسش و پاسخ Tapas For Question Answering

NLP چندزبانه - بخش بندی کلمات با WordSegmenter Multilingual NLP - Word segmentation with WordSegmenter

• WordSegmenter WordSegmenter

NLP چندزبانه - ترجمه ماشینی چندزبانه با MarianTransformer Multilingual NLP - Multilingual machine translation with MarianTransformer

• MarianTransformer MarianTransformer

NLP چندزبانه - تشخیص زبان با LanguageDetectorDL Multilingual NLP - Language Detection with LanguageDetectorDL

• LanguageDetectorDL LanguageDetectorDL

موضوعات پیشرفته - طبقه بندی تصویر با VIT Advanced Topics - Image Classifiation with VIT

• ImageAssembler ImageAssembler

• ViTForImageClassification ViTForImageClassification

موضوعات پیشرفته - بهره گیری از مدل T5 برای NLP (T5Transformer) Advanced Topics - Leveraging the T5 model for NLP (T5Transformer)

• T5Transformer T5Transformer

موضوعات پیشرفته - تبدیل گفتار به متن Advanced Topics - Speech-to-Text Conversion

• Wav2VecForCTC بخش اول Wav2VecForCTC Part 1

• Wave2VecForCTC بخش دوم Wave2VecForCTC Part 2

ابزارها و حاشیه نویس های کاربردی Utility Tools & Annotators

• LightPipeline LightPipeline

• Token2Chunk Token2Chunk

• PretrainedPipeline PretrainedPipeline

• DocumentAssembler DocumentAssembler

• Finisher Finisher

• Doc2Chunk Doc2Chunk

• Chunk2Doc Chunk2Doc

• GPT2Transformer GPT2Transformer