آموزش استریمینگ داده‌ها و NLP با PySpark - آخرین آپدیت

پردازش جریانی با Apache Spark Stream Processing with Apache Spark

• معرفی دوره: استریمینگ داده‌ها و NLP با PySpark Course Introduction: Data Streaming and NLP with PySpark

• پردازش جریانی چیست؟ What is Stream Processing

• مقیاس‌پذیری در پردازش داده‌ها Scaling up data processing

• پردازش جریانی توزیع‌شده Distributed Stream Processing

• چارچوب‌های محبوب برای پردازش توزیع‌شده Popular Frameworks for Distributed Processing

• نمونه‌هایی از پردازش جریانی Some examples of Stream Processing

• منابع (Sources) و سینک‌ها (Sinks) Sources and Sinks

• سینک‌های داده در پردازش جریانی Data Sinks in Stream Processing

• تبدیلات و تجمیع‌ها Transformations and Aggregations

• تجمیع‌های پنجره‌ای (Window Aggregations) Window Aggregations

• تجمیع‌های پنجره غلتان (Tumbling Window) Tumbling Window Aggregations

• پردازش بدون وضعیت و وضعیت‌دار Stateless and Stateful Processing

• تأثیر زمان The Effect of time

• اجزای پلتفرم‌های داده Components of a Data Platforms

• مدل‌های معماری Architectural Models

• استریمینگ ارجاعی Referential Streaming

اسپارک استریمینگ (Spark Streaming) Spark Streaming

• آشنایی با Spark Streaming Introduction to Spark Streaming

• انتزاع Dstream Dstream Abstraction

• ساختار یک اپلیکیشن Spark Streaming The structure of a spark streaming application

• درک تبدیلات Dstream Understanding Dstream Transformations

• تبدیلات Dstream محوریت-المان Element centric D stream Transformations

• تبدیلات Dstream محوریت-RDD RDD centric Dstream Transformations

• منسوخ شدن Spark Streaming Spark Streaming Deprecation

• بررسی Spark Structured Streaming Exploring Spark Structured Streaming

مبانی استریمینگ ساختاریافته (Structured Streaming) Foundations of Structured Streaming

• معرفی پردازش ساختاریافته Introduction to Structured Processing

• تحلیل‌های دسته‌ای (Batch Analytics) Batch Analytics

• مفاهیم کلیدی تحلیل‌های دسته‌ای Key Concepts of Batch Analytics

• تحلیل‌های جریانی (Stream Analytics) Stream Analytics

• مدل برنامه‌نویسی Structured Streaming Programming Model of Structured Streaming

• مدیریت وضعیت (State Management) State Management

• منابع ورودی Input Sources

• منابع Socket و Rate Socket and Rate sources

• عملیات پایه در Structured Streaming Basic Operations of Structured Streaming

• عملیات پنجره‌ای Window Operations

• سینک‌های خروجی Output Sinks

• سینک‌های کنسول و حافظه Console and Memory Sinks

• راه‌اندازی برای محتوای استریمینگ Setup for Streaming Content

• استریم کردن محتوا از فایل محلی Streaming the Content from Local file

• انجام تجمیع روی داده‌های جریانی Performing Aggregation on Streaming Data

• ذخیره داده‌ها در SQL Saving the Data to SQL

• خواندن داده‌ها از Local Socket Reading Data from Local Socket

• اتصال به Rate و فایل‌های محلی Connecting to Rate and Local files

• بارگذاری داده‌ها از Kafka Loading Data from Kafka

• نوشتن خروجی در فایل‌های محلی Writing Output to local files

• نوشتن داده‌های جریانی در حافظه و Kafka Sink Writing Streaming Data to Memory and Kafka Sink

• عملیات Join Joining Operations

• اتصال استریم و استاتیک (Stream Static Join) Stream-Static Join

• اینر جوین (Inner Join) در Structured Streaming Inner Join in Structured Streaming

• شرایط Join و واترمارکینگ (Watermarking) Join Conditions and Watermarking

• مانیتورینگ استریمینگ Monitoring streaming

• گزارش‌دهی متریک‌ها Reporting Metrics

• بازیابی از خطاها با Checkpointing Recovering from Failures with Checkpointing

• مزایا و چالش‌های Checkpointing Benefits and Challenges in Checkpointing

• استراتژی‌های بازیابی موثر Strategies for Effective Recovery

• خواندن داده‌های IOT Reading IOT Data

• انجام عملیات پنجره‌ای Performing Window Operations

• نوشتن خروجی داده‌های IOT در فایل CSV Writing Output IOT Data to CSV file.

اسپارک NLP (Spark NLP) Spark NLP

• مروری بر یادگیری عمیق (Deep Learning) Overview of Deep Learning

• مروری بر شبکه‌های عصبی Neural Networks Overview

• توابع فعال‌ساز رایج Common Activation Functions

• اهمیت پیش‌پردازش داده‌ها Importance of Data Preprocessing

• تکنیک‌های تبدیل داده‌ها Data Transformation Techniques

• آموزش شبکه‌های عصبی Training Neural Networks

• معرفی یادگیری توزیع‌شده Introduction to Distributed Learning

• مزایای یادگیری توزیع‌شده Benefits of Distributed Learning

• استفاده از PySpark برای یادگیری توزیع‌شده PySpark for Distributed Learning

• مروری بر چارچوب‌ها Overview of Frame works

• چارچوب H2O.ai H2O. ai Framework

• دموی طبقه‌بندی تصاویر Demonstration of Image Classification

• پیاده‌سازی SParkDL Implementing SParkDL

• معرفی پردازش زبان طبیعی (NLP) Introduction to Natural Language Processing

• انواع وظایف NLP Types of NLP Tasks

• مفاهیم کلیدی NLP Key Concepts of NLP

• تحلیل معنایی (Semantic Analysis) Semantic Analysis

• پردازش کلمات Processing Words

• بازیابی اطلاعات (Information Retrieval) Information Retrieval

• تکنیک‌های پیشرفته بازیابی اطلاعات Advanced Information Retrieval Techniques

• انجام Finisher با Spark NLP Performing Finisher with Spark NLP

• پیاده‌سازی TF-IDF Implementing TF-IDF

• دموی Lemmatizer Demonstration of Lemmatizer

• دموی Tokenizer با Spark NLP Demonstration of Tokenizer with Spark NLP

• بهینه‌سازی مدیریت و ذخیره‌سازی داده‌ها در PySpark Optimizing Data Handling and Storage in PySpark

• استفاده از Parquet و ORC برای ذخیره‌سازی بهینه Using Parquet and ORC for Optimized Data Storage

• تنظیم عملکرد (Performance Tuning) برای جاب‌های PySpark Performance Tuning for PySpark Jobs

• کشینگ و ماندگاری دیتافریم‌ها Caching and Persisting Data frames

• بهترین روش‌ها برای نوشتن کد PySpark Best Practices for Writing PySpark Code

جمع‌بندی دوره و ارزیابی Course-Wrap up and Assessment

• جمع‌بندی دوره استریمینگ و NLP با PySpark Course Summary of Streaming and NLP with PySpark