آموزش تصور مدل پردازش برای Apache Spark Streamed Streaming

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

شروع کار با جریان ساختاری Getting Started with Structured Streaming

• پیش نیازها و طرح کلی دوره Prerequisites and Course Outline

• معرفی Apache Spark Introducing Apache Spark

• RDD و DataFrames RDDs and DataFrames

• پخش جرقه ای در مقابل جریان ساختاری Spark Streaming vs. Structured Streaming

• جریان ساختاری Structured Streaming

• Spark Architecture Spark Architecture

• نسخه ی نمایشی: MacOS - Spark را نصب و تنظیم کنید Demo: MacOS - Install and Set up Spark

• نسخه ی نمایشی: ویندوز - Spark را نصب و تنظیم کنید Demo: Windows - Install and Set up Spark

• نسخه ی نمایشی: پخش جریانی تعداد کلمات 1 Demo: Streaming Word Count 1

• نسخه ی نمایشی: پخش جریانی کلمات 2 Demo: Streaming Word Count 2

• نسخه ی نمایشی: محاسبه تجمع با استفاده از SQL Demo: Computing Aggregations Using SQL

اجرای س Exالات پخش جریانی Executing Streaming Queries

• پیشوند یکپارچگی Prefix Integrity

• راه اندازها Triggers

• حالت های خروجی Output Modes

• نسخه ی نمایشی: پیش بینی ها و فیلتر کردن در حالت ضمیمه با استفاده از DataFrames Demo: Projections and Filtering in Append Mode Using DataFrames

• نسخه ی نمایشی: پیش بینی ها و فیلتر کردن در حالت ضمیمه با استفاده از SQL Demo: Projections and Filtering in Append Mode Using SQL

• نسخه ی نمایشی: گروه بندی و تجمیع در حالت کامل با استفاده از DataFrames Demo: Grouping and Aggregation in Complete Mode Using DataFrames

• نسخه ی نمایشی: گروه بندی و تجمیع در حالت کامل با استفاده از SQL Demo: Grouping and Aggregation in Complete Mode Using SQL

• نسخه ی نمایشی: تجمیع و گروه بندی در حالت بروزرسانی با استفاده از DataFrames Demo: Aggregations and Grouping in Update Mode Using DataFrames

• نسخه ی نمایشی: تجمیع و گروه بندی در حالت بروزرسانی با استفاده از SQL Demo: Aggregation and Grouping in Update Mode Using SQL

• استنباط طرحواره Schema Inference

• نسخه ی نمایشی: استنباط Adhoc Schema Demo: Adhoc Schema Inference

درک زمانبندی و Checkpointing Understanding Scheduling and Checkpointing

• برنامه ریزی در جرقه Scheduling in Spark

• FIFO و برنامه ریزی عادلانه FIFO and Fair Scheduling

• RDD و تحمل خطا RDDs and Fault Tolerance

• معناشناسی تحمل خطا Fault Tolerance Semantics

• بازرسی Checkpointing

• نسخه ی نمایشی: بازرسی Demo: Checkpointing

پیکربندی مدلهای پردازش Configuring Processing Models

• مدل های پردازش جریان Stream Processing Models

• پردازش میکرو دسته ای Micro-batch Processing

• پردازش مداوم Continuous Processing

• نسخه ی نمایشی: پردازش مداوم Demo: Continuous Processing

درک برنامه ریزی پرس و جو Understanding Query Planning

• پروژه تنگستن Project Tungsten

• Catalyst Optimizer The Catalyst Optimizer

• متغیرهای پخش و باتری ها Broadcast Variables and Accumulators

• نسخه ی نمایشی: متغیرهای پخش Demo: Broadcast Variables

• نسخه ی نمایشی: باتری Demo: Accumulator

• نسخه ی نمایشی: UDF ها با استفاده از فریم های داده Demo: UDFs Using Data Frames

• نسخه ی نمایشی: ثبت و فراخوانی UDF در SQL Demo: Registering and Invoking UDFs in SQL

• خلاصه و مطالعه بیشتر Summary and Further Study