آموزش مدیریت سریع داده ها با Apache Spark SQL و پخش جریانی

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

مقدمه Introduction

• مقدمه Introduction

• داده های سریع: اجتناب از پیچیدگی معماری Lambda Fast Data: Avoiding Lambda Architecture Complexity

• چه چیزی انتظار می رود What to Expect

• جرقه 2.x Spark 2.x

• منابع Resources

• خلاصه Summary

پرس و جو از داده ها با DataFrames (بخش 1) Querying Data with the DataFrames (Part 1)

• مقدمه Introduction

• Spark SQL FTW Spark SQL FTW

• جستجو در API DataFrame Digging into the DataFrame API

• مرور بقیه API DataFrame Reviewing the Rest of the DataFrame API

• سerال کردن با SQL Querying with SQL

• گسترش سerال از طریق توابع Extending Querying via Functions

• صاف کردن داده ها با انفجار Flattening Data with Explode

• کار با ویندوز Working with Windows

پرس و جو از داده ها با DataFrames (بخش 2) Querying Data with the DataFrames (Part 2)

• مقدمه Introduction

• کار با ویندوز Working with Windows

• توابع ، توابع ... Functions, Functions...

• و توابع بیشتر And More Functions

• هنوز عملکرد کافی نیست؟ توابع تعریف شده توسط کاربر Still Not Enough Functions? User Defined Functions

• درک پیوستن Understanding Joins

• مانیتورینگ پیشرفته SQL با Spark UI Advanced SQL Monitoring with the Spark UI

• منابع Resources

• خلاصه Summary

بهبود ایمنی نوع با مجموعه داده ها Improving Type Safety with Datasets

• مقدمه Introduction

• چرا نه فقط DataFrames؟ Why Not Just DataFrames?

• اضافه کردن نوع ایمنی با مجموعه داده ها Adding Type Safety with Datasets

• حتی تجمع هم می تواند از نظر نوع ایمن باشد Even Aggregation Can Be Type Safe

• جستجو در مجموعه داده ها Digging into Datasets

• با مجموعه داده ها می پیوندد Joins with Datasets

• فراتر از پایگاه داده بومی با کاساندرا Beyond Native Datasources with Cassandra

• منابع بیشتر More Datasources

• منابع Resources

• خلاصه Summary

پردازش داده ها با API جریان Processing Data with the Streaming API

• مقدمه Introduction

• چشم انداز جریان The Streaming Landscape

• معرفی کافکا Introducing Kafka

• درک مکانیک Spark Streaming Understanding Spark Streaming's Mechanics

• پخش جریانی در عمل Streaming in Action

• موارد بیشتر از Streaming API More of the Streaming API

• API "RDD" DStream The DStream 'RDD' API

• درباره پخش جریانی مفید: Windows و Checkpoint About Stateful Streaming: Windows and Checkpoints

• استفاده از حالت برای کشف سریع تقلب Utilizing State for Speedy Fraud Detection

• جریان بهبود یافته از طریق mapWithState An Improved Stateful Stream via mapWithState

• رابط کاربری Streaming The Streaming UI

• منابع Resources

• خلاصه Summary

بهینه سازی ، جریان ساختاری و Spark 2.x Optimizing, Structured Streaming, and Spark 2.x

• مقدمه Introduction

• افزایش انعطاف پذیری جریان Increasing Stream Resiliency

• بهینه سازی برای افزایش عملکرد: پخش جریانی Optimizing to Boost Performance: Streaming

• بهینه سازی برای افزایش عملکرد: SQL Optimizing to Boost Performance: SQL

• مقدمه ای بر جریان سازه ای Introduction to Structured Streaming

• شیرجه رفتن عمیق تر به جریان ساختار یافته A Deeper Dive into Structured Streaming

• جریان ساختاری: علامت های آبی و مدل های خروجی Structured Streaming: Watermarks and Output Models

• نسخه ی نمایشی جریان یافته ساختاریافته Structured Streaming Demo

• آینده: جرقه 2.x The Future: Spark 2.x

• منابع Resources

• خلاصه Summary