آموزش استفاده از معماری لامبدا با Spark ، Kafka و Cassandra

سرفصل ها و درس ها

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

یک معماری مدرن کلان داده A Modern Big Data Architecture

• تعریف معماری لامبدا Defining the Lambda Architecture

• چه چیزی می سازیم؟ What Are We Building?

• تنظیم محیط شما: نسخه ی نمایشی Setting up Your Environment: Demo

• ابزارهایی که ما به آنها نیاز خواهیم داشت: نسخه ی نمایشی Tools We'll Need: Demo

• نصب Course VM: Demo Installing the Course VM: Demo

• پیگیری سریع به مقیاس: اصول Fast Track to Scala: Basics

• پیگیری سریع به مقیاس: ویژگی های زبان Fast Track to Scala: Language Features

• آهنگ سریع به مقیاس: مجموعه ها Fast Track to Scala: Collections

• جرقه با Zeppelin: Demo Spark with Zeppelin: Demo

• خلاصه Summary

لایه دسته ای با Apache Spark Batch Layer with Apache Spark

• معرفی Spark Introduction to Spark

• اجزای جرقه و برنامه ریزی Spark Components and Scheduling

• شروع: نسخه ی نمایشی سازنده را وارد کنید Getting Started: Log Producer Demo

• اولین جرقه کار: نسخه ی نمایشی First Spark Job: Demo

• تجمع با RDD API: نسخه ی نمایشی Aggregations with RDD API: Demo

• تجمیع ها با DataFrame API: نسخه ی نمایشی Aggregations with DataFrame API: Demo

• ذخیره در HDFS و اجرای در YARN: نسخه ی نمایشی Saving to HDFS and Executing on YARN: Demo

• جستجوی داده ها با Spark DataSources API: نسخه ی نمایشی Querying Data with Spark DataSources API: Demo

• خلاصه Summary

لایه لایه با جریان جرقه ای Speed Layer with Spark Streaming

• معرفی Intro

• اصول جریانی جرقه Spark Streaming Fundamentals

• DStream در مقابل RDD DStream vs. RDD

• با استفاده از transform و foreachRDD Using transform and foreachRDD

• SparkSQL در برنامه های جریانی SparkSQL in Streaming Applications

• مدل گیرنده جریانی Streaming Receiver Model

• ایجاد برنامه پخش جرقه ای: نسخه ی نمایشی Creating Spark Streaming Application: Demo

• تهیه کننده ورود جریان: در حال اجرا با Zeppelin: Demo Streaming Log Producer: Running with Zeppelin: Demo

• Refactoring برنامه جریان: نسخه ی نمایشی Refactoring Streaming Application: Demo

• جرقه زدن با تجمیع SparkSQL: نسخه ی نمایشی Spark Streaming with SparkSQL Aggregations: Demo

• پخش جریانی تجمعات با Zeppelin: Demo Streaming Aggregations with Zeppelin: Demo

• خلاصه Summary

عملیات پخش جریانی پیشرفته Advanced Streaming Operations

• معرفی Intro

• ایست بازرسی در جرقه Checkpointing in Spark

• عملیات پنجره Window Operations

• تجسم تحولات حالت مند Visualizing Stateful Transformations

• تحولات حالت مند: updateStateByKey Stateful Transformations: updateStateByKey

• مدیریت دولت با استفاده از updateStateByKey: نسخه ی نمایشی State Management Using updateStateByKey: Demo

• تحولات حالت مند: mapWithState Stateful Transformations: mapWithState

• مدیریت بهتر دولت با استفاده از mapWithState: نسخه ی نمایشی Better State Management Using mapWithState: Demo

• برآورد کاردینالیته Stateful: شمارش منحصر به فرد با استفاده از HyperLogLog Stateful Cardinality Estimation: Unique Counts Using HyperLogLog

• تقریب بازدیدکنندگان منحصر به فرد با استفاده از HLL: نسخه ی نمایشی Approximating Unique Visitors Using HLL: Demo

• ارزیابی عملکرد تقریبی با Zeppelin: Demo Evaluating Approximation Performance with Zeppelin: Demo

• خلاصه Summary

Streaming Ingest با کافکا و Spark Streaming Streaming Ingest with Kafka and Spark Streaming

• معرفی کافکا Introduction to Kafka

• کارگزار کافکا Kafka Broker

• تولید کننده کافکا Kafka Producer

• اختصاص پارتیشن و مصرف کنندگان Partition Assignment and Consumers

• مدل های پیام رسانی Messaging Models

• تهیه کننده کافکا: نسخه ی نمایشی Kafka Producer: Demo

• جرقه گیرنده کافکا: نسخه ی نمایشی Spark Streaming Kafka Receiver: Demo

• Spark Kafka Receiver API Spark Kafka Receiver API

• Spark Kafka API مستقیم جریان Spark Kafka Direct Streaming API

• مستقیم جریان مستقیم API: نسخه ی نمایشی Direct Streaming API: Demo

• جریان مستقیم به HDFS Direct Stream to HDFS

• پخش مستقیم جریان به HDFS: نسخه ی نمایشی Direct Stream to HDFS: Demo

• قابلیت پخش جریانی جریان: نسخه ی نمایشی Streaming Resiliency: Demo

• پردازش دسته ای از HDFS با API منابع داده: نسخه ی نمایشی Batch Processing from HDFS with Data Sources API: Demo

• خلاصه Summary

پافشاری با کاساندرا Persisting with Cassandra

• مقدمه Introduction

• طراحی کاساندرا Cassandra's Design

• پایگاه داده رابطه ای در مقابل کاساندرا Relational Database vs. Cassaandra

• اتصال Spark Cassandra Spark Cassandra Connector

• خواندن با استفاده از DataFrames و Spark SQL Reading Using DataFrames and Spark SQL

• ایجاد جدول های Keyspace و Cassandra: نسخه ی نمایشی Creating Keyspace and Cassandra Tables: Demo

• مدل سازی داده ها با کاساندرا: قسمت 1 Data Modeling with Cassandra: Part 1

• مدل سازی داده ها با کاساندرا: قسمت 2 Data Modeling with Cassandra: Part 2

• کلیدهای ترکیبی در کاساندرا Composite Keys in Cassandra

• مدل سازی داده های سری زمانی با کاساندرا Modeling Time Series Data with Cassandra

• جرقه جریانی بازدیدهای Cassandra در زمان واقعی: نسخه ی نمایشی Spark Streaming Realtime Cassandra Views: Demo

• Spark Batch Cassandra Views: نسخه ی نمایشی Spark Batch Cassandra Views: Demo

• خلاصه Summary