توسعه جریان داده با Apache Spark، Kafka و Spring Boot [ویدئو]

سرفصل ها و درس ها

معرفی معماری جریان داده Introducing Data Streaming Architecture

• بررسی اجمالی دوره The Course Overview

• کشف معماری طرح خط لوله جریان داده Discovering the Data Streaming Pipeline Blueprint Architecture

• تجزیه و تحلیل پاسخ به درخواست ملاقات در زمان واقعی Analyzing Meetup RSVPs in Real-Time

استقرار مجموعه ها و ردیف های صف پیام Deployment of Collection and Message Queuing Tiers

• اجرای ردیف مجموعه (قسمت اول - جمع آوری داده ها) Running the Collection Tier (Part I – Collecting Data)

• جمع آوری داده ها از طریق Stream Pattern و Spring WebSocketClient API Collecting Data Via the Stream Pattern and Spring WebSocketClient API

• توضیح نقش ردیف پیام Explaining the Message Queuing Tier Role

• معرفی ردیف صف پیام ما – آپاچی کافکا Introducing Our Message Queuing Tier –Apache Kafka

• اجرای ردیف مجموعه (قسمت دوم - ارسال داده) Running The Collection Tier (Part II – Sending Data)

به مرحله دسترسی به داده ها بروید Proceeding to the Data Access Tier

• تشریح ردیف دسترسی به داده Dissecting the Data Access Tier

• معرفی ردیف دسترسی به داده ما – MongoDB Introducing Our Data Access Tier – MongoDB

• کاوش Spring Reactive Exploring Spring Reactive

• افشای ردیف دسترسی به داده در مرورگر Exposing the Data Access Tier in Browser

پیاده سازی لایه تحلیل Implementing the Analysis Tier

• غواصی در سطح تحلیل Diving into the Analysis Tier

• الگوریتم های جریان برای تجزیه و تحلیل داده ها Streaming Algorithms For Data Analysis

• معرفی سطح تحلیل ما – آپاچی اسپارک Introducing Our Analysis Tier – Apache Spark

• پلاگین ردیف تجزیه و تحلیل جرقه به خط لوله ما Plug-in Spark Analysis Tier to Our Pipeline

• مروری کوتاه بر Spark RDDs Brief Overview of Spark RDDs

• جریان جرقه Spark Streaming

• DataFrames، Datasets و Spark SQL DataFrames, Datasets and Spark SQL

• جریان ساختار یافته جرقه Spark Structured Streaming

• یادگیری ماشینی در 7 مرحله Machine Learning in 7 Steps

• MLlib (Spark ML) MLlib (Spark ML)

• Spark ML و Structured Streaming Spark ML and Structured Streaming

• Spark GraphX Spark GraphX

کاهش اتلاف داده بین سطوح جمع آوری، تجزیه و تحلیل و صف پیام Mitigate Data Loss between Collection, Analysis and Message Queuing Tiers

• تحمل خطا (HML) Fault Tolerance (HML)

• کافکا کانکت Kafka Connect

• ایمن سازی ارتباطات بین لایه ها Securing Communication between Tiers