آموزش طوفان آپاچی برای پردازش داده های بزرگ [ویدئو]

سرفصل ها و درس ها

معرفی پردازش زمان واقعی Introducing Real-time Processing

• بررسی اجمالی دوره The Course Overview

• آشنایی با معماری لامبدا Understanding Lambda Architecture

• انواع پردازش داده های بزرگ Big Data Processing Types

• طوفان آپاچی چیست؟ What Is Apache Storm?

• چه زمانی از Apache Storm استفاده کنیم؟ When to Use Apache Storm?

مفاهیم طوفان آپاچی Apache Storm Concepts

• توپولوژی Topology

• تاپل ها Tuples

• دهانه و پیچ و مهره Spouts and Bolts

• Streams و StreamGrouping Streams and StreamGrouping

راه اندازی محیط توسعه طوفان آپاچی Setting Up Your Apache Storm Development Environment

• مقدمه - پیش نیازها و سیستم مورد نیاز Introduction – Prerequisites and System Requirements

• نصب جاوا و تنظیم متغیرهای محیط Installing Java and Setting Environment Variables

• نصب و پیکربندی Eclipse Installing and Configuring Eclipse

• ساخت پروژه طوفان آپاچی با استفاده از Maven Building Apache Storm Project Using Maven

• ساخت پروژه طوفان آپاچی با استفاده از پیکربندی JAR خارجی Building Apache Storm Project Using External JAR Configuration

ایجاد اولین توپولوژی طوفان ما Creating Our First Storm Topology

• درک بیان مسئله Understanding the Problem Statement

• توسعه کلاس Spout برای انتشار داده ها Developing Spout Class to Emit the Data

• یک کلاس پیچ برای انجام محاسبات ایجاد کنید Develop a Bolt Class to Perform Calculation

• یک کلاس پیچ برای چاپ نتیجه در کنسول ایجاد کنید Develop a Bolt Class to Print Result in Console

• توسعه کلاس توپولوژی Developing Topology Class

• اجرای برنامه ما در Eclipse Executing Our Application in Eclipse

راه اندازی Apache Storm به عنوان یک کلاستر تک گره Setting Up Apache Storm as a Single-Node Cluster

• درک شیطان های طوفان Understanding Storm Daemons

• پیش نیازها Prerequisites

• راه اندازی Zookeeper در حالت مستقل Setting Up Zookeeper in Standalone Mode

• Apache Storm را در Single-Node نصب و پیکربندی کنید Install and Configure Apache Storm in Single-Node

• NumSquareTopology را در Cluster مستقر کنید Deploy NumSquareTopology in Cluster

• Storm UI را کاوش کنید و ویژگی های اساسی را درک کنید Explore Storm UI and Understand Essential Features

راه اندازی Apache Storm در چند نود خوشه Setting Up Apache Storm in Multi-Node Cluster

• راه اندازی Zookeeper در حالت چند گره Setting Up Zookeeper in Multi-Node Mode

• راه اندازی Apache Storm در چند نود خوشه Setting Up Apache Storm in Multi-Node Cluster

پیاده سازی StreamGroupings در Apache Storm Implementing StreamGroupings in Apache Storm

• معرفی Introduction

• پیاده سازی ShuffleGrouping Implementing ShuffleGrouping

• پیاده سازی FieldGrouping Implementing FieldGrouping

• پیاده سازی AllGrouping Implementing AllGrouping

• پیاده سازی CustomGrouping Implementing CustomGrouping

• پیاده سازی DirectGrouping Implementing DirectGrouping

ادغام Hadoop با Apache Storm Integrating Hadoop with Apache Storm

• معرفی Introduction

• نوشتن یک پیچ HDFS Writing a HDFS Bolt

درک و پیاده سازی ترایدنت ها در طوفان آپاچی Understanding and Implementing Tridents in Apache Storm

• معرفی Introduction

• ساخت توپولوژی با استفاده از ترایدنت Building Topology Using Trident

• درک و پیاده سازی نقشه، فیلتر و عملکرد جمع Understand and Implement Map, Filter, and Aggregate Function

• عملیات پنجره Windowing Operations

• پیوستن به استریم تاپلز در طوفان Joining Stream Tuples in Storm