آموزش HDInsight Deep Dive: Storm ، HBase و Hive

سرفصل ها و درس ها

معماری یک راه حل با HDInsight Architecting a Solution with HDInsight

• معرفی ماژول Module Introduction

• Big Data and the Three (or Four) Vs Big Data and the Three (or Four) Vs

• جایی که فناوری های Big Data متناسب است Where Big Data Technologies Fit

• درباره راه حل نمایشی About the Demo Solution

• بررسی اجمالی دوره Course Overview

ذخیره داده های مسابقه در HBase Storing Race Data in HBase

• معرفی ماژول Module Introduction

• طراحی میز HBase HBase Table Design

• روابط مدل سازی Modeling Relationships

• ردیف کلید طراحی Row Key Design

• خانواده های ستونی Column Families

• HBase on Azure HBase on Azure

• اسکریپت های پوسته HBase HBase Shell Scripts

• Stargate REST API The Stargate REST API

• مشتریان NET برای Stargate .NET Clients for Stargate

• ذخیره رویدادهای زمان بندی Storing Timing Events

• ذخیره بخش های زمانی Storing Sector Times

• خلاصه ماژول Module Summary

HBase Deep Dive HBase Deep Dive

• معرفی ماژول Module Introduction

• گره های خوشه HBase HBase Cluster Nodes

• HFiles و مناطق HFiles and Regions

• ساختار داده های HBase در Azure HBase Data Structure in Azure

• جداول متا و جداول منطقه Meta Tables and Region Splits

• مناطق تقسیم شده و پیش از تقسیم شدن Splitting and Pre-splitting Regions

• بهترین شیوه های NET و HBase .NET and HBase Best Practices

• تست یکپارچه سازی با داکر Integration Testing with Docker

• Load Balancing Stargate Load Balancing Stargate

• تجزیه و تحلیل عملکرد Performance Analysis

• مقیاس گذاری و تراکم Scaling and Compaction

• خلاصه ماژول Module Summary

پردازش رویدادهای زمانبندی با طوفان Processing Timing Events with Storm

• معرفی ماژول Module Introduction

• معماری کاربرد طوفان Storm Application Architecture

• پردازش زمان مسابقه با طوفان Processing Race Timing with Storm

• ذخیره رویدادها و تعریف طرح های پیچ Saving Events and Defining Bolt Schemas

• حافظه نهان حافظه محلی در پیچ و مهره Local Memory Caches in Bolts

• Buffering Writing in Bolts Buffering Writes in Bolts

• شستشوی بافرها با جریان تیک Flushing Buffers with the Tick Stream

• طراحی توپولوژی Designing the Topology

• ساخت توپولوژی Building the Topology

• استقرار در HDInsight Deploying to HDInsight

• شبیه سازی های مسابقه در حال اجرا Running Race Simulations

• خلاصه ماژول Module Summary

طوفان غواصی عمیق Storm Deep Dive

• معرفی ماژول Module Introduction

• معماری خوشه طوفان Storm Cluster Architecture

• اجزای محاسبه زمان اجرا Runtime Compute Components

• رویکردهای تست عملکرد Approaches to Performance Testing

• عملکرد تنظیم طوفان Performance Tuning Storm

• مقیاس گذاری خوشه طوفان Scaling the Storm Cluster

• پیام تضمینی Guaranteed Messaging

• اجرای Tuple Trees Implementing Tuple Trees

• ورود به سیستم و مانیتورینگ Logging and Monitoring

• ورود به سیستم م Customلفه های سفارشی Custom Component Logging

• تست واحد ادغام Unit & Integration Testing

• خلاصه ماژول Module Summary

پرس و جو از داده های مسابقه با کندو Querying Race Data with Hive

• معرفی ماژول Module Introduction

• HiveQL ، زبان جستجوگر Hive HiveQL, the Hive Query Language

• نگاشت جداول HBase در کندو Mapping HBase Tables in Hive

• انواع داده های کندو و خانواده های ستون HBase Hive Data Types and HBase Column Families

• استعلام نتایج مسابقه Querying Race Results

• نگاشت فایلهای مسطح در کندو Mapping Flat Files in Hive

• پیوستن به جداول HBase و فایلهای CSV در HiveQL Joining HBase Tables and CSV Files in HiveQL

• نوشتن داده برای Azure از Hive Writing Data to Azure from Hive

• محاسبه مجدد نتایج مسابقه Recalculating Race Results

• نمایش ها و توابع کندو Hive Views and Functions

• مجموعه ها ، پیوستن ها و رتبه بندی ها Collections, Joins, and Ranking

• کندو و داده های بزرگ Hive and Big Data

• خلاصه ماژول Module Summary

شیرجه عمیق کندو Hive Deep Dive

• معرفی ماژول Module Introduction

• کندو و نخ Hive and YARN

• موازی سازی برای نمایشگرهای کندو Parallelism for Hive Queries

• برنامه های اجرای HiveQL HiveQL Execution Plans

• فیلتر کردن جداول HBase Filtering HBase Tables

• پارامتر کردن نمایش داده های کندو با PowerShell Parameterising Hive Queries with PowerShell

• اجرای نمایش داده های موازی موازی با PowerShell Running Parallel Hive Queries with PowerShell

• اتصال Hive ODBC The Hive ODBC Connector

• اتصال به Hive از برنامه های NET Connecting to Hive from .NET Apps

• نوشتن UDF های کندو در C # Writing Hive UDFs in C#

• سفارشی کردن خوشه HBase برای کندو Customizing the HBase Cluster for Hive

• خلاصه دوره Course Summary