آموزش SQL در Hadoop - تجزیه و تحلیل داده های بزرگ با Hive

سرفصل ها و درس ها

مقدمه ای بر هادوپ Introduction to Hadoop

• مقدمه Introduction

• انگیزه برای هادوپ Motivation for Hadoop

• چالش های محاسباتی توزیع شده Distributed Computing Challenges

• سیستم فایل Hadoop (HDFS) Hadoop File System (HDFS)

• MapReduce MapReduce

• مثال تعداد کلمات Word Count Example

• نسخه ی نمایشی: دستورات اولیه Hadoop و تنظیم محیط Demo: Basic Hadoop Commands and Environment Setup

• خلاصه Summary

مقدمه ای بر کندو Introduction to Hive

• مقدمه Introduction

• انگیزه کندو Hive Motivation

• معماری کندو Hive Architecture

• اصول کندو - طرحواره در خواندن Hive Principles - Schema on Read

• اصول کندو - انبار کندو Hive Principles - The Hive Warehouse

• Hive Query Language Basics - SELECT و Sub Queries Hive Query Language Basics - SELECT and Sub Queries

• ایجاد پایگاه داده و جداول با HiveQL Creating Databases and Tables with HiveQL

• نسخه ی نمایشی: کار با جداول Hive و بارگیری داده ها در انبار Demo: Working with Hive Tables and Loading Data into Warehouse

• بارگیری داده ها - جداول مدیریت شده و خارجی Hive Loading Data - Hive Managed and External Tables

• نسخه ی نمایشی: جداول خارجی و ایجاد جایگزین های جدول Demo: External Tables and Create Table Alternatives

• خلاصه Summary

زبان پرس و جو Hive Hive Query Language

• مقدمه Introduction

• انواع داده ها Data Types

• تبدیل نوع Type Conversions

• جداول پارتیشن بندی شده مدیریت شده Managed Partitioned Tables

• جداول پارتیشن بندی شده خارجی External Partitioned Tables

• نسخه ی نمایشی: پارتیشن بندی جدول Demo: Table Partitioning

• چند درج و درج پارتیشن پویا Multi Inserts and Dynamic Partition Inserts

• نسخه ی نمایشی: بارگیری مورد استفاده از داده ها Demo: Loading Data Use Case

• بازیابی داده ها - گروه بر اساس و توابع Data Retrieval - Group By and Functions

• مرتب سازی و کنترل جریان داده Sorting and Controlling Data Flow

• CLI و جایگزینی متغیر The CLI and Variable Substitution

• خلاصه Summary

HiveQL پیشرفته Advanced HiveQL

• مقدمه Introduction

• سطل سازی Bucketing

• نمونه برداری سطلی و بلوکی Bucket and Block Sampling

• می پیوندد Joins

• Join in Depth و Join Optimizations Joins in Depth and Join Optimizations

• اتصالات سمت نقشه برای جداول سطلی Map-side Joins for Bucketed Tables

• حافظه پنهان توزیع شده Distributed Cache

• UDTF ها، انفجار و نمای جانبی UDTFs, Explode and Lateral View

• نسخه ی نمایشی: گسترش Hive - ایجاد UDF خودتان Demo: Extending Hive - Creating Your own UDF

• نسخه ی نمایشی: گسترش Hive - کامپایل و آزمایش UDF سفارشی Demo: Extending Hive - Compiling and Testing Custom UDF

• Extnding Hive - سفارشی UDF Recap Extending Hive - Custom UDF Recap

• نسخه ی نمایشی: فایل اولیه سازی Hive Demo: Hive Initialization File

• دسترسی به حافظه پنهان توزیع شده Accessing The Distributed Cache

• Hadoop Streaming and Transform() Hadoop Streaming and Transform()

• توابع پنجره و تجزیه و تحلیل Windowing and Analytics Functions

• نسخه ی نمایشی: قرار دادن همه چیز با هم با استفاده از Transform Demo: Putting it All Together Using Transform

• نسخه ی نمایشی: توابع تجزیه و تحلیل Demo: Analytics Functions

• نسخه ی نمایشی: توابع رتبه بندی Demo: Ranking Functions

• خلاصه Summary

ذخیره سازی و اکو سیستم Storage and The Eco-System

• ایجاد بیانیه جدول - فرمت های فایل و SerDes Create Table Statement - File Formats and SerDes

• HCatalog HCatalog

• اسکوپ Sqoop

• DistCP DistCP

• پروژه های اکو سیستم Hadoop Hadoop Eco-System Projects

• مراجع و منابع References and Resources

• خلاصه Summary