از 0 تا 1: کندو برای پردازش داده های بزرگ [ویدئو]

سرفصل ها و درس ها

شما، ما و این دوره You, Us & This Course

• شما، ما و این دوره You, Us & This Course

معرفی Hive Introducing Hive

• Hive: یک انبار داده منبع باز Hive: An Open-Source Data Warehouse

• Hive و Hadoop Hive and Hadoop

• Hive در مقابل DBMS رابطه‌ای سنتی Hive vs Traditional Relational DBMS

• HiveQL و SQL HiveQL and SQL

Hadoop and Hive Install Hadoop and Hive Install

• حالت های نصب Hadoop Hadoop Install Modes

• مرحله 1 نصب Hadoop: حالت مستقل Hadoop Install Step 1: Standalone Mode

• مرحله 2 نصب Hadoop: حالت شبه توزیع شده Hadoop Install Step 2: Pseudo-Distributed Mode

• Hive نصب کنید Hive install

• Code-Along: شروع به کار Code-Along: Getting started

بررسی اجمالی Hadoop و HDFS Hadoop and HDFS Overview

• هادوپ چیست؟ What is Hadoop?

• HDFS یا سیستم فایل توزیع شده Hadoop HDFS or the Hadoop Distributed File System

اصول کندو Hive Basics

• انواع داده های اولیه Primitive Datatypes

• Collections_Arrays_Maps Collections_Arrays_Maps

• ساختارها و اتحادیه ها Structs and Unions

• ایجاد جدول Create Table

• درج در جدول Insert Into Table

• در جدول 2 درج کنید Insert into Table 2

• جدول تغییرات Alter Table

• HDFS HDFS

• HDFS CLI - تعامل با HDFS HDFS CLI - Interacting with HDFS

• Code-Along: ایجاد جدول Code-Along: Create Table

• Code-Along: Hive CLI Code-Along: Hive CLI

توابع داخلی Built-in Functions

• سه نوع عملکرد Hive Three types of Hive functions

• عبارت Case-When، تابع Size، تابع Cast The Case-When statement, the Size function, the Cast function

• تابع Explode The Explode function

• Code-Along: عملکردهای داخلی Hive Code-Along: Hive Built - in functions

پرس و جوهای فرعی Sub-Queries

• پرس و جوهای فرعی عجیب و غریب Quirky Sub-Queries

• اطلاعات بیشتر در مورد سوالات فرعی: موجود و در More on subqueries: Exists and In

• درج از طریق سوالات فرعی Inserting via subqueries

• Code-Along: از Subqueries برای کار با Collection Datatypes استفاده کنید Code-Along: Use Subqueries to work with Collection Datatypes

• بازدیدها Views

پارتیشن بندی Partitioning

• شاخص ها Indices

• پارتیشن بندی معرفی شد Partitioning Introduced

• دلیل تقسیم بندی The Rationale for Partitioning

• نحوه پارتیشن بندی جداول How Tables are partitioned

• استفاده از جداول پارتیشن بندی شده Using Partitioned Tables

• پارتیشن بندی پویا: درج داده ها در جداول پارتیشن بندی شده Dynamic Partitioning: Inserting data into partitioned tables

• Code-Along: پارتیشن بندی Code-Along: Partitioning

سطل سازی Bucketing

• معرفی Bucketing Introducing Bucketing

• مزایای باکتینگ The Advantages of Bucketing

• نحوه سطل بندی جداول How Tables are bucketed

• استفاده از جداول سطلی Using Bucketed Tables

• نمونه برداری Sampling

پنجره Windowing

• پنجره معرفی شد Windowing Introduced

• پنجره - یک مثال ساده: جمع تجمعی Windowing - A Simple Example: Cumulative Sum

• پنجره سازی - یک مثال درگیرتر: پارتیشن بندی Windowing - A More Involved Example: Partitioning

• پنجره - توابع تجمع ویژه Windowing - Special Aggregation Functions

آشنایی با MapReduce Understanding MapReduce

• فلسفه اساسی MapReduce The basic philosophy underlying MapReduce

• MapReduce - تجسم و توضیح داده شده است MapReduce - Visualized and Explained

• MapReduce - در هر مرحله کمی عمیق تر حفاری کنید MapReduce - Digging a little deeper at every step

منطق MapReduce برای پرس و جوها: پشت صحنه MapReduce logic for queries: Behind the scenes

• MapReduce Overview: Basic Select-From-Where MapReduce Overview: Basic Select-From-Where

• نمای کلی MapReduce: Group-By و Having MapReduce Overview: Group-By and Having

• نمای کلی MapReduce: می پیوندد MapReduce Overview: Joins

به Optimizations در Hive بپیوندید Join Optimizations in Hive

• بهبود عملکرد Join با جداول در اندازه های مختلف Improving Join performance with tables of different sizes

• بند Where در Joins The Where clause in Joins

• نیمه چپ بپیوندید The Left Semi Join

• اتصالات جانبی نقشه: پیوستن داخلی Map Side Joins: The Inner Join

• اتصالات جانبی نقشه: اتصالات چپ، راست و کامل بیرونی Map Side Joins: The Left, Right and Full Outer Joins

• پیوندهای جانبی نقشه: پیوستن به نقشه سطلی و پیوستن به ادغام مرتب شده Map Side Joins: The Bucketed Map Join and the Sorted Merge Join

توابع سفارشی در پایتون Custom Functions in Python

• توابع سفارشی در پایتون Custom functions in Python

• Code-Along: تابع سفارشی در پایتون Code-Along: Custom Function in Python

توابع سفارشی در جاوا Custom functions in Java

• معرفی UDF - شما محدود به پیشنهادات Hive نیستید Introducing UDFs - you're not limited by what Hive offer

• UDF ساده: تابع استاندارد برای انواع اولیه The Simple UDF: The standard function for primitive types

• UDF ساده: پیاده سازی جاوا برای جایگزین متن() The Simple UDF: Java implementation for replacetext()

• UDF های عمومی، بازرس شی و Deferred Objects Generic UDFs, the Object Inspector and DeferredObjects

• UDF عمومی: اجرای جاوا برای containstring() The Generic UDF: Java implementation for containsstring()

• UDAF: توابع جمع سفارشی می توانند بسیار پیچیده شوند The UDAF: Custom aggregate functions can get pretty complex

• UDAF: پیاده سازی جاوا برای max() The UDAF: Java implementation for max()

• UDAF: پیاده سازی جاوا برای انحراف استاندارد The UDAF: Java implementation for Standard Deviation

• UDTF عمومی: توابع تولید جدول سفارشی The Generic UDTF: Custom table generating functions

• UDTF عمومی: اجرای جاوا برای namesplit() The Generic UDTF: Java implementation for namesplit()

SQL Primer - بیانیه ها را انتخاب کنید SQL Primer - Select Statements

• بیانیه ها را انتخاب کنید Select Statements

• اظهارات 2 را انتخاب کنید Select Statements 2

• توابع اپراتور Operator Functions

SQL Primer - Group By، Order by و Having SQL Primer - Group By, Order by and Having

• اپراتورهای تجمع معرفی شدند Aggregation Operators Introduced

• گروه توسط بند The Group by Clause

• گروه بیشتر بر اساس نمونه More Group by Examples

• سفارش توسط Order by

• داشتن Having

SQL Primer - می پیوندد SQL Primer – Joins

• مقدمه ای بر SQL Joins Introduction to SQL Joins

• اتصالات متقاطع و اتصالات دکارتی Cross Joins and Cartesian Joins

• اتصالات داخلی Inner Joins

• اتصالات بیرونی سمت چپ Left Outer Joins

• راست، اتصالات کامل بیرونی، اتصالات طبیعی، اتصالات خودی Right, Full Outer Joins, Natural Joins, Self Joins

ضمیمه Appendix

• [برای مبتدیان شل سیستم عامل لینوکس/مک] مسیر و سایر متغیرهای محیطی [For Linux/Mac OS Shell Newbies] Path and other Environment Variables