آموزش Apache Hive for Data Engineers (Hands On) با 2 پروژه

سرفصل ها و درس ها

بخش 1: مقدمه Section 1: Introduction

• 1. مقدمه ای بر دوره 1. Introduction to Course

• 2. مقدمه ای بر آپاچی Hive 2. Introduction to Apache Hive

• 3. معماری کندو 3. Hive Architecture

• 4. چگونه یک جستجوی Hive در سیستم جریان می یابد. 4. How a Hive query flows through the system.

• 5. (اختیاری) مقدمه ای بر داده های بزرگ 5. (Optional) Introduction to Big Data

• 6. (اختیاری) Hadoop چیست 6. (Optional) What is Hadoop

• 7. ویژگی های کندو 7. Hive Features

• 8. محدودیت کندو 8. Hive Limitation

معرفی Introduction

• مقدمه دوره Introduction to Course

• آشنایی با Apache Hive Introduction to Apache Hive

• معماری کندو Hive Architecture

• چگونه یک جستجوی Hive در سیستم جریان می یابد. How a Hive query flows through the system.

• نکاتی برای بهبود تجربه گذراندن دوره Tips to Improve Your Course Taking Experience

• (اختیاری) مقدمه ای بر داده های بزرگ (Optional) Introduction to Big Data

• (اختیاری) Hadoop چیست (Optional) What is Hadoop

• ویژگی های کندو Hive Features

• محدودیت کندو Hive Limitation

بخش 2: نصب Apache Hive در ماشین اوبونتو (لینوکس). Section 2: Installing Apache Hive on Ubuntu (Linux) Machine

نصب Apache Hive در ماشین اوبونتو (لینوکس). Installing Apache Hive on Ubuntu (Linux) Machine

• مراحل نصب Hadoop Installation Steps of Hadoop

• مراحل نصب Apache Hive Installation Steps of Apache Hive

بخش 3: مدل داده های کندو Section 3: Hive Data Model

مدل داده های کندو Hive Data Model

• نمودار مدل داده های کندو Hive Data Model Diagram

• جداول Tables

• پارتیشن ها Partitions

• سطل یا خوشه Buckets or Clusters

بخش 4: انواع داده های کندو Section 4: Hive Data Types

انواع داده های کندو Hive Data Types

• انواع داده های کندو Hive Data Types

• نوع اولیه Primitive Type

• نوع پیچیده Complex Type

بخش 5: زبان تعریف داده های HIVE. Section 5: HIVE Data Definition Language.

زبان تعریف داده های HIVE. HIVE Data Definition Language.

• ایجاد پایگاه داده Create Database

• پایگاه داده را رها کنید Drop Database

• تغییر پایگاه داده Alter Database

• از پایگاه داده استفاده کنید Use Database

• نمایش پایگاه داده Show Database

• پایگاه داده را شرح دهید Describe Database

• ایجاد جدول Create Table

• ایجاد جدول (دست روی دست) Create Table (Hands On)

• جدول (Hands On) با تمام داده های اولیه ایجاد کنید Create Table (Hands On) with all Primitive Datatype

• جدول (Hands On) با تمام داده های پیچیده ایجاد کنید Create Table (Hands On) with all Complex Datatype

• جداول مدیریت شده و خارجی Managed and External Tables

• میزهای مدیریت شده و خارجی (دست روی) Managed and External Tables (Hands On)

• فرمت های ذخیره سازی Storage Formats

• نمایش جداول Show Tables

• جداول را شرح دهید Describe Tables

• جدول رها کنید Drop Table

• جدول تغییرات Alter Table

• جدول کوتاه Truncate Table

بخش 6: زبان دستکاری داده های HIVE Section 6: HIVE Data Manipulation Language

زبان دستکاری داده های HIVE HIVE Data Manipulation Language

• بار LOAD

• انتخاب کنید SELECT

• درج کنید INSERT

• به روز رسانی UPDATE

• حذف DELETE

بخش 7: نمای کندو، متاستور، پارتیشن ها و سطل سازی Section 7: Hive View, Metastore, Partitions, and Bucketing

عملکردهای داخلی کندو Hive Built-In Functions

• توابع تاریخ Date Functions

• توابع ریاضی Mathematical Functions

• توابع رشته String Functions

بخش 8: عملکردهای داخلی کندو Section 8: Hive Built-In Functions

Hive View، Metastore، Partitions و Bucketing Hive View, Metastore, Partitions, and Bucketing

• چشم انداز View

• مشاهده (Hands On) View (Hands On)

• متاستور Metastore

• پارتیشن ها Partitions

• پارتیشن (Hands On) Partitions (Hands On)

• سطل سازی Bucketing

• سطل سازی (دست روی) Bucketing (Hands On)

• دستورات پوسته تعاملی Hive Hive Interactive Shell Commands

• Queries Hive را در دستورات "One Shot" اجرا کنید Execute Hive Queries in “One Shot” Commands

• اجرای Hive Queries از فایل ها Executing Hive Queries from Files

• متغیر Hive Hive Variable

بخش 9: اپراتورهای داخلی Section 9: Built-in Operators

اپراتورهای داخلی Built-in Operators

• اپراتورهای رابطه ای Relational Operators

• عملگرهای حسابی Arithmetic Operators

• عملگرهای منطقی Logical Operators

• عملگرهای رشته ای String Operators

بخش 10: عضویت در کندو Section 10: Hive Join

Hive Join Hive Join

• می پیوندد Joins

• پیوستن داخلی (Hands On) Inner Join (Hands On)

• اتصال بیرونی چپ (دست روی) Left Outer Join (Hands On)

• اتصال بیرونی راست (دست روی) Right Outer Join (Hands On)

• اتصال کامل بیرونی (دست روی) Full Outer Join (Hands On)

بخش 11: پرسش و پاسخ های متداول در مصاحبه Section 11: Frequently Asked Interview Question and Answers

کار با XML و JSON Working with XML and JSON

• بارگیری XML در Hive Loading XML in Hive

• بارگیری JSON در Hive Loading JSON in Hive

بخش 12: پروژه های دستی (2 پروژه) Section 12: Hands On Projects (2 Projects)

پرسش و پاسخ متداول در مصاحبه Frequently Asked Interview Question and Answers

• چگونه می توان جدول HIVE را با جداکننده چند کاراکتر ایجاد کرد؟ How to create HIVE Table with multi character delimiter?

• چگونه داده ها را از یک فایل txt. در جدول ذخیره شده به عنوان ORC در Hive بارگیری کنیم؟ How to load Data from a .txt file to Table Stored as ORC in Hive?

• چگونه می توان از ردیف های سرصفحه از یک جدول در Hive عبور کرد؟ How to skip header rows from a table in Hive?

• جدول Hive را برای فایل‌های کوچک بدون کاهش عملکرد در Hive ایجاد کنید؟ Create single Hive table for small files without degrading performance in Hive?

• چگونه این فایل CSV را با استفاده از SerDe ساخته شده در انبار Hive مصرف خواهید کرد؟ How will you consume this CSV file into the Hive warehouse using built SerDe?

• آیا امکان تغییر مکان پیش فرض جدول مدیریت شده وجود دارد؟ Is it possible to change the default location of a managed table?

• آیا کوئری های hive را می توان از فایل های اسکریپت اجرا کرد؟ چگونه؟ Can hive queries be executed from script files? How?

• آیا می توانیم دستورات پوسته یونیکس را از hive اجرا کنیم؟ مثال بزنید؟ Can we run unix shell commands from hive? Give example?

پروژه های دستی (2 پروژه) Hands On Projects (2 Projects)

• نصب Apache Zeppelin (0.10.1) Installing Apache Zeppelin (0.10.1)

• (Hands On) در حال دانلود فایل ها (Hands On) Downloading files

• فایل های داده برای پروژه Data Files for the Project

• (Hands On) Hive Interpreter را در Apache Zeppelin پیکربندی کنید (Hands On) Configure Hive Interpreter in Apache Zeppelin

• Hive Interpreter را در Apache Zeppelin پیکربندی کنید Configure Hive Interpreter in Apache Zeppelin

• تنظیمات پیکربندی Hadoop Hadoop Configuration Setting

• کد منبع پروژه را دانلود کنید Download Source Code for Project

• شروع Hadoop، Hive، Zeppelin و آپلود کد منبع Starting Hadoop,Hive, Zeppelin and Uploading Source Code

• پروژه 1 - قسمت 1 Project 1 - Part 1

• پروژه 1 قسمت 2 Project 1 Part 2

• پروژه 1 قسمت 3 Project 1 Part 3

• پروژه 1 قسمت 4 Project 1 Part 4

• پروژه 1 قسمت 5 Project 1 Part 5

• پروژه 2 قسمت 1 Project 2 Part 1

• پروژه 2 قسمت 2 Project 2 Part 2

• پروژه 2 قسمت 3 Project 2 Part 3

• پروژه 2 قسمت 4 Project 2 Part 4

• پروژه 2 قسمت 5 Project 2 Part 5

• پروژه 2 قسمت 6 Project 2 Part 6

• سخنرانی پاداش Bonus Lecuture