آموزش Hive to ADVANCE Hive (استفاده در زمان واقعی): ابزار پرس و جو Hadoop

سرفصل ها و درس ها

مقدمه (نظریه) Introduction (Theory)

• مقدمه ای بر کندو Introduction to Hive

• اعلامیه Announcement

• انگیزه کندو Motivation of Hive

• Sql در مقابل Hive Sql vs Hive

• تریلر- Working of Hive Trailer- Working of Hive

• معماری کندو Architecture of Hive

فرمان های اساسی Hive Hive Basic Commands

• نصب HADOOP و HIVE HADOOP AND HIVE INSTALLATION

• ایجاد پایگاه های داده Create databases

• ایجاد جدول و بارگذاری داده ها در آن | قسمت 1 Table creation and loading data into it |Part 1

• ایجاد جدول و بارگذاری داده ها در آن | قسمت 2 Table creation and loading data into it |Part 2

• جدول داخلی در مقابل خارجی - توضیح داده شده است Internal vs External table- Explained

• جداول ایجاد کنید Create Tables

• درج بیانیه Insert statement

• بیانیه چند درج (پیشرفته) Multi insert statement (Advance)

• تغییر طرح جدول Alter Table Schema

• مرتب سازی -- مرتب سازی بر اساس، ترتیب بر اساس، توزیع بر اساس، خوشه بندی بر اساس Sorting -- sort by, order by, distribute by, cluster by

توابع در Hive Functions in Hive

• تاریخ و توابع ریاضی Date and Mathematical functions

• توابع رشته String functions

• توابع Split()، Substr()، instr(). Split(), Substr(), instr() functions

• اظهارات مشروط Conditional statements

• انفجار و نمای جانبی (توابع پیشرفته) Explode and Lateral view ( Advance functions)

• تابع Rlike (پیشرفته) Rlike function (Advance)

• Rank()، Dense_rank()، Row_number() (Advance) Rank(), Dense_rank(), Row_number() (Advance)

• توابع ریاضی را تمرین کنید Practice Mathematical Functions

پارتیشن بندی در کندو Partitioning in Hive

• پارتیشن بندی چیست؟ What is Partitioning?

• پارتیشن بندی استاتیک Static partitioning

• پارتیشن بندی پویا Dynamic partitioning

• دستور Alter Partitioned Table و MSCK Repair (Advance) Alter Partitioned Table and MSCK Repair command (Advance)

سطل سازی در کندو Bucketing in Hive

• Bucketing چیست؟ What is Bucketing?

• جدول سطلی ایجاد کنید Create Bucketed Table

• نمونه برداری جداول (پیشرفت) Tablesampling (Advance)

• No_drop، دستور آفلاین (پیشرفته) No_drop, Offline command (Advance)

• پارتیشن بندی Partitioning

به Hive می پیوندد Joins in Hive

• اتصالات داخلی روی 2 میز Inner Joins on 2 Tables

• اتصالات بیرونی روی 2 میز Outer Joins on 2 Tables

• به 3 جدول در Hive بپیوندید Join 3 Tables in Hive

• مدیریت حافظه و بهینه سازی اتصالات Memory Management & Optimization of Joins

• پیوستن به نقشه (پیشرفت) Map Joins (Advance)

نماها در Hive Views in Hive

• نماها چیست؟ What are views?

• ایجاد نماها به روش های مختلف Creating Views in different ways

• مزایای Views Advantages of Views

نمایه سازی (پیشرفت) Indexing (Advance)

• ایجاد ایندکس (کامپکت و بیت مپ) Creation of Indexes (Compact and Bitmap)

• چند شاخص روی یک جدول Multiple Indexes on same table

• چه زمانی و چه زمانی از Indexing استفاده نکنید When and When not to use Indexing

UDF (توابع تعریف شده توسط کاربر) پیشرفته UDF's (User defined functions) Advance

• UDF چیست؟ What is UDF

• پیاده سازی UDF - عملی UDF Implementation - Practical

مشخصات جدول (پیشرفت) Table Properties (Advance)

• پرش از رکوردهای هدر و پاورقی در حین بارگذاری در جدول Skipping Header and Footer records while loading in table

• ویژگی جدول غیرقابل تغییر Immutable Table property

• ویژگی پاکسازی + تفاوت بین Drop و Truncate Purge property + Difference between Drop and Truncate

• ویژگی Null Format Null Format property

• ویژگی‌های اسید/معامله Hive (Advance) ACID/Transactional features of Hive ( Advance)

• ویژگی های جدول ORC ORC Table properties

تنظیمات و تنظیمات در Hive (پیشرفته) Configurations & Settings in Hive (Advance)

• قسمت 1 Part 1

• قسمت 2 Part 2

• ادغام فایل ها در Hive Merge files in Hive

• ویژگی موازی Parallelism Property

متغیرها در Hive (Advance) Variables in Hive (Advance)

• اجرای کوئری های Hive از پوسته Bash Executing Hive queries from Bash shell

• دستورات یونیکس و هدوپ را از Hive Shell اجرا کنید Run Unix & Hadoop commands from Hive Shell

• متغیرهای Hive (hiveconf & hivevar) Variables in Hive (hiveconf & hivevar)

• تفاوت بین hiveconf و hivevar Difference between hiveconf & hivevar

• استفاده از متغیرها در پوسته bash Using variables in bash shell

• جایگزینی مقدار متغیر Substituting value of a Variable

• آزمون QUIZ

انواع مختلف فایل ها در Hadoop Different Types of Files in Hadoop

• متن، دنباله، فایل های Avro Text, Sequence, Avro Files

• فایل های RC، ORC، پارکت RC, ORC, Parquet Files

• نتایج تست عملکرد فایل های مختلف Performance Test results of Various Files

• کدام فرمت فایل را انتخاب کنید Which File Format to choose

فومتر ورودی سفارشی (پیشرفته) Custom Input Fomatter (Advance)

• استفاده از فرمت ورودی سفارشی در Hive Using Custom Input Format in Hive

متفرقه (پیشرفت) Miscellaneous (Advance)

• حالت های کندو Modes of Hive

• تکنیک های فشرده سازی در Hive Compression techniques in Hive

• فایل Hiverc (ایجاد و استفاده) Hiverc file (Creation and Uses)

• آرشیو فایل ها در Hive Archiving files in Hive

موتور TEZ در Hive TEZ engine in Hive

• موتور Tez چیست و مقایسه آن با MR What is Tez engine and its comparison with MR

داده های XML را در Hive بارگیری کنید Load XML data in Hive

• نحوه بارگیری داده های XML در جداول Hive-- Part1 How to Load XML data in Hive tables-- Part1

• نحوه بارگیری داده های XML در جداول Hive-- Part2 How to Load XML data in Hive tables-- Part2

پیاده سازی SCD در Hive (پیشرفته) Implementing SCD's in Hive (Advance)

• ابعاد آهسته در حال تغییر چیست (SCD) What is Slowly changing Dimension (SCD)

• SCD 1 را در Hive--part1 پیاده سازی کنید Implement SCD 1 in Hive--part1

• SCD 1 را در Hive--part2 پیاده سازی کنید Implement SCD 1 in Hive--part2

از مواردی که در مصاحبه ها پرسیده می شود استفاده کنید Use Cases asked in Interviews

• تعداد کلمات در Hive Word count in Hive

• چندین جدول در یک فایل Multiple Tables on a single file