آموزش تحلیلگر کلان داده - با استفاده از Sqoop و Advance Hive (CCA159)

سرفصل ها و درس ها

مقدمه هادوپ Hadoop Introduction

• معرفی کلان داده Big Data Intro

• سیستم فایل توزیع شده و دستورات Hadoop Hadoop Distributed File System & Commands

• به‌روزرسانی آزمون CCA159 2020 CCA159 Exam Update 2020

• راه اندازی Cloudera vm Cloudera vm setup

• رفع خوشه در Google Cloud Cluster Fixes on Google Cloud

• راه اندازی کلاستر در Google Cloud Cluster Setup on Google Cloud

• به روز رسانی محیط زیست Environment Update

کندو Hive

• معرفی کندو Hive Introduction

• پایگاه داده Hive Hive Database

• جداول مدیریت شده Hive Hive Managed Tables

• جداول خارجی کندو Hive External Tables

• درج کندو Hive Insert

• Hive MultiInsert Hive MultiInsert

• تغییر فرمان Alter Command

انواع داده های کندو Hive Data Types

• DataTypes مقدمه DataTypes Introduction

• آرایه نوع داده Array DataType

• نوع داده نقشه Map DataType

• Struct DataType Struct DataType

توابع کندو Hive Functions

• توابع مجموعه Collection Functions

• توابع شرطی Conditional Functions

• توابع رشته String Functions

• توابع تاریخ Date Functions

• توابع ریاضی Mathematical Functions

Hive Join Hive Join

• به Hive بپیوندید Join in Hive

• چند اتصال در Hive Multi Joins in Hive

• پیوستن سمت نقشه Map Side Joins

کار با فرمت ها و فشرده سازی های مختلف فایل Working with Different File Formats & Compressions

• کار با پارکت Working with Parquet

• فشرده سازی پارکت Compressing Parquet

• کار با فرمت فایل ثابت Working with Fixed File Format

کندو پیشرفته Advance Hive

• پارتیشن بندی کندو Hive Partitioning

• سطل سازی کندو Hive Bucketing

• نماها در Hive Views in Hive

• نمای جانبی/انفجار Lateral View/Explode

• Hive Analytics Hive Analytics

عملکرد ویندوز Hive Hive Windows Function

• تابع پنجره بندی رتبه/رتبه متراکم Rank/Dense Rank Windowing Function

• عملکرد پنجره سرب/تاخیر Lead/Lag Windowing Function

• عملکرد پنجره حداقل/حداکثر Min/Max Windowing Function

• مشخصات پنجره Windowing Specification

Sqoop Import Sqoop Import

• Sqoop مقدمه Sqoop Introduction

• مدیریت فهرست هدف Managing Target Directory

• کار با پارکت Working with Parquet

• کار با فرمت فایل Avro Working with Avro File Format

• کار با فشرده سازی های مختلف Working with Different Compressions

• واردات مشروط Conditional Imports

• پرس و جوهای تقسیم شده و مرزی Split-By and Boundary Queries

• جداکننده های میدان Field Delimiters

• ضمائم افزایشی Incremental Appends

• واردات کندو Sqoop Sqoop Hive Import

• تمرین 1 Practice 1

• تمرین 2 Practice2

• تمرین 3 Practice3

• سخنرانی جایزه: Sqoop with Airflow Bonus Lecture: Sqoop with Airflow

Sqoop Export Sqoop Export

• صادرات از HDFS به MYSQL Export from HDFS to MYSQL

• Avro فشرده شده را به Mysql صادر کنید Export Avro Compressed to Mysql

• صادرات از Hive به MYSQL Export from Hive to MYSQL