تسلط بر داده های بزرگ و تجزیه و تحلیل با Flume، Sqoop، Hive و Spark [ویدئو]

سرفصل ها و درس ها

مقدمه هادوپ Hadoop Introduction

• دستورات HDFS و Hadoop HDFS and Hadoop Commands

Sqoop Import Sqoop Import

• Sqoop مقدمه Sqoop Introduction

• مدیریت فهرست های هدف Managing Target Directories

• کار با فرمت های مختلف فایل Working with Different File Formats

• کار با فشرده سازی های مختلف Working with Different Compressions

• واردات مشروط Conditional Imports

• پرس و جوهای تقسیم شده و مرزی Split-by and Boundary Queries

• جداکننده های میدان Field delimeters

• ضمیمه های افزایشی Incremental Appends

• واردات کندو Sqoop Sqoop Hive Import

• Sqoop List جداول/پایگاه داده Sqoop List Tables/Database

• Sqoop Import Practice1 Sqoop Import Practice1

• Sqoop Import Practice2 Sqoop Import Practice2

• Sqoop Import Practice3 Sqoop Import Practice3

Sqoop Export Sqoop Export

• صادرات از Hdfs به Mysql Export from Hdfs to Mysql

• صادرات از Hive به Mysql Export from Hive to Mysql

آپاچی فلوم Apache Flume

• معرفی فلوم و معماری Flume Introduction & Architecture

• Exec Source و Logger Sink Exec Source and Logger Sink

• انتقال داده ها از توییتر به HDFS Moving data from Twitter to HDFS

• انتقال داده ها از NetCat به HDFS Moving data from NetCat to HDFS

• رهگیرهای فلوم Flume Interceptors

• مثال Flume Interceptor Flume Interceptor Example

• فلوم چند عامل جریان Flume Multi-Agent Flow

• تثبیت فلوم Flume Consolidation

Apache Hive Apache Hive

• معرفی کندو Hive Introduction

• پایگاه داده Hive Hive Database

• جداول مدیریت شده Hive Hive Managed Tables

• جداول خارجی کندو Hive External Tables

• درج کندو Hive Inserts

• Hive Analytics Hive Analytics

• کار با پارکت Working with Parquet

• فشرده سازی پارکت Compressing Parquet

• کار با فرمت فایل ثابت Working with Fixed File Format

• تغییر فرمان Alter Command

• توابع رشته کندو Hive String Functions

• توابع تاریخ کندو Hive Date Functions

• پارتیشن بندی کندو Hive Partitioning

• سطل سازی کندو Hive Bucketing

معرفی جرقه Spark Introduction

• معرفی جرقه Spark Introduction

• مجموعه داده های توزیع شده انعطاف پذیر Resilient Distributed Datasets

• نمای کلی خوشه Cluster Overview

• گراف غیر چرخشی کارگردانی شده (DAG) و مراحل Directed Acyclic Graph (DAG) & Stages

تحولات و اقدامات جرقه Spark Transformations & Actions

• تبدیل نقشه/نقشه مسطح Map/FlatMap Transformation

• فیلتر/تقاطع Filter/Intersection

• اتحاد/تحول متمایز Union/Distinct Transformation

• GroupByKey/افراد را بر اساس ماه های تولد گروه بندی کنید GroupByKey/ Group people based on Birthday months

• ReduceByKey/تعداد کل دانش آموزان در هر موضوع ReduceByKey / Total Number of students in each Subject

• SortByKey/مرتب سازی دانش آموزان بر اساس rollno آنها SortByKey / Sort students based on their rollno

• MapPartition/MapPartitionWithIndex MapPartition / MapPartitionWithIndex

• تغییر تعداد پارتیشن ها Change number of Partitions

• پیوستن/پیوستن به آدرس ایمیل بر اساس نام مشتری Join / Join email address based on customer name

• اقدامات جرقه Spark Actions

Spark RDD Practice Spark RDD Practice

• اسکالا تاپلز Scala Tuples

• Error Logs را از فایل های log استخراج کنید Extract Error Logs from log files

• فراوانی کلمه در فایل متنی Frequency of word in Text File

• جمعیت هر شهر Population of each City

• سفارشات ارسال شده توسط مشتریان Orders placed by Customers

• میانگین امتیاز فیلم بیشتر از 3 Movie Average Rating greater than 3

Spark Dataframes و Spark SQL Spark Dataframes & Spark SQL

• معرفی چارچوب داده Dataframe Intro

• Dafaframe از Json Files Dafaframe from Json Files

• دیتافریم از فایل های پارکت Dataframe from Parquet Files

• دیتافریم از فایل های CSV Dataframe from CSV Files

• دیتافریم از Avro/XML Files Dataframe from Avro/XML Files

• کار با فشرده سازی های مختلف Working with Different Compressions

• DataFrame API Part1 DataFrame API Part1

• DataFrame API Part2 DataFrame API Part2

• Spark SQL Spark SQL

• کار با Hive Tables در Spark Working with Hive Tables in Spark