آموزش Master Big Data - Apache Spark/Hadoop/Sqoop/Hive/Flume/Mongo

سرفصل ها و درس ها

معرفی کلان داده Big Data Introduction

• معرفی دوره Course Intro

• معرفی کلان داده Big Data Intro

• درک اکوسیستم کلان داده Understanding Big Data Ecosystem

راه اندازی محیط Environment Setup

• اصلاحات کلاستر GCP GCP Cluster Fixes

• راه اندازی کلاستر در Google Cloud Cluster Setup on Google Cloud

• به روز رسانی محیط زیست Environment Update

هادوپ و نخ Hadoop & Yarn

• دستورات HDFS و Hadoop HDFS and Hadoop Commands

• بررسی اجمالی خوشه نخ Yarn Cluster Overview

Sqoop Import Sqoop Import

• Sqoop مقدمه Sqoop Introduction

• مدیریت فهرست های هدف Managing Target Directories

• کار با فرمت فایل پارکت Working with Parquet File Format

• کار با فرمت فایل Avro Working with Avro File Format

• کار با فشرده سازی های مختلف Working with Different Compressions

• واردات مشروط Conditional Imports

• پرس و جوهای تقسیم شده و مرزی Split-by and Boundary Queries

• جداکننده های میدان Field delimeters

• ضمائم افزایشی Incremental Appends

• Sqoop-Hive Cluster Fix Sqoop-Hive Cluster Fix

• واردات کندو Sqoop Sqoop Hive Import

• Sqoop List جداول/پایگاه داده Sqoop List Tables/Database

• Sqoop Assignment1 Sqoop Assignment1

• Sqoop Assignment2 Sqoop Assignment2

• Sqoop Import Practice1 Sqoop Import Practice1

• Sqoop Import Practice2 Sqoop Import Practice2

Sqoop Export Sqoop Export

• صادرات از Hdfs به Mysql Export from Hdfs to Mysql

• صادرات از Hive به Mysql Export from Hive to Mysql

• Avro فشرده شده را به Mysql صادر کنید Export Avro Compressed to Mysql

• سخنرانی جایزه: Sqoop with Airflow Bonus Lecture: Sqoop with Airflow

آپاچی فلوم Apache Flume

• معرفی فلوم و معماری Flume Introduction & Architecture

• Exec Source و Logger Sink Exec Source and Logger Sink

• انتقال داده ها از توییتر به HDFS Moving data from Twitter to HDFS

• انتقال داده ها از NetCat به HDFS Moving data from NetCat to HDFS

• رهگیرهای فلوم Flume Interceptors

• مثال Flume Interceptor Flume Interceptor Example

• فلوم چند عامل جریان Flume Multi-Agent Flow

• تثبیت فلوم Flume Consolidation

Apache Hive Apache Hive

• معرفی کندو Hive Introduction

• پایگاه داده Hive Hive Database

• جداول مدیریت شده Hive Hive Managed Tables

• جداول خارجی کندو Hive External Tables

• درج کندو Hive Inserts

• Hive Analytics Hive Analytics

• کار با پارکت Working with Parquet

• فشرده سازی پارکت Compressing Parquet

• کار با فرمت فایل ثابت Working with Fixed File Format

• تغییر فرمان Alter Command

• توابع رشته کندو Hive String Functions

• توابع تاریخ کندو Hive Date Functions

• پارتیشن بندی کندو Hive Partitioning

• سطل سازی کندو Hive Bucketing

جرقه با نخ و HDFS Spark with Yarn & HDFS

• آپاچی اسپارک چیست؟ What is Apache Spark

• درک مدیر خوشه (نخ) Understanding Cluster Manager (Yarn)

• آشنایی با فضای ذخیره سازی توزیع شده (HDFS) Understanding Distributed Storage (HDFS)

• Running Spark در Yarn/HDFS Running Spark on Yarn/HDFS

• آشنایی با Deploy Modes Understanding Deploy Modes

خوشه GCS GCS Cluster

• جرقه در GCS Cluster Spark on GCS Cluster

لوازم داخلی اسپارک Spark Internals

• رانندگان و مجریان Drivers & Executors

• RDDs و Dataframes RDDs & Dataframes

• تحول و اقدامات Transformation & Actions

• تحولات گسترده و باریک Wide & Narrow Transformations

• درک برنامه اجرایی Understanding Execution Plan

• طرح های مختلف توسط راننده Different Plans by Driver

Spark RDD: Transformation & Actions Spark RDD : Transformation & Actions

• تبدیل نقشه/نقشه مسطح Map/FlatMap Transformation

• فیلتر/تقاطع Filter/Intersection

• اتحاد/تحول متمایز Union/Distinct Transformation

• GroupByKey/افراد را بر اساس ماه های تولد گروه بندی کنید GroupByKey/ Group people based on Birthday months

• ReduceByKey/تعداد کل دانش آموزان در هر موضوع ReduceByKey / Total Number of students in each Subject

• SortByKey/مرتب سازی دانش آموزان بر اساس rollno آنها SortByKey / Sort students based on their rollno

• MapPartition/MapPartitionWithIndex MapPartition / MapPartitionWithIndex

• تغییر تعداد پارتیشن ها Change number of Partitions

• پیوستن/پیوستن به آدرس ایمیل بر اساس نام مشتری Join / join email address based on customer name

• اقدامات جرقه Spark Actions

Spark RDD Practice Spark RDD Practice

• اسکالا تاپلز Scala Tuples

• گزارش های خطای فیلتر Filter Error Logs

• فراوانی کلمه در فایل متنی Frequency of word in Text File

• جمعیت هر شهر Population of each city

• سفارشات ارسال شده توسط مشتریان Orders placed by Customers

• میانگین امتیاز فیلم average rating of movie

Spark Dataframes و Spark SQL Spark Dataframes & Spark SQL

• معرفی چارچوب داده Dataframe Intro

• Dafaframe از Json Files Dafaframe from Json Files

• دیتافریم از فایل های پارکت Dataframe from Parquet Files

• دیتافریم از فایل های CSV Dataframe from CSV Files

• دیتافریم از Avro File Dataframe from Avro File

• کار با XML Working with XML

• کار با ستون ها Working with Columns

• کار با String Working with String

• کار با خرما Working with Dates

• API فیلتر Dataframe Dataframe Filter API

• DataFrame API Part1 DataFrame API Part1

• DataFrame API Part2 DataFrame API Part2

• Spark SQL Spark SQL

• کار با Hive Tables در Spark Working with Hive Tables in Spark

• مجموعه داده ها در مقابل Dataframe Datasets versus Dataframe

• توابع تعریف شده توسط کاربر (UDFS) User Defined Functions (UDFS)

استفاده از Intellij IDE Using Intellij IDE

• راه اندازی Intellij Intellij Setup

• راه اندازی پروژه Project Setup

• نوشتن اولین برنامه Spark در IDE Writing first Spark program on IDE

• درک پیکربندی جرقه Understanding spark configuration

• افزودن اقدامات/تحولات Adding Actions/Transformations

• درک برنامه اجرایی Understanding Execution Plan

اجرای Spark در EMR (AWS Cloud) Running Spark on EMR (AWS Cloud)

• نمای کلی خوشه EMR EMR Cluster Overview

• راه اندازی خوشه Cluster Setup

• تنظیم کد جرقه برای EMR Setting Spark Code for EMR

• با استفاده از Spark-submit Using Spark-submit

• اجرای Spark در خوشه EMR Running Spark on EMR Cluster

جرقه با کاساندرا Spark with Cassandra

• دوره کاساندرا Cassandra Course

• ایجاد Spark RDD از جدول Cassandra Creating Spark RDD from Cassandra Table

• پردازش داده های کاساندرا در Spark Processing Cassandra data in Spark

• ردیف های کاساندرا به کلاس موردی Cassandra Rows to Case Class

• ذخیره Spark RDD در Cassandra Saving Spark RDD to Cassandra

شروع کار با MongoDB Getting Started with MongoDB

• معرفی MongoDB MongoDB Intro

• MongoDB Usecase & Limitations MongoDB Usecase & Limitations

• نصب MongoDB MongoDB Installation

عملیات CRUD CRUD Operations

• پیدا کردن Find

• پیدا کردن با فیلتر Find With Filter

• درج کنید Insert

• به روز رسانی Update

• به روز رسانی ادامه دارد Update Continues

• طرح ها Projections

• حذف Delete

کار با اپراتورها Working with Operators

• در/نه در اپراتورها In / not in Operators

• اپراتورهای gte/lte gte / lte Operators

• و/یا اپراتورها and / or operators

• عملگر regex regex operator

قطب نما MongoDB MongoDB Compass

• کار با رابط کاربری گرافیکی Working with GUI

مونگو پیشرفته Advanced Mongo

• اعتبارسنجی/طرحواره Validation/Schema

• کار با شاخص ها Working with Indexes

جرقه با مونگو Spark with Mongo

• ادغام Spark Mongo Spark Mongo Integration