آموزش تسلط بر بیگ دیتا و کلان‌داده: اسپارک، اسکالا، کافکا، هادوپ، هایو و بیشتر - آخرین آپدیت

سرفصل ها و درس ها

آشنایی با دوره Introduction to the course

• معرفی دوره What is this course about

• راهنمای استفاده بهینه از این دوره How to make best use of this course

• فایل‌های ارائه (PPT) دوره PPT used in this course

آشنایی با دنیای بیگ دیتا Introduction to the Big Data World

• معرفی هادوپ Introduction to Hadoop

• نحوه عملکرد مپ‌ریدیوس How MapReduce works

• بیگ دیتا چیست؟ What is Big Data

• یادداشت‌ها: بیگ دیتا چیست؟ [Notes] What is Big Data

• معماری هادوپ 1.0 Hadoop 1.0 Architecture

• معماری هادوپ 2.0 Hadoop 2.0 Architecture

• معماری هادوپ 3.0 Hadoop 3.0 Architecture

راه‌اندازی کلاستر و کار عملی با هادوپ Setting up Cluster and doing hands on with Hadoop

• نصب نرم‌افزار کلودرا Cloudera Software Installation

• یادداشت‌ها: نصب نرم‌افزار کلودرا [Notes] Cloudera Software Installation

• دستورات هادوپ Hadoop Commands

• یادداشت‌ها: دستورات هادوپ [Notes] Hadoop Commands

• ذخیره‌سازی سطری در مقابل ذخیره‌سازی ستونی Row Storage vs Column Storage

• فرمت‌های فایل سریالی‌شده Serialized File Formats

• یادداشت‌ها: فرمت‌های فایل سریالی‌شده [Notes] Serialized File Formats

• سوالات و پاسخ‌های مصاحبه هادوپ و بیگ دیتا Hadoop and Big Data Interview questions and Answers

اسکوپ Sqoop

• مقدمه‌ای بر اسکوپ Sqoop Introduction

• ایمپورت اسکوپ Sqoop Import

• یادداشت‌ها: ایمپورت اسکوپ [Notes] sqoop import

• مپرهای چندگانه اسکوپ Sqoop Multiple Mappers

• یادداشت‌ها: مپرهای چندگانه اسکوپ [Notes] Sqoop Multiple Mappers

• ایمپورت بخشی از داده‌ها import portion of data

• یادداشت‌ها: ایمپورت بخشی از داده‌ها [Notes] import portion of data

• دستور eval اسکوپ و تغییر جداکننده فایل Sqoop eval and change the file delimiter

• یادداشت‌ها: دستور eval اسکوپ و تغییر جداکننده فایل [Notes] Sqoop eval and change the file delimiter

• ایمپورت افزایشی incremental import

• یادداشت‌ها: ایمپورت افزایشی [Notes] incremental import

• محافظت با رمز عبور Password Protection

• یادداشت‌ها: محافظت با رمز عبور [Notes] Password Protection

• استفاده از تاریخ آخرین تغییر Using Last Modified

• یادداشت‌ها: استفاده از تاریخ آخرین تغییر [Notes] Using Last Modified

• ایمپورت فرمت‌های فایل چندگانه Import multiple File Formats

• یادداشت‌ها: ایمپورت فرمت‌های فایل چندگانه [Notes] Import multiple File Formats

• ایمپورت چندین جدول Import multiple Tables

• یادداشت‌ها: ایمپورت چندین جدول [Notes] Import multiple Tables

• مدیریت مقادیر تهی (Null) هنگام ایمپورت Handling Null during Import

• یادداشت‌ها: مدیریت مقادیر تهی (Null) هنگام ایمپورت [Notes] Handling Null during Import

• اکسپورت اسکوپ Sqoop export

• یادداشت‌ها: اکسپورت اسکوپ [Notes] Sqoop export

• بهینه‌سازی عملکرد اسکوپ Sqoop Performance Tuning

• یادداشت‌ها: بهینه‌سازی عملکرد اسکوپ [Notes] Sqoop Performance Tuning

• آمادگی برای مصاحبه اسکوپ Sqoop Interview Preparation

هایو Hive

• هایو: آماده‌سازی داده Hive-Data Preparation

• یادداشت‌ها: هایو: آماده‌سازی داده [Notes] Hive-Data Preparation

• هایو چیست؟ What is Hive

• یادداشت‌ها: هایو چیست؟ [Notes] What is Hive

• ایجاد و بارگذاری جدول در هایو Create and load a table in Hive

• یادداشت‌ها: ایجاد و بارگذاری جدول در هایو [Notes] Create and load a table in Hive

• انواع جدول در هایو Hive Table Types

• یادداشت‌ها: انواع جدول در هایو [Notes] Hive Table Types

• پارتیشن‌ها در هایو Hive Partitions

• یادداشت‌ها: پارتیشن‌ها در هایو [Notes] Hive Partitions

• مورد کاربرد هایو Hive Use Case

• یادداشت‌ها: مورد کاربرد هایو [Notes] Hive Use Case

• باکت‌ها در هایو Hive Buckets

• یادداشت‌ها: باکت‌ها در هایو [Notes] Hive Buckets

• تکامل طرح (Schema) در هایو Schema Evolution in Hive

• یادداشت‌ها: تکامل طرح (Schema) در هایو [Notes] Schema Evolution in Hive

• اجرای کوئری‌های هایو با استفاده از اسکریپت Execute hive queries using a script

• یادداشت‌ها: اجرای کوئری‌های هایو با استفاده از اسکریپت [Notes] Execute hive queries using a script

• کار با تاریخ‌ها در هایو Working with Dates in Hive

• یادداشت‌ها: کار با تاریخ‌ها در هایو [Notes] Working with Dates in Hive

• عملیات Join در هایو Joins in Hive

• یادداشت‌ها: عملیات Join در هایو [Notes] Joins in Hive

• ترمیم MSCK MSCK Repair

• یادداشت‌ها: ترمیم MSCK [Notes] MSCK Repair

• بهینه‌سازی عملکرد در هایو Performance Tuning in Hive

• یادداشت‌ها: بهینه‌سازی عملکرد در هایو [Notes] Performance Tuning in Hive

• هایو در مقابل SQL Hive vs SQL

• یادداشت‌ها: هایو در مقابل SQL [Notes] Hive vs SQL

• منابع بیشتر هایو Hive Additional Resources

• آمادگی برای مصاحبه هایو Hive Interview Preparation

نصب اسپارک و اسکالا Installation for Spark and Scala

• نصب و راه‌اندازی اسپارک و اسکالا Installing and setting up Spark and Scala

• یادداشت‌ها: نصب و راه‌اندازی اسپارک و اسکالا - لینک‌های دانلود [Notes] Installing and setting up Spark and Scala - Download links

آموزش اسکالا Let's learn Scala

• مقدمه‌ای بر اسکالا Introduction to Scala

• اجرای اولین برنامه اسکالا Executing our First Scala Program

• مبانی اسکالا Scala Basics

• عبارات شرطی Conditional Statements

• حلقه‌ها در اسکالا Loops in Scala

• توابع در اسکالا Functions in Scala

• کلاس در اسکالا Scala Class

• سازنده‌ها در اسکالا Constructors in Scala

• مقدمه‌ای بر وراثت در اسکالا Scala Inheritance Introduction

• وراثت تکی Single Inheritance

• وراثت چندسطحی Multilevel Inheritance

• وراثت سلسله‌مراتبی Hierarchical Inheritance

• تریت‌ها (Traits) در اسکالا - برای وراثت چندگانه Scala Traits - for Mutliple Inheritance

• وراثت ترکیبی Hybrid Inheritance

• بازنویسی متد (Overriding) و سربارگذاری متد (Overloading) Method overriding and Method Overloading

• شیء سینگلتون (Singleton) و کامپنیون (Companion) Singleton and Companion Object

• کلاس Case Case Class

• انتزاع (Abstraction) و Final Abstraction and Final

• توابع مرتبه بالا و عبارات لامبدا Higher Order Functions and Lambda Expressions

• تابع Partially Applied چیست؟ What is Partially Applied Function

• Currying چیست؟ What is Currying

• نوع Option چیست؟ What is Option Type

• تطابق الگو (Pattern Matching) در اسکالا Pattern Matching in Scala

• مدیریت خطا (Exception Handling) در اسکالا Exception Handling in Scala

• مجموعه‌ها در اسکالا Scala Collections

• یادداشت‌ها: مجموعه‌ها در اسکالا [Notes] Scala Collections

• متدهای مجموعه Collection Methods

• یادداشت‌ها: متدهای مجموعه [Notes] Collection Methods

• Group By در مقابل Grouped Group By vs Grouped

• آرگومان‌های متغیر: چیستند و چه کاربردی دارند؟ Variable Arguments - What is it and how is it useful ?

• کار با فایل‌ها Working with Files

• سوالات و پاسخ‌های مصاحبه اسکالا Scala Interview Questions and Answers

مقدمه‌ای بر اسپارک Introduction to Spark

• اسپارک چیست؟ What is Spark

• چرا اسپارک از مپ‌ریدیوس سریع‌تر است؟ Why is Spark Faster than MapReduce

RDDها در اسپارک Spark RDDs

• مبانی RDD: خواندن و نوشتن فایل RDD Basics - Reading and Writing a File

• یادداشت‌ها: مبانی RDD: خواندن و نوشتن فایل [Notes] RDD Basics - Reading and Writing a File

• استقرار کد در کلاستر Deploying code to Cluster

• مورد کاربرد: تحلیل داده‌های لاگ Use Case - Analyze the Log Data

• یادداشت‌ها: مورد کاربرد: تحلیل داده‌های لاگ [Notes] Use Case - Analyze the Log Data

• تبدیلات و عملیات رایج RDD Common RDD Transformations and Actions

• Pair RDD چیست؟ What is Pair RDD

• مورد کاربرد: مثال شمارش کلمات Use Case - The word count example

• استفاده از Schema RDD Using Schema RDD

• استفاده از Row RDD Using Row RDD

دیتافریم‌ها (DataFrames) در اسپارک Spark DataFrames

• Spark DataFrame چیست؟ What is Spark DataFrame

• ایجاد دیتافریم‌ها از RDD Creating DataFrames from RDD

• دیتافریم یکپارچه اسپارک: خواندن و نوشتن Spark Seamless Dataframe- Reading and Writing

• یادداشت‌ها: دیتافریم یکپارچه اسپارک: خواندن و نوشتن [Notes] Spark Seamless Dataframe- Reading and Writing

• خواندن و نوشتن داده‌های AVRO Reading and Writing AVRO Data

• خواندن و نوشتن داده‌های XML Reading and Writing XML Data

• یادداشت‌ها: خواندن و نوشتن داده‌های XML [Notes] Reading and Writing XML Data

• خواندن Json چندخطی Reading Multi Lines Json

• یادداشت‌ها: خواندن Json چندخطی [Notes] Reading Multi Lines Json

• حالت‌های نوشتن در اسپارک Write Modes in Spark

• ارسال طرح (Schema) به یک فایل Passing schema to a file

• اعمال تبدیلات با استفاده از tempView و DSL Applying Transformations using tempView and DSL

اسپارک پیشرفته Spark Advance

• بیایید تبدیلات بیشتری را بررسی کنیم Let's explore more transformations

• یادداشت‌ها: بیایید تبدیلات بیشتری را بررسی کنیم [Notes] Let's explore more transformations

• نحوه حذف موارد تکراری How to remove duplicates

• مرتب‌سازی داده‌ها Sorting the Data

• مدیریت مقادیر تهی (Null) در اسپارک Handling Nulls in Spark

• کار با توابع رشته‌ای Working with String Functions

• کار با تاریخ‌ها Working with Dates

• اعمال تجمیع (Aggregation) Applying aggregation

• توابع Windowing در اسپارک Spark Windowing Functions

• عملیات Pivoting در اسپارک Pivoting in Spark

• ارسال لیست ستون‌ها به دیتافریم Passing List of columns to Dataframe

• عملیات Join در اسپارک Joins in Spark

• مورد کاربرد: داده‌های تراکنش بانکی Use case - Bank Transaction Data

• خواندن فایل روز جاری Reading Current day's file

• کار با فایل‌های عرض ثابت Working with Fixed Width File

• یادداشت‌ها: کار با فایل‌های عرض ثابت [Notes] Working with Fixed Width File

آماده‌سازی کد برای محیط پروداکشن Productionalizing your Code

• کد شما چگونه در محیط پروداکشن اجرا می‌شود؟ How does your code run in Production

• استقرار در پروداکشن: پارامترایز کردن نام فایل‌ها Deploy in prod - parameterizing the filenames

• پارامترایز کردن با استفاده از فایل پیکربندی Parameterize using Config File

• یادداشت‌ها: پارامترایز کردن با استفاده از فایل پیکربندی [Notes] Parameterize using Config File

• یکپارچه‌سازی اسپارک و هایو Spark Hive Integration

• بهینه‌سازی حافظه در اسپارک Memory Tuning in Spark

پردازش داده‌های پیچیده Complex Data Processing

• کار با Json Working with Json

• کار با Json چندخطی Working with MultiLine Json

• کار با Json تو در تو Working with Nested Json

• کار با Json تو در تو: Struct و Array Working with Nested Json - Struct and Array

• خواندن Json از URL وب و مسطح‌سازی آن Reading Json from a web URL and flattening it

• یادداشت‌ها: خواندن Json از URL وب و مسطح‌سازی آن [Notes] Reading Json from a web URL and flattening it

• مسطح‌سازی داده با ایجاد تابع Flattening data by creating a Function

• یادداشت‌ها: مسطح‌سازی داده با ایجاد تابع [Notes] Flattening data by creating a Function

• تولید داده‌های پیچیده Complex Data Generation

• مسطح‌سازی فایل XML Flatten XML File

پایگاه‌داده‌های NOSQL NOSQL Databases

• پایگاه‌داده NOSQL چیست؟ What is a NOSQL Database

• کار با HBase Working with HBase

• یادداشت‌ها: کار با HBase [Notes] Working with HBase

• یکپارچه‌سازی اسپارک و HBase Spark HBase Integration

• یادداشت‌ها: یکپارچه‌سازی اسپارک و HBase [Notes] Spark HBase Integration

• مقدمه‌ای بر کاساندرا Cassandra Introduction

• راه‌اندازی و کار با کاساندرا Cassandra setup and working with Cassandra

• یادداشت‌ها: راه‌اندازی و کار با کاساندرا [Notes] Cassandra setup and working with Cassandra

• یکپارچه‌سازی کاساندرا و اسپارک Cassandra Spark Integration

• یادداشت‌ها: یکپارچه‌سازی کاساندرا و اسپارک [Notes] Cassandra Spark Integration

• محدودیت‌های کوئری در کاساندرا Cassandra Query Limitations

آپشن نیفای Apache NIFI

• مقدمه‌ای بر آپاچی نیفای Apache NIFI Introduction

• نصب آپاچی نیفای Apache NIFI Installation

• یادداشت‌ها: نصب آپاچی نیفای [Notes] Apache NIFI Installation

• بیایید با ابزار آپاچی نیفای کار کنیم Let's work with Apache NIFI Tool

• استریم از یک URL وب Streaming from a web URL

• Back Pressure و صف اتصال (Connection Queue) Back Pressure and Connection Queue

• انتقال به محیط دیگر Promoting to Another Environment

کار با داده‌های جریانی (Streaming) Working with Streaming Data

• DStream در اسپارک Spark DStream

• مقدمه‌ای بر کافکا Kafka Introduction

• نصب کافکا و ایجاد تاپیک kafka installation and topic creation

• یادداشت‌ها: نصب کافکا و ایجاد تاپیک [Notes] kafka installation and topic creation

• یکپارچه‌سازی کافکا و نیفای Kafka NIFI Integration

• کافکا چگونه کار می‌کند؟ How Kafka Works

• یکپارچه‌سازی اسپارک و کافکا Spark Kafka Integration

• یادداشت‌ها: یکپارچه‌سازی اسپارک و کافکا [Notes] Spark Kafka Integration

• استفاده از ابزار Kafka Offset Explorer Using Kafka Offset Explorer tool

• ویژگی تضمین تحویل در کافکا Kafka Delivery Guarantee Feature

• استریمینگ ساختاریافته (Structured Streaming) در اسپارک Spark Structured Streaming

• یادداشت‌ها: استریمینگ ساختاریافته (Structured Streaming) در اسپارک [Notes] Spark Structured Streaming

• یکپارچه‌سازی اسپارک و کافکا Spark Kafka Integration

• یادداشت‌ها: یکپارچه‌سازی اسپارک و کافکا [Notes] Spark Kafka Integration

بیشتر Extra

• نکات بهینه‌سازی عملکرد Performance Tuning Tips