آموزش Big Data Hadoop: Hands-On for Beginner را بیاموزید

سرفصل ها و درس ها

مقدمه ای بر داده های بزرگ Introduction to Big Data

• مقدمه Introduction

• مقدمه ای بر داده های بزرگ Introduction to Big Data

• سه در مقابل داده های بزرگ Three Vs of Big Data

• BIG DATA چقدر بزرگ است؟ How Big is BIG DATA?

• چگونه تجزیه و تحلیل داده های بزرگ برای سازمان ها مفید است؟ How analysis of Big Data is useful for organizations?

• چالش های سیستم های سنتی Challenges of Traditional Systems

• نکاتی برای بهبود تجربه گذراندن دوره Tips to Improve Your Course Taking Experience

مقدمه ای بر HADOOP Introduction to HADOOP

• هادوپ چیست؟ What is Hadoop

• چرا هادوپ و موارد استفاده از آن Why Hadoop and its Use Cases

• اکوسیستم های مختلف Hadoop Different Ecosystems of Hadoop

• داده های نیمه ساختاریافته ساختاریافته Structured Unstructured Semi-Structured Data

• رابطه بین داده های بزرگ و هادوپ. Relation between Big Data and Hadoop.

• آینده هادوپ Future of Hadoop

• چالش های با داده های بزرگ Challenges with Big Data

• Hadoop VS RDBMS Hadoop VS RDBMS

• Hadoop VS Data Warehouse Hadoop VS Data Warehouse

• Hadoop VS Teradata Hadoop VS Teradata

• نوع پروژه های کلان داده Type of Big Data Projects

• محیط خوشه ای چیست؟ What is a Cluster Environment?

• خوشه هادوپ چیست؟ What is a Hadoop Cluster?

نصب Apache Hadoop 3.3.0 Single Node در ویندوز 10 Apache Hadoop 3.3.0 Single Node Installation on Windows 10

• Java 8 و Apache Hadoop 3.3.0 را دانلود کنید Download Java 8 and Apache Hadoop 3.3.0

• نصب و پیکربندی جاوا Installing and Configuring Java

• نصب و پیکربندی Hadoop Installing and Configuring Hadoop

• راه اندازی Apache Hadoop 3.3.0 Single Node Cluster Starting Apache Hadoop 3.3.0 Single Node Cluster

• توقف Apache Hadoop 3.3.0 Single Node Cluster Stopping Apache Hadoop 3.3.0 Single Node Cluster

نصب Apache Hadoop 3.3.0 Single Node در لینوکس اوبونتو Apache Hadoop 3.3.0 Single Node Installation on Ubuntu Linux

• نصب Apache Hadoop 3.3.0 در قسمت اول اوبونتو Apache Hadoop 3.3.0 installation on Ubuntu Part 1

• نصب Apache Hadoop 3.3.0 در اوبونتو قسمت 2 Apache Hadoop 3.3.0 installation on Ubuntu Part 2

• (اوبونتو) راه اندازی Apache Hadoop 3.3.0 Single Node Cluster (Ubuntu) Starting Apache Hadoop 3.3.0 Single Node Cluster

• (اوبونتو) توقف Apache Hadoop 3.3.0 Single Node Cluster (Ubuntu) Stopping Apache Hadoop 3.3.0 Single Node Cluster

دستورات HDFS (Hadoop Distributed File System). HDFS (Hadoop Distributed File System) Commands

• سیستم فایل توزیع شده Hadoop (HDFS) Hadoop Distributed File System (HDFS)

• پوسته سیستم فایل (FS). File System (FS) shell

• (Hands On) FileSystem Shell فرمان برای بررسی نسخه Hadoop (Hands On) FileSystem Shell Command to Check Hadoop version

• (Hands On) FileSystem Shell Command برای دریافت کمک برای هر دستور (Hands On) FileSystem Shell Command to get help for any command

• (دست روی) فرمان شل فایل سیستم برای ایجاد دایرکتوری در HDFS (Hands On) FileSystem Shell Command to Make Directory in HDFS

• (Hands On) FileSystem Shell Command برای نمایش داده ها [cat] (Hands On) FileSystem Shell Command to display data [cat]

• (Hands On) Command FileSystem Shell [checksum] (Hands On) FileSystem Shell Command [checksum]

• (دست روی) فرمان پوسته فایل سیستم [copyFromLocal] (Hands On) FileSystem Shell Command [copyFromLocal]

• (دست روی) فرمان پوسته فایل سیستم [copyToLocal] (Hands On) FileSystem Shell Command [copyToLocal]

• (دست روی) فرمان پوسته فایل سیستم [شمارش] (Hands On) FileSystem Shell Command [count]

• (دست روی) فرمان پوسته فایل سیستم [cp] (Hands On) FileSystem Shell Command [cp]

• (دست روی) فرمان پوسته فایل سیستم [df] (Hands On) FileSystem Shell Command [df]

• (Hands On) FileSystem Shell Command [du] (Hands On) FileSystem Shell Command [du]

• (دست روی) فرمان پوسته فایل سیستم [پیدا کردن] (Hands On) FileSystem Shell Command [find]

• (دست روی) فرمان پوسته فایل سیستم [دریافت] (Hands On) FileSystem Shell Command [get]

• (دست روی) فرمان پوسته فایل سیستم [getfacl] (Hands On) FileSystem Shell Command [getfacl]

• (دست روی) فرمان پوسته فایل سیستم [سر] (Hands On) FileSystem Shell Command [head]

• (Hands On) FileSystem Shell Command [ls] (Hands On) FileSystem Shell Command [ls]

• (دست روی) فرمان پوسته فایل سیستم [moveFromLocal] (Hands On) FileSystem Shell Command [moveFromLocal]

• (Hands On) FileSystem Shell Command [mv] (Hands On) FileSystem Shell Command [mv]

• (دست روی) فرمان پوسته فایل سیستم [قرار] (Hands On) FileSystem Shell Command [put]

• (دست روی) فرمان پوسته فایل سیستم [rm] (Hands On) FileSystem Shell Command [rm]

• (Hands On) FileSystem Shell Command [rmdir] (Hands On) FileSystem Shell Command [rmdir]

• (Hands On) FileSystem Shell Command [دم] (Hands On) FileSystem Shell Command [tail]

• (Hands On) FileSystem Shell Command [touchz] (Hands On) FileSystem Shell Command [touchz]

• (دست روی) فرمان FileSystem Shell برای افزودن داده ها [appendToFile] (Hands On) FileSystem Shell Command to append data [appendToFile]

• (دست روی) فرمان FileSystem Shell برای تغییر گروه [chgrp] (Hands On) FileSystem Shell Command to change group [chgrp]

• (دست روی) فرمان FileSystem Shell برای تغییر مجوز [chmod] (Hands On) FileSystem Shell Command to change permission [chmod]

• (Hands On) FileSystem Shell Command برای تغییر مالک [chown] (Hands On) FileSystem Shell Command to change owner [chown]

• (دست روی) فرمان FileSystem Shell برای ادغام فایل ها [getmerge] (Hands On) FileSystem Shell Command to merge files [getmerge]

• (Hands On) FileSystem Shell Command برای تغییر تکرار [setrep] (Hands On) FileSystem Shell Command to change replication [setrep]

• (دست روی) فرمان FileSystem Shell برای مشاهده آمار [آمار] (Hands On) FileSystem Shell Command to view statistics [stat]

• (Hands On) FileSystem Shell Command برای تغییر تمبر زمان تغییر [لمس] (Hands On) FileSystem Shell Command to change modifying timestamp [touch]

• (دست روی) فرمان FileSystem Shell به فایل‌های concat[concat] (Hands On) FileSystem Shell Command to concat files[concat]

• (دست روی) فرمان پوسته FileSystem برای نمایش classpath [classpath] (Hands On) FileSystem Shell Command to display classpath [classpath]

• (Hands On) FileSystem Shell Command برای نمایش متغیرهای محیطی [envvars] (Hands On) FileSystem Shell Command to display environment variables [envvars]

• (Hands On) FileSystem Shell Command fsck [fsck] (Hands On) FileSystem Shell Command fsck [fsck]

• (Hands On) FileSystem Shell Command getconf[getconf] (Hands On) FileSystem Shell Command getconf[getconf]

• (دست روی) FileSystem Shell Command Group [گروه] (Hands On) FileSystem Shell Command group[group]

• (Hands On) FileSystem Shell Command datanode[datanode] (Hands On) FileSystem Shell Command datanode[datanode]

معماری HDFS و YARN HDFS and YARN Architecture

• بررسی اجمالی HDFS HDFS Overview

• معماری HDFS HDFS Architecture

• جنبه های ذخیره سازی HDFS Storage aspects of HDFS

• حالت های نصب Hadoop Hadoop Modes of Installation

• NameNode NameNode

• DataNode DataNode

• NodeManager NodeManager

• مدیر منابع ResourceManager

• NameNode ثانویه Secondary NameNode

• تکرار داده ها Data Replication

• آگاهی رک Rack Awareness

• نیرومندی Robustness

• عکس های HDFS HDFS Snapshots

• متعادل کننده Balancer

نخ YARN

• YARN چیست؟ What is YARN?

• تفاوت بین Map Reduce و YARN Difference between Map Reduce & YARN

• معماری YARN YARN Architecture

• جدول زمانی برای نخ (CapacityScheduler/Fair Scheduler) Schedular for Yarn (CapacityScheduler/Fair Scheduler)

• نمونه هایی از اجرای Mapreduce روی YARN Examples Running Mapreduce on YARN

• YARN Web UI YARN Web UI

• سخنرانی مهم Important Lecture

• سخنرانی پاداش Bonus Lecture

MapReduce MapReduce

• بررسی اجمالی Overview

• MapReduce چیست؟ What is MapReduce?

• محدودیت Mapreduce Mapreduce Limitation

• نقشه‌بردار Mapper

• کاهنده Reducer

• بر زدن Shuffle

• مرتب سازی Sort

• مرتب سازی ثانویه Secondary Sort

• چند نقشه؟ How Many Maps?

• چند کاهش می دهد؟ How Many Reduces?

• کاهنده هیچ Reducer NONE

• تقسیم کننده Partitioner

• پیشخوان Counter

• InputSplit InputSplit

• RecordReader RecordReader

• مثال Example

سوالات متداول در مصاحبه Apache Hadoop و MapReduce FAQ in Apache Hadoop and MapReduce Interview

• چگونه فایل های .gz را در یک فهرست جدید در هادوپ از حالت فشرده خارج کنیم؟ How to unzip .gz files in a new directory in hadoop?

• سوال مبتنی بر سناریو Scenario Based Question

• سوال مبتنی بر سناریو Scenario Based Question

• آیا می توانم چندین فایل در HDFS با اندازه های مختلف بلوک داشته باشم؟ Can I have multiple files in HDFS use different block sizes?

• آیا کاراکترهای Wildcard در FsShell به درستی کار می کنند؟ Does Wildcard characters work correctly in FsShell?

• چگونه با فایل های کوچک در Hadoop برخورد کنیم؟ How to deal with small files in Hadoop?

• برای بهبود عملکرد Mapreduce Job چه مراحلی را دنبال می کنید؟ What steps do you follow in order to improve the performace of Mapreduce Job?

• هدف از زدن و مرتب سازی فاز در کاهنده در Map Reduce چیست What is the purpose of shuffling and sorting phase in the reducer in Map Reduce

• آیا نوشتن مشاغل Hadoop MapReduce در جاوا مهم است؟ Is it important for Hadoop MapReduce jobs to be written in Java?

خوک آپاچی Apache Pig

• مقدمه ای بر آپاچی پیگ Introduction to Apache Pig

• Map Reduce در مقابل Apache Pig Map Reduce Vs Apache Pig

• نصب آپاچی پیگ Installing Apache Pig

• حالت های اجرا Execution Modes

• حالت دسته ای Batch Mode

• بیانیه های لاتین خوک Pig Latin Statements

• انواع داده ها Data types

• نمونه ای از نوع داده ساده Example of Simple Data Type

• نمونه ای از نوع داده پیچیده Example of Complex Data Type

• در حال بارگیری داده ها Loading Data

• کار با دیتا Working with Data

• اپراتور FILTER (Hands On) FILTER operator (Hands On)

• اپراتور FOREACH (Hands On) FOREACH operator (Hands On)

• اپراتور GROUP (Hands On) GROUP operator (Hands On)

• اپراتور COGROUP (Hands On) COGROUP operator (Hands On)

• اپراتور JOIN (Hands On) JOIN operator (Hands On)

• اپراتور UNION (Hands On) UNION operator (Hands On)

• اپراتور SPLIT (Hands On) SPLIT operator (Hands On)

• ذخیره سازی داده ها (Hand On) Storing Data (Hands On)

• اشکال زدایی Pig Latin (Hands On) Debugging Pig Latin (Hands On)

• اپراتور DUMP (Hands On) DUMP operator (Hands On)

• اپراتور DESCRIBE (Hands On) DESCRIBE operator (Hands On)

• اپراتور توضیح دهید (Hands On) EXPLAIN operator (Hands On)

• اپراتور ILLUSTRATE (Hands On) ILLUSTRATE operator (Hands On)

• اپراتورهای مقایسه (دست روی) Comparison Operators (Hands On)

• سفارش توسط اپراتور (Hands On) ORDER BY operator (Hands On)

• اپراتور RANK (Hands On) RANK operator (Hands On)

Apache Pig - توابع ساخته شده Apache Pig - Built In Functions

• AVG - Eval Functions (Hands On) AVG - Eval Functions (Hands On)

• CONCAT - توابع Eval (Hands On) CONCAT - Eval Functions (Hands On)

• COUNT - عملکردهای Eval (Hands On) COUNT - Eval Functions (Hands On)

• MAX - عملکردهای Eval (Hands On) MAX - Eval Functions (Hands On)

• MIN - عملکردهای Eval (Hands On) MIN - Eval Functions (Hands On)

• SIZE - توابع Eval (Hands On) SIZE - Eval Functions (Hands On)

• SUM - توابع Eval (Hands On) SUM - Eval Functions (Hands On)

• IN - عملکردهای Eval (Hands On) IN - Eval Functions (Hands On)

• ABS - توابع ریاضی (دست روی) ABS - Math Functions (Hands On)

• CBRT - توابع ریاضی (دست روی) CBRT - Math Functions (Hands On)

• FLOOR - توابع ریاضی (دست روی) FLOOR - Math Functions (Hands On)

• LOG - توابع ریاضی (دست روی) LOG - Math Functions (Hands On)

سوالات متداول در آپاچی پیگ FAQ in Apache Pig

• سوال مبتنی بر سناریو (بر اساس اصلاح فایل) Scenario Based Question (File modification based)

• چگونه با استفاده از Pig، نقل قول های تکی را از داده ها حذف کنیم؟ How to remove single quotes from data using Pig?

• چگونه از یک نام مستعار مجموع یک فیلد را در تمام سطرها محاسبه کنیم؟ How to compute sum of a field in all the rows from an alias?

• آیا راهی برای این کار وجود دارد؟ به عنوان مثال، نام فایل مورد پردازش و غیره را ارسال کنید؟ Is there a way to do this? eg, pass the name of the file to be processed, etc?

• سوال مبتنی بر سناریو (تاریخ) Scenario Based Question (Date)

• چگونه می توان Transpose را در چند ستون مربوطه در pig انجام داد؟ How to do Transpose in corresponding few columns in pig?

• سوال مبتنی بر سناریو (برنامه نویسی) Scenario Based Question (Programming)

• یک برنامه شمارش کلمات در خوک بنویسید؟ Write a word count program in pig?

• چگونه فایل ها را با جداکننده های مختلف هر بار در پیگلاتین بارگذاری کنیم؟ How to load files with different delimiter each time in piglatin?

آپاچی اسکوب Apache Sqoop

• آشنایی با Apache Sqoop Introduction to Apache Sqoop

• نصب Apache Sqoop در اوبونتو Installing Apache Sqoop on Ubuntu

• نصب کلاینت و سرور MySQL MySQL client and Server Installation

وارد کردن داده ها با Apache Sqoop Importing Data with Apache Sqoop

• اسکوپ-واردات Scoop-import

• مراحل اجباری برای انجام در mysql Mandatory Steps to be performed at mysql

• مراحل اجباری باید در فهرست راهنمای sqoop lib انجام شود Mandatory Steps to be performed at sqoop lib Directory

• انتقال یک جدول کامل Transferring an Entire Table

• تعیین یک فهرست هدف Specifying a Target Directory

• وارد کردن فقط زیر مجموعه ای از داده ها Importing Only a Subset of Data

• محافظت از رمز عبور شما Protecting Your Password

• با استفاده از فرمت فایل Using a File Format

• فشرده سازی داده های وارداتی Compressing Imported Data

• سرعت بخشیدن به نقل و انتقالات Speeding Up Transfers

• کنترل موازی سازی Controlling Parallelism

• وارد کردن همه جداول شما Importing All Your Tables

• وارد کردن فقط داده های جدید (واردات افزایشی) Importing Only New Data (Incremental Import)

• واردات فرم رایگان پرس و جو Free-Form Query Import

صادرات داده با Apache Sqoop Exporting Data with Apache Sqoop

• Sqoop-صادرات Sqoop-export

• انتقال داده ها از Hadoop Transferring Data from Hadoop

آپاچی فلوم Apache Flume

• مقدمه ای بر آپاچی فلوم Introduction to Apache Flume

• نصب Apache Flume در اوبونتو Installing Apache Flume on Ubuntu

• معماری فلوم آپاچی Apache Flume Architecture

• ویژگی های Apache Flume Features of Apache Flume

• مزایا و معایب Apache Flume Pros and Cons of Apache Flume

• چه زمانی باید به سراغ Apache Flume بروید؟ When should you go for Apache Flume?

• برنامه های Apache Flume Apache Flume Applications

• دست در مثال Hands On Example

پایتون با استفاده از Databricks Python using Databricks

• شروع کار با پایتون Getting Started with Python

• متغیرها و انواع داده ها Variables and Data Types

• شرایط و حلقه ها Conditionals and Loops

• توابع و بسته های روش ها Methods Functions and Packages

• مجموعه و کلاس ها Collection and Classes

• سخنرانی مهم Important Lecture

• سخنرانی پاداش Bonus Lecture