آموزش مستر کلاس HADOOP عملی - داده های بزرگ را رام کنید!

Hands-on HADOOP Masterclass - Tame the Big Data!

نکته: آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
توضیحات دوره: Big Data ، Hadoop ، MapReduce ، HDFS ، HIVE ، PIG ، Mahout ، NoSQL ، Oozie ، Flume ، Storm ، Avro ، Spark ، Sqoop ، Cloudera و موارد دیگر

آنچه خواهید آموخت

  • با مفاهیم Hadoop و Big Data آشنا شوید
  • با جزئیات مفاهیم MapReduce ، HDFS ، HIVE ، PIG
  • Mahout ، NoSQL را بیاموزید ، Oozie ، Flume ، Storm ، Avro ، Spark ، Sqoop ، Cloudera و موارد دیگر
  • تجزیه و تحلیل داده ها را با استفاده از Hadoop انجام دهید
  • تسلط بر مفاهیم چارچوب Hadoop
  • در پیکربندی های مختلف خوشه Hadoop تجربه کسب کنید
  • کار با real- پروژه های زمانی با استفاده از Hadoop

درک و تغییر لهجه در هر ویدیو از بلندگو به بلندگو دشوار است ، بنابراین هرگز به آن عادت نمی کنید. رونوشت خودکار کمکی نمی کند زیرا درصورتی که مطمئن نیستید نسخه آن را بدتر کرده است. این مانند این گزیده بد است: "شیطان باریکی که من می شناسم و برخی از توده های لورلین ردیاب کار و شیطان کارشناسی ارشد شیطان را تولید کردند" این به نظر می رسد متن فیلم ترسناک است

البته به نظر می رسد از ترکیبی از ویدئو برای سایت دیگری بدون دسترسی به منابع تهیه شده است. بنابراین مطالب مرجع دوره در اینجا موجود نیست.

به جای ارائه حرفه ای ، بسیاری از دوره ها متنی است که در دفترچه یادداشت مایکروسافت نوشته شده است و بسیاری از فیلم ها در حال لرزش هستند. سوسو زدن از بارگیری نیست بلکه از ویندوز سوسو زدن روی رایانه مربی یا نسخه ویدیویی است. برخی نیز تار خواهند بود. برخی از ویدئوها هنگامی که مجری اشتباهی مرتکب می شود مدت طولانی ساکت می شوند و بی صدا آن را جستجو می کنند. برش بین ویدیو با جدول خلاصه ای که ممکن است محتوای یک موضوع در 2 دقیقه آخر ویدیوی قبلی شروع شود تنظیم نمی شود

جدول خلاصه این دوره را خوب نشان می دهد اما اگر می توانید دوره دیگری را بگذرانید.


سرفصل ها و درس ها

مقدمه آموزش Big Data و Hadoop Big Data and Hadoop Training Introduction

  • مقدمه ای بر Big Data Hadoop Introduction to Big Data Hadoop

  • سناریوی Big Data Hadoop Scenario of Big Data Hadoop

  • آناتومی بنویسید Write Anatomy

  • ادامه سیستم آناتومی را بنویسید Continuation os Write Anatomy

  • آناتومی را بخوانید Read Anatomy

  • ادامه سیستم آناتومی را بخوانید Continuation os Read Anatomy

  • تعداد کلمات در Hadoop Word Count in Hadoop

  • در حال اجرای برنامه Hadoop Running Hadoop Application

  • ادامه برنامه Hadoop Continuation Hadoop Application

  • کار روی برنامه نمونه Working on Sample Program

  • ایجاد نقشه روش Creating Method Map

  • مقادیر قابل تکرار Iterable Values

  • مسیر خروجی Output Path

  • جعبه گیر ترسناک Scary Catch Box

معماری Hadoop و HDFS Hadoop Architecture and HDFS

  • آشنایی با مدیر Hadoop Introduction to Hadoop Admin

  • محدودیت های سیستم موجود Limitations of Existing System

  • خصوصیات کلیدی Hadoop Hadoop Key Characteristics

  • سیستم پرونده توزیع شده Hadoop Hadoop Distributed File System

  • لایه ذخیره سازی Hadoop Storage Layer of Hadoop

  • اجزای اصلی Hadoop 1.0 Hadoop 1.0 Core Components

  • تصاویر FS FS Images

  • گره نام ثانویه Secondary Name Node

  • معماری HDFC HDFC Architecture

  • سیاست قرار دادن بلوک Block Placement Policy

  • تکالیف Assignments

  • تنظیم خوشه معماری Hadoop Hadoop Architecture Cluster Setup

  • نصب Hadoop در ایستگاه کاری Vmware Installation of Hadoop in Vmware Workstation

  • نصب بسته Hadoop Hadoop Package Installation

  • پیکربندی نام میزبان و دروازه Configuration of Host Name and Gateway

  • کپی کردن فایل ISO در Centos Copying of ISO File to Centos

  • نصب فایل SSH با استفاده از Yum Installation of SSH File Using Yum

  • کلید عمومی را در کلید مجاز در SSH کپی کنید Copy the Public Key to Authorized Key in SSH

  • تنظیم برای اندازه بلوک و نقشه برداری Setup for Block Size and Mapped

  • SSH -keygen را برای کاربر HD ایجاد کنید Create SSH -keygen for HD User

  • Map Reduce را در Hadoop شروع کنید Start the Map Reduce in Hadoop

  • ایجاد یک Clone برای Hadoop Creating a Clone for Hadoop

  • تغییر نام میزبان Changing the Hostname

  • پیکربندی سایت Hadoop Configuring Hadoop Site

  • پیکربندی پرونده برده Slave File Configuration

  • ایجاد گره Name و Data Node در Hadoop Creating Name node and Data Node In Hadoop

  • درک HDFS Understanding HDFS

  • پرونده های پیکربندی هسته Hadoop Hadoop Core Config Files

  • خوشه و رمز عبور Hadoop کمتر SSH Hadoop Cluster and Password less SSH

  • پیکربندی Rack Awareness Configuring Rack Awareness

  • پیکربندی Rack Awareness ادامه دارد Configuring Rack Awareness Continues

  • در حال اجرای گزارش سرپرست DFS Running DFS Admin Report

  • کاهش نقشه Hadoop Hadoop Map Reduce

  • اجرای Hadoop NameNode Running Hadoop NameNode

  • اجرای دستور Hadoop Executing Hadoop Command

  • نوشتن پرونده در خوشه Hadoop Writing File in Hadoop Cluster

  • درک فرمان FS Understanding FS Command

  • راهنماهای داده Directories of Data

  • بررسی سیستم Fie Fie System Check

  • نوشتن داده در HDFS Writing Data in HDFS

  • گره بازرسی Checkpointing Node

  • ادغام فراداده Merging the Metadata

  • خوشه در حالت ایمن Cluster in Safe Mode

  • خوشه در حالت تعمیر و نگهداری Cluster in Maintainance Mode

  • راه اندازی گره های داده Commissioning of Data Nodes

  • نام گره Name Node

  • اعتبار سنجی گره داده Validating the Data Node

  • ملاحظات ذخیره سازی Storage Considerations

مبانی MapReduce MapReduce Fundamentals

  • مرتب سازی ثانویه Hadoop Secondary Sort Hadoop

  • ایجاد کلید ترکیبی Creating Composite Key

  • کلید ترکیبی را ادامه دهید Continue on Composite Key

  • گروه شمارش کلمات Word Count Group

  • اهمیت پارتیشن بندی Importance of Partition

  • Hadoop FS - LS Hadoop FS - LS

  • به Hadoop می پیوندد Joins in Hadoop

  • ایجاد شی Conf پیکربندی Creating Configuration Object

  • روش راه اندازی Setup Method

  • Map Side به Mapper بپیوندید Map Side Join Mapper

  • دستورات Hadoop Hadoop Commands

  • کمباینر در Hadoop Combiner in Hadoop

  • Combiner را در Hadoop ادامه دهید Continue on Combiner in Hadoop

  • در حال بارگذاری شیشه Combiner Uploading Combiner Jar

  • مقدمه ای بر دنیای واقعی Introduction to Real World

  • نگارگر رتبه بندی Ratings Mapper

  • دونده فیلم و رتبه بندی Movie and Ratings Runner

  • شیشه کالک و فیلم Movie and Rating Calc Jar

  • مجموع رتبه بندی توسط یک کاربر Total Ratings By A User

  • کاهش دهنده امتیاز کاربر User Rating Reducer

  • کلاس رتبه بندی کاربر User Rating Class

  • آموزش مقدماتی نخ Yarn Basic Tutorial

  • مدیر گره Node Manager

MapReduce Advanced MapReduce Advanced

  • اجرای برنامه MapReduce Running a MapReduce Program

  • اجرای برنامه MapReduce ادامه دارد Running a MapReduce Program Continues

  • سیستم فایل HDFS HDFS File System

  • ترکیبی از عملکرد شمارش کلمات Combination of Word Count Functionality

  • تعداد کلمات با ابزار Word Count With Tools

  • ورود پردازنده Log Processor

  • Advanced MapReduce و PIG Advanced MapReduce and PIG

  • اطلاعات بیشتر در مورد Advanced MapReduce More on Advanced MapReduce

  • اجرای برنامه مشابه Executing Similar Program

  • داده HDI و داده صادرات HDI Data and Export Data

  • ایجاد کلاس جدید جاوا Creating New Java Class

  • متن نمایه سازی معکوس Text Out Inverted Indexer

  • مقدمه ای بر MapReduce در Hadoop Introduction to MapReduce on Hadoop

  • Java Build Path Java Build Path

  • نقشه محلی کاهش Local MapReduce

  • با استفاده از MapReduce Using MapReduce

  • فرمت فایل توالی Sequence file Format

  • تجزیه وبلاگ ها Parse Weblogs

  • نگارگر نمایش صفحه Page View Mapper

  • برنامه تحلیلی Analytics Program

  • برنامه تجزیه و تحلیل ادامه دهید Analytics Program Continue

  • کاهش نقشه شاخص معکوس Inverted Index Map Reduce

  • دوست مبل دوست Friend Sofa Friend

  • Cloudera Localhost Cloud era Local Host

  • خروجی Cloudera Localhost Cloud era Local Host Output

  • برنامه ماژول نهایی MapReduce Final Module MapReduce Program

  • رشته ها Strands

  • فیلتر مسیر مسیر File Path Filter

  • مثال Example

  • به عنوان مثال ادامه دهید Example Continue

مبانی HIVE HIVE Fundamentals

  • مقدمه ای بر HIVE Introduction to HIVE

  • بانک اطلاعاتی HIVE HIVE Data Base

  • Load Data Command Load Data Command

  • چگونه ستون را جایگزین کنیم How to Replace Column

  • میز خارجی External Table

  • HIVE Metastore HIVE Metastore

  • Hive Partition چیست What is Hive Partition

  • ایجاد جدول پارتیشن Creating Partition Table

  • قرار دادن جدول بازنویسی Insert Overwrite Table

  • Dynamic Partition True Dynamic Partition True

  • سطل کندو Hive Bucketing

  • تجزیه مجموعه داده ها Decomposing Data Sets

  • Hive می پیوندد Hive Joins

  • Hive ادامه می یابد Hive Joins Continue

  • Skew بپیوندید Skew Join

  • Serde چیست What is Serde

  • Serde در کندو Serde in Hive

  • کندوی UDF Hive UDF

  • کندوی UDF ادامه دارد Hive UDF Continues

  • بیشتر کندو UDF More Hive UDF

  • عملکرد Maxcale Maxcale Function

  • مورد استفاده از کندو Hive Example Use Case

کندوی پیشرفته Hive Advanced

  • مقدمه ای بر مفاهیم کندو و نمایش عملی Introduction to Hive Concepts and Hands-on Demonstration

  • میز داخلی و میز خارجی Internal Table and External Table

  • درج داده در جداول Inserting Data Into Tables

  • تاریخ و توابع ریاضی Date and Mathematical Functions

  • اظهارات مشروط Conditional Statements

  • منفجر و نمای جانبی Explode and Lateral View

  • مرتب سازی Sorting

  • پیوستن Join

  • نقشه بپیوندید Map Join

  • پارتیشن بندی استاتیک و پویا Static and Dynamic Partitioning

  • اطلاعات بیشتر در مورد پارتیشن بندی پویا More on Dynamic Partitioning

  • دستور Alter Alter Command

  • فرماندهی MSCK MSCK Command

  • سطل زدن Bucketing

  • نمونه گیری از جدول Table Sampling

  • بایگانی Archiving

  • مرتبه ها Ranks

  • ایجاد نمایش ها Creating Views

  • مزایای نمایش ها و تغییر دیدگاه ها Advantages of views and Altering Views

  • نمایه سازی چیست What is Indexing

  • زمان فشرده و شاخص بیت مپ Compact and Bitmap Index Running Time

  • دستورات کندو در Bash Shell Hive Commands in Bash Shell

  • متغیرهای کندو - Hiveconf Hive Variables - Hiveconf

  • متغیرهای کندو -Hiveconf در Bash Shell Hive Variables -Hiveconf in Bash Shell

  • پیکربندی متغیر Hive Var Configuring a Hive Var Variable

  • تعویض متغیر Variable Substitution

  • تعداد کلمه Word Count

  • معماری کندو Hive Architecture

  • موازی کاری در کندو Parallelism in Hive

  • خصوصیات جدول در کندو Table Properties in Hive

  • خصوصیات قالب Null Null Format Properties

  • خصوصیات قالب Null ادامه دارد Null Format Properties Continues

  • دستورات پاکسازی در کهیرها Purge Commands in Hives

  • کاهش سرعت تغییر Slowing Changing Dimension

  • SCD را اجرا کنید Implement the SCD

  • نمونه ای از SCD Example of the SCD

  • نحوه بارگیری داده های XML در کندو How to Load XML Data in Hive

  • نحوه بارگیری داده های XML در کندو ادامه دهید How to Load XML Data in Hive Continue

  • بدون قطره و آفلاین در کندو No Drop and Offline in Hive

  • جدول تغییرناپذیر Immutable Table

  • نحوه ایجاد فایل Rive Hive How to Create Hive RC File

  • چندین جدول Multiple Tables

  • ادغام Hive Created Files و عملکرد rLike Merging Hive Created Files and Function rLike

  • تنظیمات مختلف پیکربندی در کندو Various Configuration Settings in Hive

  • تنظیمات مختلف پیکربندی در کندو ادامه دارد Various Configuration Settings in Hive Continues

  • فشرده سازی فایل های مختلف در کندو Compressing Various Files in Hive

  • حالت های مختلف در کندو Different Modes in Hive

  • فشرده سازی پرونده در کندو File Compression in Hive

  • نوع حالت در کندو Type of Mode in Hive

  • مقایسه جدول داخلی و خارجی Comparison of Internal and External Table

مبانی PIG PIG Fundamentals

  • معرفی خوک Introduction to Pig

  • ویژگی های Apache Pig Features of Apache Pig

  • خوک و زنبور عسل Pig Vs Hive

  • حالت محلی و MR آپاچی خوک Apache Pig Local and MR Modes

  • راه اندازی حالت های محلی Launching Local Modes

  • انواع داده در خوک Data Types in Pig

  • دستورات خوک - ذخیره و بارگیری Pig Commands - Store and Load

  • فرمان بارگیری Load Command

  • دستورات خوک - گروه Pig Commands - Group

  • CoGroup اپراتور CoGroup Operator

  • به اپراتورهای Pig بپیوندید و Cross Join and Cross operators in Pig

  • به اپراتورهای Cross و Pig در Pig Continues بپیوندید Join and Cross operators in Pig Continues

  • اتحادیه و اپراتورهای تقسیم در خوک Union and Split Operators in Pig

  • اطلاعات بیشتر در مورد اپراتورهای Split More on Split Operators

  • فیلتر مجزا و برای هر کدام Filter Distinct and For each

  • توابع خوک Pig Functions

  • عملکردهای خوک ادامه دارد Pig Functions Continues

  • اندازه داده ورودی Input Data Size

خوک پیشرفته PIG Advanced

  • شروع با PIG Getting Started with PIG

  • مراحل نصب Installation Process

  • PIG لاتین PIG Latin

  • بارگذاری پرونده در HDFS Uploading the File in HDFS

  • اسکریپت PIG PIG Script

  • مبانی لاتین PIG PIG Latin Basics

  • بالا و در حال اجرا با خوک Up and Running with Pig

  • بارگیری و ذخیره سازی Loading and Storage

  • بارگیری و ذخیره سازی ادامه دارد Loading and Storage Continue

  • اشکال زدایی Debugging

  • گرانت شل Grunt Shell

  • UDF و Piggy Bank UDFs and Piggy Bank

مبانی NoSQL NoSQL Fundamentals

  • تاریخچه مختصر NoSQL A Brief History of NoSQL

  • Schema Agnostic Schema Agnostic

  • غیر رابطه ای Nonrelational

  • تصدی NoSQL Enterprise NoSQL

  • گرایشهای اخیر IT Recent Trends in IT

  • مزایا و احتیاط های NoSQL NoSQL Benefits and Precautions

  • مدیریت انواع مختلف داده ها Managing Different Data Types

  • فروشگاه سه گانه و نمودار Triple and Graph Store

  • پایگاه های ترکیبی NoSQL Hybrid NoSQL Databases

  • استفاده از روش سازگاری Applying Consistency Method

  • ACID یا BASE را انتخاب می کنید؟ Choosing ACID or BASE?

  • در حال توسعه برنامه در NoSQL Developing Application on NoSQL

  • مفاهیم Semantics

  • ابر عمومی Public Cloud

  • مدیریت در دسترس بودن Managing Availability

  • داده های نسخه بندی Versioning Data

آپاچی ماهوت Apache Mahout

  • ماهوت چیست What is Mahout

  • معماری ماهوت Mahout Architecture

  • نصب براندازی Subversion Installation

  • توصیه مبتنی بر مورد Item Based Recommendation

  • مثال- طبقه بندی CBayes Example- CBayes Classifier

  • گزینه های خط فرمان Command Line Options

  • خوشه بندی سایبان Canopy Clustering

  • توصیه کننده اصلی Basic Recommender

  • مثالهای عملی Practical Examples

  • فرماندهی Mahout Seqdumper Mahout Seqdumper Command

  • اجرای کد از طریق گرفتگی Running Code through Eclipse

  • خواندن از کد Reading from Code

  • معرفی Apache Mahout Deep Dive Introduction to Apache Mahout Deep Dive

  • از موارد استفاده کنید Use Cases

  • توصیه Recommendation

  • مثال - Tanimoto فاصله Example - Tanimoto Distance

  • چگونه از ماهوت استفاده کنیم؟ How to Use Mahout?

  • ورزش Exercise

  • مثال - ارزیابی Example - Evaluation

  • خوشه سایبان عمیق غواصی Deep Dive Canopy Clustering

  • طبقه بندی Classification

  • فایل وکتور Vector File

  • طبقه بندی کننده Naïve Bayes از Code Naïve Bayes Classifier from Code

  • خوشه بندی KMeans KMeans Clustering

  • رگرسیون لجستیک Logistic Regression

آپاچی اوزی Apache Oozie

  • معرفی Apache Oozie Introduction to Apache Oozie

  • درباره جزئیات اقدام کنید Discuss Action in Detail

  • درباره پارامترها بحث کنید Discuss Parameters

  • اقدام ایمیل در Oozie Email Action in Oozie

  • Hadoop FS Action در Oozie Hadoop FS Action in Oozie

  • اقدام کندو در Oozie Hive Action in Oozie

  • اقدام کندو در Oozie ادامه دهید Hive Action in Oozie Continue

  • گره کنترل Control Node

  • کنترل گره ادامه دهید Control Node Continue

  • اقدام خوک در Oozie Pig Action in Oozie

  • عمل خوک در Oozie ادامه دارد Pig Action in Oozie Continues

  • هماهنگ کننده های اوزی Oozie Coordinators

  • برنامه های گردش کار Oozie Oozie Workflow Applications

  • برنامه های گردش کار Oozie ادامه دارد Oozie Workflow Applications Continues

آپاچی فلوم Apache Flume

  • مقدمه ای بر فلوم Introduction to Flume

  • جریان داده در Flume Data Flow in Flume

  • Flume Netcat مثال Flume Netcat Example

طوفان آپاچی Apache Storm

  • مقدمه Introduction

  • شرح Hadoop Description of Hadoop

  • مقدمه طوفان Storm Introduction

  • تاریخچه طوفان آپاچی Apache Storm History

  • ویژگی های Apache Storm Features of Apache Storm

  • معماری طوفان آپاچی Architecture of Apache Storm

  • توضیحات معماری در جزئیات Architcture Explanation in Detail

  • توپولوژی Topology

  • جرقه و پیچ و مهره Spouts and Bolts

  • پخش جریانی Stream

  • مراحل نصب Installation Process

  • گروه بندی جریان Stream Grouping

  • گروه بندی جریان ادامه دارد Stream Grouping Continue

  • قابلیت اطمینان Reliability

  • وظایف Tasks

  • کارگران Workers

  • جاوا نصب و Zookeeper Java Installation and Zookeeper

  • نصب Zookeeper Zookeeper installation

  • نصب گرفتگی Eclipse Installation

  • مشتری خط فرمان Command line Client

  • موازی سازی در توپولوژی طوفان Parallelism in Storm Topology

آپاچی آرو Apache Avro

  • معرفی Apache Avro Introduction to Apche Avro

  • استفاده از Avro با Sqoop Using Avro with Sqoop

  • انواع داده های بدوی پشتیبانی شده در Avro Supported Primitive Data Types in Avro

مبانی Apache Spark Apache Spark Fundamentals

  • معرفی Apark Spark Spark Introduction to Apache Spark Spark

  • متن جرقه Spark Context

  • اجزای جرقه Spark Components

  • مقدمه ای بر اصول Spark RDD Introduction to Spark RDD Basics

  • استفاده از عملکرد فیلتر Use of Filter Function

  • تحولات RDD در جرقه RDD Transformations in Spark

  • تحولات RDD در جرقه ادامه دارد RDD Transformations in Spark Continues

  • RDD پایداری در جرقه RDD Persistence in Spark

  • مرتب سازی و اقدامات گروهی بر روی جفت RDD ها Group Sort and Actions on Pair RDDs

  • قالب های Spark File Spark File Formats

  • قالب های Spark File ادامه دارد Spark File Formats Continues

Apache Spark Advanced Apache Spark Advanced

  • مقدمه اتصال به توییتر با استفاده از Spark Introduction to Connecting to Twitter Using Spark

  • نمودار جریان Spark Flowchart of Spark

  • اجزای Spark Components of Spark

  • خدمات مختلفی که در YARN اجرا می شوند Different Services Running on YARN

  • مقدمه ای بر اسکالا Introduction to Scala

  • کلاس های مورد و تطبیق الگو Case Classes and Pattern Matching

  • نصب Scala Installation of Scala

  • متغیرها و توابع Variables and Functions

  • متغیرها و توابع ادامه دارد Variables and Functions Continues

  • حلقه ها Loops

  • مجموعه ها Collections

  • اطلاعات بیشتر در مورد مجموعه ها More on Collections

  • کلاس انتزاعی Abstract Class

  • نمونه ای از کلاس چکیده Example of the Abstract Class

  • صفت Trait

  • نمونه صفت Example of the Trait

  • استثنا Exception

  • مثال عملی استثناها Practical Example of Exceptions

  • موارد استثنایی پروژه Scala را سفارشی کنید Customize Exceptions of Scala Project

  • اصلاح کننده ها Modifiers

  • رشته های Strings

  • روش ها در رشته ها Methods in Strings

  • روش ها در رشته ها ادامه دارد Methods in Strings Continue

  • آرایه Array

  • RDD در Spark RDD in Spark

  • RDD در جرقه ادامه دارد RDD in Spark Continues

  • عملیات مختلف Different Operations

  • عملیات تحول Transformation Operations

  • عملیات عملیاتی Action Operations

  • عملیات عملیاتی ادامه دارد Action Operations Continues

  • آفرینش Maven Maven Creation

  • پروژه Scala ایجاد کنید Create Scala Project

  • تفاوت بین Hadoop 1.x و 2.x Difference between Hadoop 1.x and 2.x

  • اتصال به توییتر با استفاده از جریان جرقه ای Connection to Twitter Using Spark Streaming

  • نحوه اتصال Twitter با استفاده از برنامه Spark How to Connect Twitter Using Spark Application

  • اطلاعات بیشتر در مورد Twitter با استفاده از Spark Application متصل شوید More on Connect Twitter Using Spark Application

Hadoop Project 01 - تجزیه و تحلیل داده های فروش Hadoop Project 01 - Sales Data Analysis

  • مقدمه ای در تجزیه و تحلیل داده های فروش با استفاده از Hadoop- HDFS Introduction to Sales Data Analysis Using Hadoop- HDFS

  • کار با بیانیه مسئله 2 Working with Problem Statement 2

  • کار با بیانیه مسئله 3 Working with Problem Statement 3

  • کار با بیانیه مسئله 4 Working with Problem Statement 4

  • کار با بیانیه مسئله 5 Working with Problem Statement 5

  • کار با بیانیه شماره 6 Working with Problem Statement 6

پروژه Hadoop 02 - تجزیه و تحلیل بررسی گردشگری Hadoop Project 02 - Tourism Survey Analysis

  • مقدمه ای بر تجزیه و تحلیل بررسی گردشگری با استفاده از HDFS Introduction to Tourism Survey Analysis Using HDFS

  • متوسط هزینه های هزینه شده توسط گردشگر در کشور ما Average of Money Spend By Tourist in our Country

  • به کشور و ملیت بپیوندید Join Country and Nationality

  • نه کل از جهانگرد کمتر از 18 سال Total no. of Tourist Less than 18

  • ستون نام کشور را تغییر دهید Change the Country Name Column

  • تعداد نرها از استرالیا Number of Males from Australia

  • جزئیات عمومی و هزینه های بررسی گردشگری Tourism Survey General Detail and Spending Details

پروژه Hadoop 03 - مدیریت داده های دانشکده Hadoop Project 03 - Faculty Data Management

  • مقدمه ای بر مدیریت داده های دانشکده با استفاده از HDFS Introduction to Faculty Data Management Using HDFS

  • صنعت آموزش Education Industry

  • افزودن ستون جدید در مدیریت بانک اطلاعات دانشکده Adding New Column in Faculty Database Management

  • تغییر نام ستون و نوع داده Changing Column Name and Data Type

  • ستون را از جدول رها کرده و ستون جدید اضافه کنید Drop Column From Table and Add New Column

پروژه Hadoop 04 - تجزیه و تحلیل فروش تجارت الکترونیکی Hadoop Project 04 - E-Commerce Sales Analysis

  • مقدمه ای در تجزیه و تحلیل فروش تجارت الکترونیکی با استفاده از Hadoop Introduction to E-Commerce Sales Analysis Using Hadoop

  • جزئیات مشتری از ایالات متحده آمریکا نیست Customer Detail not from USA

  • حساب کاربری مشتری پس از 2009 ایجاد شد Customer Detail Account Created After 2009

  • جزئیات مشتری که فروش آنها کمتر از 3600 $ است Customer Details whose Sales are Less than 3600$

  • جزئیات نام مشتری آنوشکا Details of Customer Name Anushka

  • جزئیات نام مشتری آنوشکا Details of Customer Name ’’Anushka

پروژه Hadoop 05 - تجزیه و تحلیل حقوق و دستمزد Hadoop Project 05 - Salary Analysis

  • کارمند نیمه وقت با استفاده از تجزیه و تحلیل حقوق و دستمزد Part time Employee using Salary Analysis

  • جزئیات کمک اداری Details of Administrative Assistance

  • مجموعه داده ها به ترتیب صعودی Data Sets in Ascending Order

  • عنوان شغل برای هر بخش Job Title for Each Department

  • تغییر نام به نام کارمند Changing Name to Employee Name

  • تعداد کل کارمندان در ساعت کار Total number of Employee in Hourly Basis

  • حقوق سالانه گرفته شده توسط اداره دارایی Annual Salary Taken By Finance Department

Hadoop Project 06 - آنالیز بررسی سلامت با استفاده از HDFS Hadoop Project 06 - Health Survey Analysis using HDFS

  • مقدمه ای بر تجزیه و تحلیل سلامت Introduction to Health Analysis

  • نمایش داده های ردیف از جدول داده های بهداشتی Show Rows Data From Health Data Table

  • افزودن داده های جدید در جدول داده های سلامت Adding New Data in Health Data Table

  • داده ها را از پایگاه داده HDFS از پایگاه داده SQL دریافت کنید Get Data From HDFS Database from SQL Database

  • دریافت داده در فهرست جدید HDFS از SQL Getting Data in New HDFS Directory from SQL

  • صادرات جدول داده از HDFS به SQL Export Data Table From HDFS to SQL

  • جزئیات جمعیت شهر را در مجموعه داده های بهداشت دریافت کنید Get Details of City Population in Health Dataset

پروژه Hadoop: 07 - تجزیه و تحلیل نقض ترافیک Hadoop Project:07 - Traffic Violation Analysis

  • مقدمه ای بر تجزیه و تحلیل تخلفات رانندگی Introduction to Traffic Violation Analysis

  • مقدمه ای در تجزیه و تحلیل تخلفات رانندگی ادامه دارد Introduction to Traffic Violation Analysis Continues

  • جدول را از فهرست SQL به HDFS دریافت کنید Get Table From SQL to HDFS Directory

  • خروجی جدول از SQL به فهرست HDFS Output of Table From SQL to HDFS Directory

  • پایگاه داده ها و جداول SQl را در HDFS لیست کنید List Databases and Tables of SQl in HDFS

  • در تخلفات راهنمایی و رانندگی مشاغل ایجاد و اجرا کنید Create and Execute jobs in Traffic Violation

  • واردات داده ها برای صدمات شخصی از SQL Import Data for Personal Injuries from SQL

  • دریافت داده برای ایالت مریلند Get Data For State Maryland

  • استخراج اطلاعات مربوط به نقض ترافیک از HDFS به My SQL Extract Data of Traffic Violation from HDFS to My SQL

پروژه Hadoop 08 - PIG / MapReduce - تجزیه و تحلیل مجموعه وام Hadoop Project 08 - PIG/MapReduce - Analyze Loan Dataset

  • مقدمه ای برای تجزیه و تحلیل مجموعه داده های وام Introduction to Analyze the Loan Data Set

  • مقدمه ای برای تجزیه و تحلیل مجموعه داده های وام ادامه دارد Introduction to Analyze the Loan Data Set Continues

  • ریسک متوسط کلی Overall Average Risk

  • ریسک متوسط کدگذاری Coding Average Risk

  • کدگذاری به طور متوسط خطر ادامه دارد Coding Average Risk Continues

  • اطلاعات بیشتر در مورد میانگین خطر More on Average Risk

  • ریسک متوسط در هر مکان Average Risk Per Location

  • ریسک متوسط در هر نوع وام Average Risk per Loan Type

  • محاسبه میانگین خطر برای هر گروه Calculate Average Risk Per Category

  • محاسبه میانگین خطر برای هر گروه ادامه دارد Calculate Average Risk Per category Continues

  • رابط قابل مقایسه در MapReduce Comparable Interface in MapReduce

  • پیاده سازی و اجرا MapReduce Implementation and Execution MapReduce

  • میانگین خطر برای هر گروه در PIG Average Risk Per Category in PIG

  • میانگین خطر برای هر گروه و مکان در PIG Average Risk Per Category and Location in PIG

  • میانگین خطر برای هر گروه و مکان در PIG ادامه دارد Average Risk Per Category and Location in PIG Continues

  • میانگین خطر برای هر گروه در کندو Average Risk Per Category in Hive

  • تجزیه و تحلیل بانک وام بانک در HIVE Analysis Bank Loan Dataset in HIVE

  • تجزیه و تحلیل بانک وام بانک در HIVE ادامه دارد Analysis Bank Loan Dataset in HIVE Continues

  • درک Sqoop و دریافت داده های RDBMS در HDFS Understand of Sqoop and Get RDBMS Data in HDFS

پروژه Hadoop: 09 - HIVE - مطالعه موردی در صنعت مخابرات Hadoop Project:09 - HIVE - Case Study on Telecom Industry

  • معرفی کندو Introduction of Hive

  • نوع داده ساده و پیچیده در کندو Simple and Complex Datatype in Hive

  • خوشه ها Clusters

  • فرمان پایگاه داده در کندو Database Command in Hive

  • دستورات جداول در کندو Tables Commands in Hive

  • جداول را مدیریت کنید Manage Tables

  • جداول خارجی External Tables

  • مقدمه ای بر پارتیشن بندی Introduction to Partitioning

  • فرماندهی پارتیشن Partition Command

  • سطل زدن Bucketing

  • خدمات Contr Table در کندو Table Contr Services in Hive

  • نمونه خدمات Contr Example of Contr Services

  • نمونه خدمات Contr ادامه دارد Example of Contr Services Continues

  • ایجاد قرارداد همه جدول Creating Contract All Table

پروژه Hadoop: 10 - HIVE / MapReduce - تجزیه و تحلیل شکایات مشتریان Hadoop Project:10 - HIVE/MapReduce - Customers Complaints Analysis

  • مقدمه ای بر پروژه شکایت مشتری در داده های بزرگ Introduction to Customer Complaint Project in Big Data

  • شکایت در زیر هر پرونده Complaint Filed Under Each File

  • ایجاد فایلهای Driver و Jar Manifest Creating Driver Files and Jar Manifest

  • ایجاد فایلهای Driver و Jar Manifest ادامه دارد Creating Driver Files and Jar Manifest Continues

  • شکایتی که از مکان خاصی ارسال شده است Complaint Filed from Particular Location

  • مکان تعیین شده توسط کاربر User Defined Location

  • لیست شکایات گروه بندی شده براساس مکان List of Complaint Grouped By Location

پروژه Hadoop 11 - HIVE / PIG / MapReduce / Sqoop - تجزیه و تحلیل رسانه های اجتماعی Hadoop Project 11 - HIVE/PIG/MapReduce/Sqoop - Social Media Analysis

  • مقدمه ای بر صنعت رسانه های اجتماعی Introduction to Social Media Industry

  • وب سایت مارک گذاری کتاب Book Marking Website

  • وب سایت مارک گذاری کتاب ادامه دارد Book Marking Website Continues

  • درک Sqoop Understanding Sqoop

  • از RDBMS به HDFS داده دریافت کنید Get Data from RDMS to HDFS

  • برای پردازش پرونده XML ، برنامه کاهش نقشه را اجرا کنید Execute Map Reduce Program in order to Process XML File

  • عملکرد کتاب را با بررسی با استفاده از Codev تحلیل کنید Analyze Book Performance By Reviews Using Codev

  • عملکرد کتاب را با بررسی با استفاده از کد تجزیه و تحلیل کنید Analyze Book Performance By Reviews Using Code Continues

  • کتاب را براساس مکان تجزیه و تحلیل کنید Analyse Book By Location

  • نمونه تحلیل کتاب براساس مکان Example of Analyse Book By Location

  • تجزیه و تحلیل کتاب خوان در برابر نویسنده Analyse Book Reader Against Author

  • نحوه پردازش پرونده XML در PIG How to process XML File in PIG

  • نحوه پردازش پرونده XML در PIG ادامه دارد How to process XML File in PIG Continues

  • تجزیه و تحلیل عملکرد کتاب در فایل XML در PIG Analyze Book Performance in XML File in PIG

  • اطلاعات بیشتر در مورد تجزیه و تحلیل عملکرد کتاب در فایل XML در PIG More on Analyze Book Performance in XML File in PIG

  • خوک XML خروجی فایل با استفاده از کتاب Pig XML File Output Using Book

  • خروجی فایل XML خوک با استفاده از مکان Pig XML File Output Using Location

  • خروجی فایل XML خوک با استفاده از مکان همچنان ادامه دارد Pig XML File Output Using Location Continues

  • درک مجموعه داده های پیچیده با استفاده از کندو Understanding Complex Data Set Using Hive

  • درک مجموعه داده های پیچیده با استفاده از کندو ادامه دارد Understanding Complex Data Set Using Hive Continues

  • ایجاد آرایه در Map Reduce Using Hive Create Array in Map Reduce Using Hive

  • نوع مارک کتاب مجموعه داده ها با استفاده از نوع پیچیده Book Marking Type Data Set Using Complex Type

  • خروجی مجموعه داده نوع مارک کتاب Output of Book Marking Type Data Set

پروژه Hadoop 12 - HIVE / PIG - تجزیه و تحلیل داده های حسگر Hadoop Project 12 - HIVE/PIG - Sensor Data Analysis

  • مقدمه ای بر تجزیه و تحلیل داده های حسگر Introduction to Sensor Data Analysis

  • مقدمه ای بر تجزیه و تحلیل داده های حسگر ادامه دارد Introduction to Sensor Data Analysis Continues

  • نمونه ای از تجزیه و تحلیل داده های حسگر Example of Sensor Data Analysis

  • درک اساسی داده های بزرگ و MapReduce Uderstanding Basic of Big Data and MapReduce

  • اطلاعات بیشتر در مورد Big Data و MapReduce More on Big Data and MapReduce

  • تبدیل پرونده Json به قالب متن ساده Converting Json File into Simple Text Format

  • تبدیل پرونده Json به قالب متن ساده ادامه دارد Converting Json File into Simple Text Format Continues

  • خروجی برای قالب Json File Output for Json File format

  • تفاوت بین Pig MapReduce و Hive Diffrence Between Pig MapReduce and Hive

  • اطلاعات بیشتر در مورد Pig MapReduce و Hive More on Pig MapReduce and Hive

  • پردازش داده های حسگر در خوک Sensor Data Processing in Pig

  • کار با عملکرد خوک Working With Pig Function

  • انواع عملکرد در خوک Types of Function in Pig

  • مثالی از عملکرد خوک Example of Pig Function

  • کار روی موارد استفاده با استفاده از توابع در PIG Working on Use Cases Using Functions in PIG

  • از Case Data Flow در خوک استفاده کنید Use Case Data Flow in Pig

  • نسبت داده ها جریان خوک Ratio Data Flow in Pig

  • اطلاعات بیشتر در مورد Case in Pig More on Use Case in Pig

  • اطلاعات بیشتر در مورد مورد در خوک همچنان ادامه دارد More on Use Case in Pig Continues

  • نمونه ای از آموزش نسبت در خوک Example od Ratio Education in Pig

  • رویکرد پرونده Json را در کندو پردازش کنید Approach Process the Json File in Hive

  • ویژگی ها و پرس و جو در کندو Features and Query in Hive

  • روی موارد استفاده از Json با استفاده از کندو کار کنید Work on Json Use Cases Using Hive

  • کار روی موارد استفاده از Json با استفاده از کندو ادامه دارد Work on Json Use Cases Using Hive Continues

  • خروجی Uses Uses با استفاده از کندو Output of Json Usecases Using Hive

  • اطلاعات بیشتر در مورد Json Usecses در کندو More on Json Usecses in Hive

  • خلاصه پردازش داده های حسگر Summary of Sensor Data Processing

Hadoop Project 13 - PIG / MapReduce - تجزیه و تحلیل داده های یوتیوب Hadoop Project 13 - PIG/MapReduce - Youtube Data Analysis

  • مقدمه ای بر تجزیه و تحلیل داده های Youtube با استفاده از Hadoop Introduction to Youtube Data Analysis Using Hadoop

  • مقدمه ای بر تجزیه و تحلیل داده های Youtube با استفاده از Hadoop ادامه دارد Introduction to Youtube Data Analysis Using Hadoop Continues

  • آماده سازی داده ها برای تجزیه و تحلیل داده های Youtube با استفاده از Hadoop Data Preparation For Youtube Data Analysis using Hadoop

  • مبانی داده های بزرگ و کاهش نقشه Basics of Big Data and Map Reduce

  • اطلاعات بیشتر در مورد Big Data و Map Reduce More on Big Data and Map Reduce

  • کار با سناریوی تجزیه و تحلیل با استفاده از Mapreduce Working with Analysis Senario using Map Reduce

  • نمونه آنالیزگر Youtube با استفاده از Map Reduce Example of Youtube Analyser using Map Reduce

  • خروجی تجزیه و تحلیل یوتیوب در نقشه کاهش می یابد Output Youtube Analyse in Map Reduces

  • آنالیز ویدیوی Youtube با رتبه بالا در Mapreduce High Rated Youtube Video Analyser in Map Reduces

  • پیاده سازی و خروجی در Mapreduce Implementation and Outputt in Map Reduces

  • مبانی PIG Basics of PIG

  • اصول PIG ادامه دارد Basics of PIG Continues

  • تجزیه و تحلیل داده های یوتیوب با استفاده از پیاده سازی PIG Analyze Youtube Data using PIG Implementation

  • نمونه ای از پیاده سازی PIG Example of PIG Implementation

  • خروجی پیاده سازی PIG Output of PIG Implementation

  • Youtube Video Analyzer با استفاده از Hive Youtube Video Analyzer using Hive

  • ساخت آنالیز کننده ویدیوی Youtube با استفاده از Hive Creating Youtube Video Analyzer using Hive

  • تجزیه و تحلیل فیلم های یوتیوب با استفاده از جستجوی Hive Analysis Youtube Videos using Hive Query

  • تجزیه و تحلیل فیلم های یوتیوب با استفاده از جستجوی Hive ادامه دارد Analysis Youtube Videos using Hive Query Continues

  • اطلاعات بیشتر در مورد زبانهای جستجوی Hive More on Hive Query Languages

مبانی Hadoop و HDFS در Cloudera Hadoop and HDFS Fundamentals on Cloudera

  • Big Data چیست؟ What is Big Data ?

  • پردازش داده های بزرگ Processing Big Data

  • توزیع ذخیره سازی و پردازش Distributed storage and processing

  • درک نقشه کاهش Understanding Map Reduce

  • مقدمه ای بر ماژول 2 Introduction to module 2

  • آشنایی با محیط Cloudera Introduction to Cloudera environment

  • درک محیط hadoop نصب شده در Cloudera Understanding hadoop environment installed on Cloudera

  • درک پیکربندی فراداده در hadoop Understanding metadata configuration on hadoop

  • درک رابط کاربری و HUE وب HDFS Understanding HDFS web UI and HUE

  • دستورات پوسته HDFS HDFS shell Commands

  • چند دستور دیگر برای پوسته HDFS Few more HDFS shell Commands

  • دسترسی به HDFS از طریق برنامه جاوا Accesing HDFS through Java program

تجزیه و تحلیل داده ها را با Hadoop وارد کنید Log Data Analysis with Hadoop

  • مقدمه ای برای پردازش ورود به سیستم Introduction to Log Processing

  • خلاصه کردن پرونده های ورود به سیستم Summarizing Log Files

  • برنامه MapReducing MapReducing Programme

  • برنامه MapReduce را اجرا کنید Execute MapReduce Program

  • فناوری داده های بزرگ Big Data Technology

  • اجرای ابزار Big Data Executing Big Data Tool

  • نوشتن برنامه کاهش نقشه Writing Map Reduce Program

  • جستجوی لیست آرایه ها Array List Searching

  • پردازش پرونده ها در نقشه کاهش می یابد Processing Files In Map Reduce

  • نتیجه Conclusion

  • نتیجه Conclusion

نمایش نظرات

نظری ارسال نشده است.

آموزش مستر کلاس HADOOP عملی - داده های بزرگ را رام کنید!

این دوره غیر فعال شده است.

جزییات دوره
67h 30m
526
Udemy (یودمی) udemy-small
11 شهریور 1399 (آخرین آپدیت رو دریافت می‌کنید، حتی اگر این تاریخ بروز نباشد.)
20,847
2.9 از 5
ندارد
ندارد
ندارد
EDU CBA

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

EDU CBA EDU CBA

مهارت های دنیای واقعی را بصورت آنلاین بیاموزید EDUCBA یک ارائه دهنده جهانی آموزش مبتنی بر مهارت است که نیازهای اعضا را در بیش از 100 کشور برطرف می کند. ما بزرگترین شرکت فناوری پیشرفته در آسیا با نمونه کارهای 5498+ دوره آنلاین ، 205+ مسیر یادگیری ، 150+ برنامه شغل محور (JOPs) و 50+ بسته دوره حرفه ای شغلی هستیم که توسط متخصصان برجسته صنعت آماده شده است. برنامه های آموزشی ما برنامه های مبتنی بر مهارت شغلی است که توسط صنعت در سراسر امور مالی ، فناوری ، تجارت ، طراحی ، داده و فناوری جدید و آینده مورد نیاز صنعت است.

Udemy (یودمی)

یودمی یکی از بزرگ‌ترین پلتفرم‌های آموزشی آنلاین است که به میلیون‌ها کاربر در سراسر جهان امکان دسترسی به دوره‌های متنوع و کاربردی را فراهم می‌کند. این پلتفرم امکان آموزش در زمینه‌های مختلف از فناوری اطلاعات و برنامه‌نویسی گرفته تا زبان‌های خارجی، مدیریت، و هنر را به کاربران ارائه می‌دهد. با استفاده از یودمی، کاربران می‌توانند به صورت انعطاف‌پذیر و بهینه، مهارت‌های جدیدی را یاد بگیرند و خود را برای بازار کار آماده کنند.

یکی از ویژگی‌های برجسته یودمی، کیفیت بالای دوره‌ها و حضور استادان مجرب و با تجربه در هر حوزه است. این امر به کاربران اعتماد می‌دهد که در حال دریافت آموزش از منابع قابل اعتماد و معتبر هستند و می‌توانند به بهترین شکل ممکن از آموزش‌ها بهره ببرند. به طور خلاصه، یودمی به عنوان یکی از معتبرترین و موثرترین پلتفرم‌های آموزشی آنلاین، به افراد امکان می‌دهد تا به راحتی و با کیفیت، مهارت‌های مورد نیاز خود را ارتقا دهند و به دنبال رشد و پیشرفت شغلی خود باشند.