آموزش بلوک های ساختمانی Hadoop - HDFS ، MapReduce و YARN

بررسی اجمالی دوره Course Overview

• بررسی اجمالی دوره Course Overview

معرفی Hadoop Introducing Hadoop

• نیاز به محاسبات توزیعی The Need for Distributed Computing

• دو راه برای ساخت سیستم Two Ways to Build a System

• معرفی Hadoop Introducing Hadoop

• سایر فناوری ها در سیستم زیست محیطی Hadoop Other Technologies in the Hadoop Eco-system

نصب Hadoop Installing Hadoop

• حالت های نصب Hadoop Hadoop Install Modes

• نصب Hadoop در حالت مستقل Installing Hadoop in Standalone Mode

• حالت شبه توزیع شده: تنظیم SSH Pseudo-distributed Mode: Setting up SSH

• حالت شبه توزیع شده: متغیر محیط JAVA_HOME Pseudo-distributed Mode: The JAVA_HOME Environment Variable

• حالت شبه توزیع شده: تنظیمات پیکربندی Pseudo-distributed Mode: Configuration Settings

• حالت توزیع شده شبه: شروع HDFS و YARN Pseudo-distributed Mode: Starting HDFS and YARN

• حالت شبه توزیع شده: نظارت بر خوشه Psuedo-distributed Mode: Monitoring the Cluster

ذخیره اطلاعات با HDFS Storing Data with HDFS

• گره نام و گره های داده The Name Node and Data Nodes

• ذخیره و خواندن فایلها از HDFS Storing and Reading Files from HDFS

• مقدمه ای بر دستورات HDFS Introduction to HDFS Commands

• کپی کردن پرونده ها از و به Hadoop Copying Files to and from Hadoop

• تحمل خطا با تکرار Fault Tolerance with Replication

• مدیریت ناموفق بودن گره Name Node Failure Management

پردازش داده ها با MapReduce Processing Data with MapReduce

• نقشه و کاهش مراحل پردازش داده ها The Map and Reduce Phases to Process Data

• جریان داده در یک MapReduce Data Flow in a MapReduce

• پیاده سازی MapReduce در جاوا Implement MapReduce in Java

• کلاسها ، نقشه ، کاهش و اصلی را تنظیم کنید Set up the Map, Reduce, and Main Classes

• ارسال یک شیشه به Hadoop Submit a Jar to Hadoop

• با استفاده از رابط وب ، کار Mapreduce را کنترل کنید Monitor the Mapreduce Job Using the Web Interface

برنامه ریزی و مدیریت وظایف با YARN Scheduling and Managing Tasks with YARN

• Anatomy of a Job Run in YARN Anatomy of a Job Run in YARN

• اولین برنامه برای اولین بار The First in First out Scheduler

• برنامه ریز ظرفیت The Capacity Scheduler

• برنامه ریز نمایشگاه The Fair Scheduler

• در حال اجرای مشاغل در یک صف خاص Running Jobs on a Specific Queue