راهنمای عملی راه اندازی Hadoop و Spark Cluster با استفاده از CDH

سرفصل ها و درس ها

مقدمه - CCA 131 Cloudera Certified Hadoop and Spark Administrator Introduction - CCA 131 Cloudera Certified Hadoop and Spark Administrator

• معرفی دوره Introduction to the course

• CCA 131 - مدیر - صفحه رسمی CCA 131 - Administrator - Official Page

• درک مهارت های مورد نیاز برای صدور گواهینامه Understanding required skills for the certification

• درک محیط ارائه شده در هنگام شرکت در آزمون Understanding the environment provided while taking the exam

• ثبت نام در آزمون Signing up for the exam

شروع به کار - موارد ارائه از Google Cloud Getting Started - Provision instances from Google Cloud

• مقدمه Introduction

• اوبونتو را با استفاده از زیرسیستم ویندوز راه اندازی کنید Setup Ubuntu using Windows Subsystem

• برای GCP ثبت نام کنید Sign up for GCP

• ایجاد الگو برای سرور داده های بزرگ Create template for Big Data Server

• ارائه سرور برای خوشه داده های بزرگ Provision Servers for Big Data Cluster

• مرور مفاهیم Review Concepts

• راه اندازی gcloud Setting up gcloud

• راه اندازی ansible در سرور اول Setup ansible on first server

• فرمت JBOD Format JBOD

• توپولوژی خوشه ای Cluster Topology

شروع به کار - راه اندازی سرور مخزن محلی yum - CDH Getting Started - Setup local yum repository server – CDH

• مقدمه Introduction

• مروری بر yum Overview of yum

• سرویس httpd را راه اندازی کنید Setup httpd service

• مخزن محلی yum را راه اندازی کنید - مدیر کلودرا Setup local yum repository - Cloudera Manager

• راه اندازی مخزن محلی yum - Cloudera Distribution of Hadoop (CDH) Setup local yum repository - Cloudera Distribution of Hadoop (CDH)

• فایل های مخزن را کپی کنید Copy repo files

نصب CM و CDH - راه اندازی CM، نصب CDH و راه اندازی سرویس مدیریت کلودرا Install CM and CDH - Setup CM, Install CDH and Setup Cloudera Management Service

• مقدمه Introduction

• پیش نیازهای راه اندازی Setup Pre-requisites

• Cloudera Manager را نصب کنید Install Cloudera Manager

• مجوز و گزینه های نصب Licensing and Installation Options

• CM و CDH را روی همه گره ها نصب کنید Install CM and CDH on all nodes

• CM Agents و CM Server CM Agents and CM Server

• سرویس مدیریت کلودرا را راه اندازی کنید Setup Cloudera Management Service

• خدمات مدیریت کلودرا - اجزای سازنده Cloudera Management Service – Components

CM و CDH را نصب کنید - Zookeeper را پیکربندی کنید Install CM and CDH - Configure Zookeeper

• مقدمه Introduction

• فرآیند یادگیری Learning Process

• راه اندازی Zookeeper Setup Zookeeper

• خواص مهم را مرور کنید Review important properties

• مفاهیم باغ وحش Zookeeper Concepts

• دستورات مهم نگهبان باغ وحش Important Zookeeper Commands

نصب CM و CDH - پیکربندی HDFS و درک مفاهیم Install CM and CDH - Configure HDFS and Understand Concepts

• مقدمه Introduction

• راه اندازی HDFS Setup HDFS

• داده ها را در HDFS کپی کنید Copy Data into HDFS

• کپی داده ها در HDFS Contd Copy Data into HDFS Contd

• اجزای HDFS Components of HDFS

• اجزای HDFS Contd Components of HDFS Contd

• فایل های پیکربندی و ویژگی های مهم Configuration files and Important Properties

• رابط های کاربری وب و فایل های گزارش را مرور کنید Review Web UIs and log files

• ایست بازرسی Checkpointing

• بازرسی ادامه Checkpointing Contd

• فرآیند بازیابی Namenode Namenode Recovery Process

• Rack Awareness را پیکربندی کنید Configure Rack Awareness

دستورات مهم HDFS - CM و CDH را نصب کنید Install CM and CDH - Important HDFS Commands

• مقدمه Introduction

• دریافت لیست دستورات و کمک Getting list of commands and help

• ایجاد دایرکتوری ها و تغییر مالکیت Creating Directories and Changing Ownership

• مدیریت فایل ها و مجوزهای فایل - حذف فایل ها از HDFS Managing Files and File Permissions - Deleting Files from HDFS

• مدیریت فایل ها و مجوزهای فایل - کپی کردن فایل ها سیستم فایل محلی و HDFS Managing Files and File Permissions - Copying Files Local File System and HDFS

• مدیریت فایل ها و مجوزهای فایل - کپی کردن فایل ها در HDFS Managing Files and File Permissions - Copying Files within HDFS

• مدیریت فایل ها و مجوزهای فایل - پیش نمایش داده ها در HDFS Managing Files and File Permissions - Previewing Data in HDFS

• مدیریت فایل ها و مجوزهای فایل - تغییر مجوزهای فایل Managing Files and File Permissions - Changing File Permissions

• کنترل دسترسی با استفاده از ACL - ACL ها را در خوشه فعال کنید Controlling Access using ACLs - Enable ACLs On Cluster

• کنترل دسترسی با استفاده از ACL - ACL ها در فایل ها Controlling Access using ACLs - ACLs On Files

• کنترل دسترسی با استفاده از ACL - ACL ها در فهرست ها Controlling Access using ACLs - ACLs On Directories

• کنترل دسترسی با استفاده از ACL - حذف ACL Controlling Access using ACLs - Removing ACLs

• ویژگی های فراگیر Overriding Properties

• دستورات استفاده از HDFS و دریافت متادیتا HDFS usage commands and getting metadata

• ایجاد عکس های فوری Creating Snapshots

• استفاده از CLI برای مدیریت Using CLI for administration

CM و CDH را نصب کنید - YARN + MRv2 را پیکربندی کنید و مفاهیم را درک کنید Install CM and CDH - Configure YARN + MRv2 and Understand Concepts

• مقدمه Introduction

• راه اندازی YARN + MR2 Setup YARN + MR2

• Simple Map Reduce Job را اجرا کنید Run Simple Map Reduce Job

• اجزای YARN و MR2 Components of YARN and MR2

• فایل های پیکربندی و ویژگی های مهم - نمای کلی Configuration files and Important Properties - Overview

• فایل های پیکربندی و ویژگی های مهم - بررسی ویژگی های YARN Configuration files and Important Properties - Review YARN Properties

• فایل های پیکربندی و ویژگی های مهم - بررسی ویژگی های کاهش نقشه Configuration files and Important Properties - Review Map Reduce Properties

• فایل های پیکربندی و ویژگی های مهم - کارهای در حال اجرا Configuration files and Important Properties - Running Jobs

• رابط های کاربری وب و فایل های گزارش را مرور کنید Review Web UIs and log files

• نخ و MR2 CLI YARN and MR2 CLI

• چرخه عمر کاربرد نخ YARN Application Life Cycle

• نقشه کاهش چرخه زندگی اجرای شغل Map Reduce Job Execution Life Cycle

نصب CM و CDH - پیکربندی HDFS و YARN HA Install CM and CDH - Configuring HDFS and YARN HA

• مقدمه Introduction

• در دسترس بودن بالا - نمای کلی High Availability – Overview

• پیکربندی HDFS Namenode HA Configure HDFS Namenode HA

• بررسی ویژگی ها – HDFS Namenode HA Review Properties – HDFS Namenode HA

• HDFS Namenode HA - خلاصه سریع پیکربندی معمولی HDFS HDFS Namenode HA – Quick Recap of HDFS typical Configuration

• HDFS Namenode HA – کامپوننت ها HDFS Namenode HA – Components

• HDFS Namenode HA - Failover خودکار HDFS Namenode HA – Automatic failover

• پیکربندی YARN Resource Manager HA Configure YARN Resource Manager HA

• بررسی – YARN Resource Manager HA Review – YARN Resource Manager HA

• در دسترس بودن بالا - مفاهیم High Availability – Implications

نصب CM و CDH - YARN Schedulers - FIFO، Fair و Capacity Install CM and CDH - YARN Schedulers – FIFO, Fair, and Capacity

• مقدمه Introduction

• بررسی اجمالی زمانبندی ها Schedulers Overview

• FIFO Scheduler FIFO Scheduler

• معرفی Fair Scheduler Introduction to Fair Scheduler

• Configure Fair Scheduler - پیکربندی Cluster با Fair Scheduler Configure Fair Scheduler - Configure Cluster with Fair Scheduler

• پیکربندی Fair Scheduler - اجرای مشاغل بدون تعیین صف Configure Fair Scheduler - Running Jobs Without Specifying Queue

• پیکربندی Fair Scheduler - Running Jobs Specifying Queue Configure Fair Scheduler - Running Jobs Specifying Queue

• پیکربندی Fair Scheduler - ویژگی های مهم Configure Fair Scheduler - Important Properties

• زمانبندی ظرفیت - مقدمه Capacity Scheduler - Introduction

• زمانبندی ظرفیت - با استفاده از Cloudera Manager پیکربندی کنید Capacity Scheduler - Configure using Cloudera Manager

• زمانبندی ظرفیت - کارهای نمونه را اجرا کنید Capacity Scheduler - Run Sample Jobs

سایر اجزا را نصب کنید - مرور کلی و نصب Spark Install Other Components - Spark Overview and Installation

• مقدمه Introduction

• راه اندازی و اعتبارسنجی Spark 1.6.x Setup and Validate Spark 1.6.x

• ویژگی های مهم را مرور کنید Review Important Properties

• چرخه حیات اعدام جرقه Spark Execution Life Cycle

• تبدیل خوشه به بسته Convert Cluster to Parcels

• راه اندازی Spark 2.3.x Setup Spark 2.3.x

• اجرای Spark Jobs – Spark 2.3.x Run Spark Jobs – Spark 2.3.x

سایر اجزا را نصب کنید - پیکربندی موتورهای پایگاه داده - Hive و Impala Install Other Components - Configuring Database Engines – Hive and Impala

• مقدمه Introduction

• Hive و Impala را راه اندازی کنید Setup Hive and Impala

• اعتبارسنجی کندو و ایمپالا Validating Hive and Impala

• اجزاء و خواص کندو Components and Properties of Hive

• عیب یابی مشکلات کندو Troubleshooting Hive Issues

• فرمان ها و کوئری های Hive Hive Commands and Queries

• موتورهای جستجوی مختلف Different Query Engines

• اجزاء و خواص ایمپالا Components and Properties of Impala

• اجرای کوئری ها با استفاده از ایمپالا – نمای کلی Running Queries using Impala – Overview

سایر کامپوننت ها را نصب کنید - اجزای اکوسیستم Hadoop را پیکربندی کنید Install Other Components - Configure Hadoop Ecosystem components

• مقدمه Introduction

• Oozie، Pig، Sqoop و Hue را راه اندازی کنید Setup Oozie, Pig, Sqoop and Hue

• ویژگی های مهم را مرور کنید Review Important Properties

• کار نمونه Oozie را اجرا کنید Run Sample Oozie job

• Pig Job را اجرا کنید Run Pig Job

• اعتبارسنجی Sqoop Validate Sqoop

• نمای کلی Hue Overview of Hue

سایر کامپوننت ها را نصب کنید - Kafka و HBase را نصب و پیکربندی کنید Install Other Components - Install and Configure Kafka and HBase

• مقدمه Introduction

• بررسی اجمالی کافکا Kafka Overview

• بسته ها را راه اندازی کنید و سرویس کافکا را اضافه کنید Setup Parcels and Add Kafka Service

• کافکا را تأیید کنید Validate Kafka

• راه اندازی HBase Setting up HBase

• اعتبار سنجی HBase Validate HBase

CCA 131 - بازبینی برای امتحان - کلاستر را نصب کنید CCA 131 – Revision for the Exam - Install the Cluster

• مقدمه Introduction

• یک مخزن CDH محلی راه اندازی کنید Set up a local CDH Repository

• پیکربندی در سطح سیستم عامل را انجام دهید Perform OS-level Configuration

• سرور و عوامل مدیر کلودرا را نصب کنید Install Cloudera Manager Server and Agents

• CDH را با استفاده از Cloudera Manager نصب کنید Install CDH using Cloudera Manager

• یک گره جدید به یک کلاستر موجود اضافه کنید Add a New Node to an Existing Cluster

• نصب - اضافه کردن میزبان به عنوان کارگر Install - Add Host as Worker

• با استفاده از Cloudera Manager یک سرویس اضافه کنید Add a Service using Cloudera Manager

CCA 131 - بازبینی برای امتحان - پیکربندی کلاستر CCA 131 – Revision for the Exam - Configure the Cluster

• مقدمه Introduction

• با استفاده از Cloudera Manager یک سرویس را پیکربندی کنید Configure a Service using Cloudera Manager

• یک فهرست اصلی کاربر HDFS ایجاد کنید Create an HDFS user’s home directory

• NameNode HA را پیکربندی کنید Configure NameNode HA

• ResourceManager HA را پیکربندی کنید Configure ResourceManager HA

• پروکسی را برای HiveServer2/Impala پیکربندی کنید - HA Proxy را نصب کنید Configure proxy for HiveServer2/Impala - Install HA Proxy

• پروکسی را برای HiveServer2 پیکربندی کنید Configure proxy for HiveServer2

• پروکسی را برای Impala پیکربندی کنید Configure proxy for Impala

CCA 131 - بازبینی برای امتحان - مدیریت خوشه CCA 131 – Revision for the Exam - Manage the Cluster

• مقدمه Introduction

• توازن مجدد خوشه Rebalance the cluster

• هشدار را برای پر شدن بیش از حد دیسک تنظیم کنید Set up alerting for excessive disk fill

• یک اسکریپت توپولوژی رک را تعریف و نصب کنید Define and install a rack topology script

• کتابخانه فشرده سازی I/O را اضافه کنید Add I/O Compression Library

• تخصیص منابع نخ YARN Resource Assignment

• کمیسیون/از کار انداختن یک گره Commission/Decommission a node

CCA 131 - بازبینی برای امتحان - خوشه را ایمن کنید CCA 131 – Revision for the Exam - Secure the Cluster

• مقدمه Introduction

• HDFS ACL را پیکربندی کنید Configure HDFS ACLs

• Sentry را نصب و پیکربندی کنید Install and Configure Sentry

• مجوز و احراز هویت کاربر Hue را پیکربندی کنید Configure Hue user authorization and authentication

• ویرایش Log و Query را فعال یا پیکربندی کنید Enable or Configure Log and Query Redaction

• ایجاد مناطق رمزگذاری شده در HDFS - Encryption را فعال کنید Create Encrypted Zones in HDFS - Enable Encryption

• ایجاد مناطق رمزگذاری شده در HDFS - ایجاد کلیدهای رمزگذاری و مناطق Create Encrypted Zones in HDFS - Create Encryption Keys and Zones

CCA 131 - بازبینی برای امتحان - تست و عیب یابی کلاستر CCA 131 – Revision for the Exam - Test and Troubleshoot the Cluster

• مقدمه Introduction

• دستورات سیستم فایل را از طریق HTTPFS اجرا کنید Execute file system commands via HTTPFS

• کپی کارآمد داده ها در یک خوشه Efficiently copy data within a cluster

• کپی کارآمد داده ها بین خوشه ها Efficiently copy data between clusters

• ایجاد/بازیابی یک عکس فوری از دایرکتوری HDFS Create/Restore a snapshot of an HDFS directory

• دریافت/تنظیم ACLها برای ساختار فایل یا دایرکتوری Get/Set ACLs for a file or directory structure

• معیار خوشه (I/O، CPU، شبکه) Benchmark the cluster (I/O, CPU, network)

• خطاها/هشدارها را در Cloudera Manager برطرف کنید Resolve errors/warnings in Cloudera Manager

• مشکلات عملکرد/خطاها در عملکرد خوشه را حل کنید Resolve performance problems/errors in cluster operation