آموزش CCA131 Cloudera CDH 5 & 6 Hadoop Administrator Course Master

سرفصل ها و درس ها

بنیاد - iSMAC، معماری لامبدا و یادگیری ماشین Foundation - iSMAC, Lambda Architecture and Machine Learning

• مقدمه ای بر iSMAC Introduction to iSMAC

• نمای کلی و جزئیات معماری لامبدا Lambda Architecture Overview and Details

• آشنایی با یادگیری ماشین و کاربرد آن در Bigdata World Understanding Machine Learning and it Application in Bigdata World

بنیاد - iSMAC، معماری لامبدا و یادگیری ماشین Foundation - iSMAC, Lambda Architecture and Machine Learning

AWS - خدمات وب آمازون AWS - Amazon Web Services

• AWS - مقدمه ای بر خدمات وب آمازون (AWS) AWS - Introduction To Amazon Web Services (AWS)

• AWS - ثبت‌نام و صورت‌حساب (مهم - مربوط به قیمت‌گذاری) AWS - Signup and Billing (Important - Pricing related)

• AWS - مناطق و مناطق AWS - Zones and Regions

• AWS - نمونه EC2 را راه اندازی کنید AWS - Launch EC2 Instance

• AWS - سرویس ذخیره سازی ساده (S3) AWS - Simple Storage Service (S3)

• AWS - با استفاده از Putty به نمونه EC2 وارد شوید AWS - Login to EC2 Instance using Putty

• AWS - EC2 AMI (تصویر ماشین آمازون) AWS - EC2 AMI (Amazon Machine Image)

• AWS - EC2 Spot Instances AWS - EC2 Spot Instances

• AWS - سرویس داده های رابطه ای (RDS) AWS - Relational Data Service (RDS)

AWS - خدمات وب آمازون AWS - Amazon Web Services

بنیاد Hadoop در HDFS و YARN. Hadoop Foundation on HDFS and YARN.

• HDFS - سیستم فایل توزیع شده Hadoop HDFS - Hadoop Distributed File System

• نخ - یک مذاکره کننده دیگر برای منابع YARN - Yet another Resource Negotiator

• راه اندازی و نصب پایگاه داده MySQL MySQL Database setup and Installation

بنیاد Hadoop در HDFS و YARN. Hadoop Foundation on HDFS and YARN.

نصب کلودرا - راه اندازی مخزن، httpd، نصب مسیر B Cloudera Installation - Repository setup, httpd, path B installation

• AWS AMI را برای نصب Cloudera آماده کنید Prepare AWS AMI for Cloudera Installation

• نصب - نصب سریع Cloudera Data Hadoop (CDH). Install - Cloudera Data Hadoop (CDH) Quick Install

• نکات نصب Installation Notes

• مراحل و مسیرهای نصب کلودرا Cloudera Installation Phases and Paths

• معرفی و بررسی اجمالی مدیر کلودرا Cloudera Manager Introduction and Overview

• بسته های کلودرا Cloudera Parcels

• راه اندازی مخزن کلودرا با آپاچی httpd Cloudera Repository Setup with Apache httpd

• مسیر نصب Cloudera B با مخزن محلی - AMI Prepare Cloudera Installation Path B with local repository - AMI Prepare

• مسیر نصب Cloudera B - نصب و پیکربندی مدیر Cloudera Installation Path B - Manager Installation and Configuration

• مسیر نصب Cloudera B - نصب و پیکربندی عامل و CDH Cloudera Installation Path B - Agent and CDH Installation and Configuration

• اضافه کردن Cluster، Add Service و Delete Cluster چرخه عمر Add Cluster, Add Service and Delete Cluster life cycle

نصب کلودرا - راه اندازی مخزن، httpd، نصب مسیر B Cloudera Installation - Repository setup, httpd, path B installation

دستورات پوسته HDFS Basics HDFS Basics shell commands

• دستورات پوسته HDFS HDFS Shell Commands

• سطل زباله HDFS HDFS Trash

دستورات پوسته HDFS Basics HDFS Basics shell commands

HDFS در دسترس بودن بالا HA - مفهوم، راه اندازی، پیکربندی، آزمایش، تأیید، حذف HDFS High Availabiliity HA - Concept, Setup, Configure, Test, Verify, Remove

• HDFS High Availability (HA) - مفاهیم HDFS High Availability (HA) - Concepts

• HDFS در دسترس بودن بالا (HA) - راه اندازی HDFS High Availability (HA) - Setup

• HDFS High Availability (HA) - تست HDFS High Availability (HA) - Test

• HDFS High Availability (HA) - حذف کنید HDFS High Availability (HA) - Remove

HDFS در دسترس بودن بالا HA - مفهوم، راه اندازی، پیکربندی، آزمایش، تأیید، حذف HDFS High Availabiliity HA - Concept, Setup, Configure, Test, Verify, Remove

مدیریت HDFS - متعادل کننده، تعمیر و نگهداری، مدیریت سهمیه، تست قناری HDFS Manage - Balancer, Maintenance, Quota Management, Canary Test

• بالانس HDFS HDFS Balancer

• حالت نگهداری HDFS HDFS Maintenance Mode

• مدیریت سهمیه HDFS HDFS Quota Management

• تست قناری HDFS HDFS Canary Test

• آگاهی از رک HDFS HDFS Rack Awareness

مدیریت HDFS - متعادل کننده، تعمیر و نگهداری، مدیریت سهمیه، تست قناری HDFS Manage - Balancer, Maintenance, Quota Management, Canary Test

ایست بازرسی HDFS درک، مدیریت، کار با ویرایش‌ها، FSImage، ویرایش‌های رول، HDFS Checkpoint. Understand, Manage, Work with Edits, FSImage, Roll Edits,

• HDFS ویرایش FSImage مقدمه HDFS Edits FSImage Introduction

• معرفی HDFS Checkpoint و Deepdive HDFS Checkpoint Introduction and Deepdive

• HDFS ویرایش FSImage - نمای تصویر آفلاین (OIV) و نمای ویرایش آفلاین (OEV) HDFS Edits FSImage - Offline Image View (OIV) and Offline Edits View (OEV)

• ویرایش های رول HDFS HDFS Roll Edits

• HDFS ذخیره فضای نام HDFS Save Namespace

ایست بازرسی HDFS درک، مدیریت، کار با ویرایش‌ها، FSImage، ویرایش‌های رول، HDFS Checkpoint. Understand, Manage, Work with Edits, FSImage, Roll Edits,

HDFS Advanced - Snapshot، WebHDFS، Federation، Recovery، httpFS، Edge Node HDFS Advanced - Snapshot, WebHDFS, Federation, Recovery, httpFS, Edge Node

• عکس فوری HDFS HDFS Snapshot

• خط مشی عکس فوری HDFS HDFS Snapshot Policy

• گره لبه HDFS HDFS Edge Node

• HDFS WebHDFS HDFS WebHDFS

• HDFS httpFS HDFS httpFS

• ابزار HDFS FSCK HDFS FSCK Utility

• بازیابی HDFS HDFS Recovery

• فدراسیون HDFS HDFS Federation

• HDFS - فهرست اصلی HDFS - Home Directory

HDFS Advanced - Snapshot، WebHDFS، Federation، Recovery، httpFS، Edge Node HDFS Advanced - Snapshot, WebHDFS, Federation, Recovery, httpFS, Edge Node

مدیریت کلودرا - کمیسیون، از کار افتادن، پیکربندی مشتری، الگوی میزبان Cloudera Manage - Commission , Decommission, Client configuration, Host Template

• کمیسیون خوشه و انحلال Cluster Commission and Decommission

• پیکربندی مشتری کلاستر Cluster Client Configuration

• قالب میزبان خوشه Cluster Host Template

مدیریت کلودرا - کمیسیون، از کار افتادن، پیکربندی مشتری، الگوی میزبان Cloudera Manage - Commission , Decommission, Client configuration, Host Template

LDAP - نصب، پیکربندی سیستم عامل، phpLDAPAdmin Client LDAP - Install, Configure OS, phpLDAPAdmin Client

• OpenLDAP - phpLDAPAdmin - نصب و راه اندازی OpenLDAP - phpLDAPAdmin - Installation and setup

• احراز هویت کاربر CentOS با OpenLDAP CentOS user authentication with OpenLDAP

LDAP - نصب، پیکربندی سیستم عامل، phpLDAPAdmin Client LDAP - Install, Configure OS, phpLDAPAdmin Client

نخ - اجزاء، ارسال MR YARN - Components, Submit MR

• YARN - Resource Manager، Node Manager، Scheduler Introduction YARN - Resource Manager, Node Manager , Scheduler Introduction

• YARN - ارسال MapReduce Job: Single and Multiple Job YARN - Submit MapReduce Job : Single and Multiple Jobs

نخ - اجزاء، ارسال MR YARN - Components, Submit MR

مدیر منابع - انواع زمانبندی، استخر منابع پویا، در دسترس بودن بالا Resource manager - Scheduler Types, Dynamic Resource Pool, High Availability

• YARN - خلاصه انواع مدیریت منابع YARN - Types of Resource Manager Summary

• YARN - مدیر منابع - استاتیک خدمات استخر YARN - Resource Manager - Static Service Pool

• YARN - مدیر منابع - FIFO - First In First Out Scheduler YARN - Resource Manager - FIFO - First In First Out Scheduler

• نخ - مدیر منابع - زمانبندی منصفانه YARN - Resource Manager - Fair Scheduler

• YARN - مدیر منابع - زمانبندی ظرفیت YARN - Resource Manager - Capacity scheduler

• YARN - مدیر منابع - پیکربندی استخر منابع پویا YARN - Resource Manager - Dynamic Resource Pool Configuration

• YARN - مدیر منابع - در دسترس بودن بالا YARN - Resource Manager - High Availability

مدیر منابع - انواع زمانبندی، استخر منابع پویا، در دسترس بودن بالا Resource manager - Scheduler Types, Dynamic Resource Pool, High Availability

Apache Zookeeper - نصب، پیکربندی Apache Zookeeper - Install, Configure

• Zookeeper - معرفی و افزودن به عنوان سرویس Zookeeper - Introduction & Adding as Service

Apache Zookeeper - نصب، پیکربندی Apache Zookeeper - Install, Configure

Apache Hive - مدیریت، راه اندازی HA، Beeline، WebHCat، HCatalog، پیکربندی Warehouse dir Apache Hive - Manage, Setup HA, Beeline, WebHCat, HCatalog, Warehouse dir config

• معرفی کندو Hive Introduction

• نصب و پیکربندی Hive Hive Installation and Configuration

• مجموعه داده های کندو آماده سازی برای نسخه ی نمایشی Hive Data set Preparation for Demo

• نسخه ی نمایشی Hive Client - Hive Shell - Beeline Shell Demo Hive Client Demo - Hive Shell - Beeline Shell Demo

• Hive Client - Hive Query را با HUE تجربه کنید - Query، Visualize و Analyze Hive Client - Experience Hive Query with HUE - Query, Visualize and Analyze

• Hive High Availability -HA Hive High Availability -HA

• Hive WebHCat و HCatalog Hive WebHCat and HCatalog

• Hive Warehouse Directory و Metastore DB Configuration Hive Warehouse Directory and Metastore DB Configuration

Apache Hive - مدیریت، راه اندازی HA، Beeline، WebHCat، HCatalog، پیکربندی Warehouse dir Apache Hive - Manage, Setup HA, Beeline, WebHCat, HCatalog, Warehouse dir config

Apache Oozie - نصب، پیکربندی Apache Oozie - Install, Configure

• Apache Oozie معرفی، نصب و راه اندازی Apache Oozie Introduction, Installation and Setup

Apache Oozie - نصب، پیکربندی Apache Oozie - Install, Configure

رابط کاربری Hadoop (HUE) - راه اندازی، نصب، یکپارچه سازی LDAP، ACL توسعه یافته Hadoop User Interface (HUE) - Setup, Install, LDAP Integration, Extended ACL

• HUE - Hadoop User Experience - راه اندازی، نصب و معرفی HUE - Hadoop User Experience - Setup, Installation and Introduction

• HUE - ادغام OpenLDAP برای احراز هویت HUE - OpenLDAP Integration for Authentication

• لیست کنترل دسترسی توسعه یافته HDFS (ACL) HDFS Extended Access Control List (ACL)

رابط کاربری Hadoop (HUE) - راه اندازی، نصب، یکپارچه سازی LDAP، ACL توسعه یافته Hadoop User Interface (HUE) - Setup, Install, LDAP Integration, Extended ACL

Sentry - نصب، پیکربندی، احراز هویت مبتنی بر نقش، ادغام LDAP Sentry - Install, Configure , Role based authentication, LDAP Integration

• معرفی Sentry و مفاهیم مجوز مبتنی بر نقش Sentry Introduction and Role Based Authorization Concepts

• نصب و پیکربندی نگهبان Sentry Installation and Configuration

• پیکربندی و ادغام ماژول امنیتی HUE با Sentry برای مجوز HUE Security Module Configuration and Integration with Sentry for Authorization

• مجوز جدول کندو با نگهبان - سناریوی عملی Hive Table Authorization with Sentry - Practical Scenario

• مدیر کلودرا - ادغام OpenLDAP برای احراز هویت Cloudera Manager - OpenLDAP Integration for Authentication

Sentry - نصب، پیکربندی، احراز هویت مبتنی بر نقش، ادغام LDAP Sentry - Install, Configure , Role based authentication, LDAP Integration

Impala - نصب، پیکربندی، مقایسه با Hive، Architecture Impala - Install, Configure, Compare with Hive, Architecture

• مقدمه و مفاهیم ایمپالا Impala Introduction and Concepts

• مقایسه ایمپالا با کندو - معماری و عملکرد Impala Compare with Hive - Architecture and Performance

• نصب و پیکربندی ایمپالا Impala Installation and configuration

Impala - نصب، پیکربندی، مقایسه با Hive، Architecture Impala - Install, Configure, Compare with Hive, Architecture

Kerberos - نصب، پیکربندی، تأیید، ایمن Kerberos - Install, Configure, Verify, Secure

• معرفی، معماری و فرآیند احراز هویت Kerberos Kerberos Introduction, Architecture and Authentication Process

• Kerberos سرور و کلاینت را برای راه اندازی و پیکربندی آماده می کند Kerberos Prepare Server and Client for Setup and Configuration

• Kerberos - Cloudera را برای Kerberize کردن خوشه پیکربندی کنید Kerberos - Configure Cloudera to Kerberize the Cluster

• Kerberos - کار با Keytab و Service Ticket Kerberos - Working with Keytab and Service Ticket

Kerberos - نصب، پیکربندی، تأیید، ایمن Kerberos - Install, Configure, Verify, Secure

Sqoop - بلع داده ها Sqoop - Data Ingestion

• Sqoop Introduction, Architecture Installation and Configuration Sqoop Introduction, Architecture Installation and Configuration

• Sqoop Import and Export بین HDFS، Hive، HBase و RDBMS Sqoop Import and Export between HDFS, Hive, HBase and RDBMS

Sqoop - بلع داده ها Sqoop - Data Ingestion

HBase - Hadoop Base - NoSQL Database HBase - Hadoop Base - NoSQL Database

• NoSQL - سرویس HBase - معرفی و نصب NoSQL - HBase Service - Introduction and Installation

• HBase - پیکربندی HUE برای کار با HBase HBase - HUE Configuration to Work with HBase

• HBase - کار با جداول در ویرایشگر HUE HBase - Working with Tables in HUE Editor

HBase - Hadoop Base - NoSQL Database HBase - Hadoop Base - NoSQL Database

Flume - بلع داده های تک و چند عاملی Flume - Single and Multi Agent Data Ingestion

• نصب و پیکربندی فلوم - سناریوی تک عامل Flume Installation and Configuration - Single Agent Scenario

• Flume Multi Agent Configuration - مجموعه Log از چندین گره Cluster Flume Multi Agent Configuration - Log collection from multiple nodes of Cluster

Flume - بلع داده های تک و چند عاملی Flume - Single and Multi Agent Data Ingestion

رمزگذاری HDFS HDFS Encryption

• HDFS - منطقه رمزگذاری شده، پیکربندی Keystore HDFS - Encrypted Zone, Keystore configuration

رمزگذاری HDFS HDFS Encryption

نصب، پیکربندی و مدیریت Apache Spark Apache Spark Installation, Configuration and Administration

• معرفی جرقه Spark Introduction

• معماری جرقه Spark Architecture

• نصب جرقه Spark Installation

• Spark Submit Job - Standalone Cluster Spark Submit Job - Standalone Cluster

نصب، پیکربندی و مدیریت Apache Spark Apache Spark Installation, Configuration and Administration

نصب، پیکربندی و مدیریت آپاچی کافکا Apache Kafka Installation, Configuration and Administration

• مقدمه کافکا Kafka Introduction

• نصب کافکا Kafka Installation

• اجزای کافکا و معماری Kafka components and Architecture

• کافکا - ادغام فلوم Kafka - Flume Integration

• اداره کافکا Kafka Administration

نصب، پیکربندی و مدیریت آپاچی کافکا Apache Kafka Installation, Configuration and Administration

محک زدن هادوپ Hadoop Benchmarking

• HDFS Terasort، Teragen، Teravalidate HDFS Terasort, Teragen, Teravalidate

• TestDFSIO TestDFSIO

محک زدن هادوپ Hadoop Benchmarking

مدیریت حافظه - کانتینر، JVM، نقش، حافظه گره و مدیریت عملکرد Memory Management - Container, JVM, Role, Node Memory and Performance Management

• مدیریت حافظه گره. نیاز به پشته و پشته بهینه برای نقش ها را محاسبه کنید Node Memory management . Calculate heap requirement and optimal heap for roles

• محاسبه پشته نامی Namenode Heap Calculation

مدیریت حافظه - کانتینر، JVM، نقش، حافظه گره و مدیریت عملکرد Memory Management - Container, JVM, Role, Node Memory and Performance Management

ویرایش HDFS، فشرده سازی IO، distcp، کپی فایل HDFS Redaction, IO Compression, distcp, file copy

• ویرایش HDFS HDFS Redaction

• فشرده سازی Compression

• HDFS کپی و distcp HDFS Copy and distcp

ویرایش HDFS، فشرده سازی IO، distcp، کپی فایل HDFS Redaction, IO Compression, distcp, file copy

گزارش ها، نمودارها و داشبورد Reports, Charts and Dashboard

• نمودارها و داشبورد Charts and Dashboard

گزارش ها، نمودارها و داشبورد Reports, Charts and Dashboard

کلودرا 6 Cloudera 6

• ویژگی های جدید در Cloudera 6 New Features in Cloudera 6

• سیستم Cloudera 6 را آماده کنید Cloudera 6 System Prepare

• نصب سریع Cloudera 6 Cloudera 6 Quick Install

کلودرا 6 Cloudera 6

ارجاع Reference

• ارائه استفاده شده در دوره Presentation used in the course

• AWS - شناسه AMI برای مرجع AWS - AMI ID for Reference

ارجاع Reference

سخنرانی پاداش Bonus Lecture

• کوپن ویژه برای پیوستن به دوره های دیگر من Special coupon to join my other courses

سخنرانی پاداش Bonus Lecture