آموزش CCA131 Cloudera CDH 5 & 6 Hadoop Administrator Course Master

سرفصل ها و درس ها

بنیاد - iSMAC، معماری لامبدا و یادگیری ماشین Foundation - iSMAC, Lambda Architecture and Machine Learning

بنیاد - iSMAC، معماری لامبدا و یادگیری ماشین Foundation - iSMAC, Lambda Architecture and Machine Learning

• مقدمه ای بر iSMAC Introduction to iSMAC

• نمای کلی و جزئیات معماری لامبدا Lambda Architecture Overview and Details

• آشنایی با یادگیری ماشین و کاربرد آن در Bigdata World Understanding Machine Learning and it Application in Bigdata World

AWS - خدمات وب آمازون AWS - Amazon Web Services

AWS - خدمات وب آمازون AWS - Amazon Web Services

• AWS - مقدمه ای بر خدمات وب آمازون (AWS) AWS - Introduction To Amazon Web Services (AWS)

• AWS - ثبت‌نام و صورت‌حساب (مهم - مربوط به قیمت‌گذاری) AWS - Signup and Billing (Important - Pricing related)

• AWS - مناطق و مناطق AWS - Zones and Regions

• AWS - نمونه EC2 را راه اندازی کنید AWS - Launch EC2 Instance

• AWS - سرویس ذخیره سازی ساده (S3) AWS - Simple Storage Service (S3)

• AWS - با استفاده از Putty به نمونه EC2 وارد شوید AWS - Login to EC2 Instance using Putty

• AWS - EC2 AMI (تصویر ماشین آمازون) AWS - EC2 AMI (Amazon Machine Image)

• AWS - EC2 Spot Instances AWS - EC2 Spot Instances

• AWS - سرویس داده های رابطه ای (RDS) AWS - Relational Data Service (RDS)

بنیاد Hadoop در HDFS و YARN. Hadoop Foundation on HDFS and YARN.

بنیاد Hadoop در HDFS و YARN. Hadoop Foundation on HDFS and YARN.

• HDFS - سیستم فایل توزیع شده Hadoop HDFS - Hadoop Distributed File System

• نخ - یک مذاکره کننده دیگر برای منابع YARN - Yet another Resource Negotiator

• راه اندازی و نصب پایگاه داده MySQL MySQL Database setup and Installation

نصب کلودرا - راه اندازی مخزن، httpd، نصب مسیر B Cloudera Installation - Repository setup, httpd, path B installation

نصب کلودرا - راه اندازی مخزن، httpd، نصب مسیر B Cloudera Installation - Repository setup, httpd, path B installation

• AWS AMI را برای نصب Cloudera آماده کنید Prepare AWS AMI for Cloudera Installation

• نصب - نصب سریع Cloudera Data Hadoop (CDH). Install - Cloudera Data Hadoop (CDH) Quick Install

• نکات نصب Installation Notes

• مراحل و مسیرهای نصب کلودرا Cloudera Installation Phases and Paths

• معرفی و بررسی اجمالی مدیر کلودرا Cloudera Manager Introduction and Overview

• بسته های کلودرا Cloudera Parcels

• راه اندازی مخزن کلودرا با آپاچی httpd Cloudera Repository Setup with Apache httpd

• مسیر نصب Cloudera B با مخزن محلی - AMI Prepare Cloudera Installation Path B with local repository - AMI Prepare

• مسیر نصب Cloudera B - نصب و پیکربندی مدیر Cloudera Installation Path B - Manager Installation and Configuration

• مسیر نصب Cloudera B - نصب و پیکربندی عامل و CDH Cloudera Installation Path B - Agent and CDH Installation and Configuration

• اضافه کردن Cluster، Add Service و Delete Cluster چرخه عمر Add Cluster, Add Service and Delete Cluster life cycle

دستورات پوسته HDFS Basics HDFS Basics shell commands

دستورات پوسته HDFS Basics HDFS Basics shell commands

• دستورات پوسته HDFS HDFS Shell Commands

• سطل زباله HDFS HDFS Trash

HDFS در دسترس بودن بالا HA - مفهوم، راه اندازی، پیکربندی، آزمایش، تأیید، حذف HDFS High Availabiliity HA - Concept, Setup, Configure, Test, Verify, Remove

HDFS در دسترس بودن بالا HA - مفهوم، راه اندازی، پیکربندی، آزمایش، تأیید، حذف HDFS High Availabiliity HA - Concept, Setup, Configure, Test, Verify, Remove

• HDFS High Availability (HA) - مفاهیم HDFS High Availability (HA) - Concepts

• HDFS در دسترس بودن بالا (HA) - راه اندازی HDFS High Availability (HA) - Setup

• HDFS High Availability (HA) - تست HDFS High Availability (HA) - Test

• HDFS High Availability (HA) - حذف کنید HDFS High Availability (HA) - Remove

مدیریت HDFS - متعادل کننده، تعمیر و نگهداری، مدیریت سهمیه، تست قناری HDFS Manage - Balancer, Maintenance, Quota Management, Canary Test

مدیریت HDFS - متعادل کننده، تعمیر و نگهداری، مدیریت سهمیه، تست قناری HDFS Manage - Balancer, Maintenance, Quota Management, Canary Test

• بالانس HDFS HDFS Balancer

• حالت نگهداری HDFS HDFS Maintenance Mode

• مدیریت سهمیه HDFS HDFS Quota Management

• تست قناری HDFS HDFS Canary Test

• آگاهی از رک HDFS HDFS Rack Awareness

ایست بازرسی HDFS درک، مدیریت، کار با ویرایش‌ها، FSImage، ویرایش‌های رول، HDFS Checkpoint. Understand, Manage, Work with Edits, FSImage, Roll Edits,

ایست بازرسی HDFS درک، مدیریت، کار با ویرایش‌ها، FSImage، ویرایش‌های رول، HDFS Checkpoint. Understand, Manage, Work with Edits, FSImage, Roll Edits,

• HDFS ویرایش FSImage مقدمه HDFS Edits FSImage Introduction

• معرفی HDFS Checkpoint و Deepdive HDFS Checkpoint Introduction and Deepdive

• HDFS ویرایش FSImage - نمای تصویر آفلاین (OIV) و نمای ویرایش آفلاین (OEV) HDFS Edits FSImage - Offline Image View (OIV) and Offline Edits View (OEV)

• ویرایش های رول HDFS HDFS Roll Edits

• HDFS ذخیره فضای نام HDFS Save Namespace

HDFS Advanced - Snapshot، WebHDFS، Federation، Recovery، httpFS، Edge Node HDFS Advanced - Snapshot, WebHDFS, Federation, Recovery, httpFS, Edge Node

• عکس فوری HDFS HDFS Snapshot

• خط مشی عکس فوری HDFS HDFS Snapshot Policy

• گره لبه HDFS HDFS Edge Node

• HDFS WebHDFS HDFS WebHDFS

• HDFS httpFS HDFS httpFS

• ابزار HDFS FSCK HDFS FSCK Utility

• بازیابی HDFS HDFS Recovery

• فدراسیون HDFS HDFS Federation

• HDFS - فهرست اصلی HDFS - Home Directory

HDFS Advanced - Snapshot، WebHDFS، Federation، Recovery، httpFS، Edge Node HDFS Advanced - Snapshot, WebHDFS, Federation, Recovery, httpFS, Edge Node

مدیریت کلودرا - کمیسیون، از کار افتادن، پیکربندی مشتری، الگوی میزبان Cloudera Manage - Commission , Decommission, Client configuration, Host Template

• کمیسیون خوشه و انحلال Cluster Commission and Decommission

• پیکربندی مشتری کلاستر Cluster Client Configuration

• قالب میزبان خوشه Cluster Host Template

مدیریت کلودرا - کمیسیون، از کار افتادن، پیکربندی مشتری، الگوی میزبان Cloudera Manage - Commission , Decommission, Client configuration, Host Template

LDAP - نصب، پیکربندی سیستم عامل، phpLDAPAdmin Client LDAP - Install, Configure OS, phpLDAPAdmin Client

• OpenLDAP - phpLDAPAdmin - نصب و راه اندازی OpenLDAP - phpLDAPAdmin - Installation and setup

• احراز هویت کاربر CentOS با OpenLDAP CentOS user authentication with OpenLDAP

LDAP - نصب، پیکربندی سیستم عامل، phpLDAPAdmin Client LDAP - Install, Configure OS, phpLDAPAdmin Client

نخ - اجزاء، ارسال MR YARN - Components, Submit MR

• YARN - Resource Manager، Node Manager، Scheduler Introduction YARN - Resource Manager, Node Manager , Scheduler Introduction

• YARN - ارسال MapReduce Job: Single and Multiple Job YARN - Submit MapReduce Job : Single and Multiple Jobs

نخ - اجزاء، ارسال MR YARN - Components, Submit MR

مدیر منابع - انواع زمانبندی، استخر منابع پویا، در دسترس بودن بالا Resource manager - Scheduler Types, Dynamic Resource Pool, High Availability

• YARN - خلاصه انواع مدیریت منابع YARN - Types of Resource Manager Summary

• YARN - مدیر منابع - استاتیک خدمات استخر YARN - Resource Manager - Static Service Pool

• YARN - مدیر منابع - FIFO - First In First Out Scheduler YARN - Resource Manager - FIFO - First In First Out Scheduler

• نخ - مدیر منابع - زمانبندی منصفانه YARN - Resource Manager - Fair Scheduler

• YARN - مدیر منابع - زمانبندی ظرفیت YARN - Resource Manager - Capacity scheduler

• YARN - مدیر منابع - پیکربندی استخر منابع پویا YARN - Resource Manager - Dynamic Resource Pool Configuration

• YARN - مدیر منابع - در دسترس بودن بالا YARN - Resource Manager - High Availability

مدیر منابع - انواع زمانبندی، استخر منابع پویا، در دسترس بودن بالا Resource manager - Scheduler Types, Dynamic Resource Pool, High Availability

Apache Zookeeper - نصب، پیکربندی Apache Zookeeper - Install, Configure

• Zookeeper - معرفی و افزودن به عنوان سرویس Zookeeper - Introduction & Adding as Service

Apache Zookeeper - نصب، پیکربندی Apache Zookeeper - Install, Configure

Apache Hive - مدیریت، راه اندازی HA، Beeline، WebHCat، HCatalog، پیکربندی Warehouse dir Apache Hive - Manage, Setup HA, Beeline, WebHCat, HCatalog, Warehouse dir config

• معرفی کندو Hive Introduction

• نصب و پیکربندی Hive Hive Installation and Configuration

• مجموعه داده های کندو آماده سازی برای نسخه ی نمایشی Hive Data set Preparation for Demo

• نسخه ی نمایشی Hive Client - Hive Shell - Beeline Shell Demo Hive Client Demo - Hive Shell - Beeline Shell Demo

• Hive Client - Hive Query را با HUE تجربه کنید - Query، Visualize و Analyze Hive Client - Experience Hive Query with HUE - Query, Visualize and Analyze

• Hive High Availability -HA Hive High Availability -HA

• Hive WebHCat و HCatalog Hive WebHCat and HCatalog

• Hive Warehouse Directory و Metastore DB Configuration Hive Warehouse Directory and Metastore DB Configuration

Apache Hive - مدیریت، راه اندازی HA، Beeline، WebHCat، HCatalog، پیکربندی Warehouse dir Apache Hive - Manage, Setup HA, Beeline, WebHCat, HCatalog, Warehouse dir config

Apache Oozie - نصب، پیکربندی Apache Oozie - Install, Configure

• Apache Oozie معرفی، نصب و راه اندازی Apache Oozie Introduction, Installation and Setup

Apache Oozie - نصب، پیکربندی Apache Oozie - Install, Configure

رابط کاربری Hadoop (HUE) - راه اندازی، نصب، یکپارچه سازی LDAP، ACL توسعه یافته Hadoop User Interface (HUE) - Setup, Install, LDAP Integration, Extended ACL

• HUE - Hadoop User Experience - راه اندازی، نصب و معرفی HUE - Hadoop User Experience - Setup, Installation and Introduction

• HUE - ادغام OpenLDAP برای احراز هویت HUE - OpenLDAP Integration for Authentication

• لیست کنترل دسترسی توسعه یافته HDFS (ACL) HDFS Extended Access Control List (ACL)

رابط کاربری Hadoop (HUE) - راه اندازی، نصب، یکپارچه سازی LDAP، ACL توسعه یافته Hadoop User Interface (HUE) - Setup, Install, LDAP Integration, Extended ACL

Sentry - نصب، پیکربندی، احراز هویت مبتنی بر نقش، ادغام LDAP Sentry - Install, Configure , Role based authentication, LDAP Integration

• معرفی Sentry و مفاهیم مجوز مبتنی بر نقش Sentry Introduction and Role Based Authorization Concepts

• نصب و پیکربندی نگهبان Sentry Installation and Configuration

• پیکربندی و ادغام ماژول امنیتی HUE با Sentry برای مجوز HUE Security Module Configuration and Integration with Sentry for Authorization

• مجوز جدول کندو با نگهبان - سناریوی عملی Hive Table Authorization with Sentry - Practical Scenario

• مدیر کلودرا - ادغام OpenLDAP برای احراز هویت Cloudera Manager - OpenLDAP Integration for Authentication

Sentry - نصب، پیکربندی، احراز هویت مبتنی بر نقش، ادغام LDAP Sentry - Install, Configure , Role based authentication, LDAP Integration

Impala - نصب، پیکربندی، مقایسه با Hive، Architecture Impala - Install, Configure, Compare with Hive, Architecture

• مقدمه و مفاهیم ایمپالا Impala Introduction and Concepts

• مقایسه ایمپالا با کندو - معماری و عملکرد Impala Compare with Hive - Architecture and Performance

• نصب و پیکربندی ایمپالا Impala Installation and configuration

Impala - نصب، پیکربندی، مقایسه با Hive، Architecture Impala - Install, Configure, Compare with Hive, Architecture

Kerberos - نصب، پیکربندی، تأیید، ایمن Kerberos - Install, Configure, Verify, Secure

• معرفی، معماری و فرآیند احراز هویت Kerberos Kerberos Introduction, Architecture and Authentication Process

• Kerberos سرور و کلاینت را برای راه اندازی و پیکربندی آماده می کند Kerberos Prepare Server and Client for Setup and Configuration

• Kerberos - Cloudera را برای Kerberize کردن خوشه پیکربندی کنید Kerberos - Configure Cloudera to Kerberize the Cluster

• Kerberos - کار با Keytab و Service Ticket Kerberos - Working with Keytab and Service Ticket

Kerberos - نصب، پیکربندی، تأیید، ایمن Kerberos - Install, Configure, Verify, Secure

Sqoop - بلع داده ها Sqoop - Data Ingestion

• Sqoop Introduction, Architecture Installation and Configuration Sqoop Introduction, Architecture Installation and Configuration

• Sqoop Import and Export بین HDFS، Hive، HBase و RDBMS Sqoop Import and Export between HDFS, Hive, HBase and RDBMS

Sqoop - بلع داده ها Sqoop - Data Ingestion

HBase - Hadoop Base - NoSQL Database HBase - Hadoop Base - NoSQL Database

• NoSQL - سرویس HBase - معرفی و نصب NoSQL - HBase Service - Introduction and Installation

• HBase - پیکربندی HUE برای کار با HBase HBase - HUE Configuration to Work with HBase

• HBase - کار با جداول در ویرایشگر HUE HBase - Working with Tables in HUE Editor

HBase - Hadoop Base - NoSQL Database HBase - Hadoop Base - NoSQL Database

Flume - بلع داده های تک و چند عاملی Flume - Single and Multi Agent Data Ingestion

• نصب و پیکربندی فلوم - سناریوی تک عامل Flume Installation and Configuration - Single Agent Scenario

• Flume Multi Agent Configuration - مجموعه Log از چندین گره Cluster Flume Multi Agent Configuration - Log collection from multiple nodes of Cluster

Flume - بلع داده های تک و چند عاملی Flume - Single and Multi Agent Data Ingestion

رمزگذاری HDFS HDFS Encryption

• HDFS - منطقه رمزگذاری شده، پیکربندی Keystore HDFS - Encrypted Zone, Keystore configuration

رمزگذاری HDFS HDFS Encryption

نصب، پیکربندی و مدیریت Apache Spark Apache Spark Installation, Configuration and Administration

• معرفی جرقه Spark Introduction

• معماری جرقه Spark Architecture

• نصب جرقه Spark Installation

• Spark Submit Job - Standalone Cluster Spark Submit Job - Standalone Cluster

نصب، پیکربندی و مدیریت Apache Spark Apache Spark Installation, Configuration and Administration

نصب، پیکربندی و مدیریت آپاچی کافکا Apache Kafka Installation, Configuration and Administration

• مقدمه کافکا Kafka Introduction

• نصب کافکا Kafka Installation

• اجزای کافکا و معماری Kafka components and Architecture

• کافکا - ادغام فلوم Kafka - Flume Integration

• اداره کافکا Kafka Administration

نصب، پیکربندی و مدیریت آپاچی کافکا Apache Kafka Installation, Configuration and Administration

محک زدن هادوپ Hadoop Benchmarking

• HDFS Terasort، Teragen، Teravalidate HDFS Terasort, Teragen, Teravalidate

• TestDFSIO TestDFSIO

محک زدن هادوپ Hadoop Benchmarking

مدیریت حافظه - کانتینر، JVM، نقش، حافظه گره و مدیریت عملکرد Memory Management - Container, JVM, Role, Node Memory and Performance Management

• مدیریت حافظه گره. نیاز به پشته و پشته بهینه برای نقش ها را محاسبه کنید Node Memory management . Calculate heap requirement and optimal heap for roles

• محاسبه پشته نامی Namenode Heap Calculation

مدیریت حافظه - کانتینر، JVM، نقش، حافظه گره و مدیریت عملکرد Memory Management - Container, JVM, Role, Node Memory and Performance Management

ویرایش HDFS، فشرده سازی IO، distcp، کپی فایل HDFS Redaction, IO Compression, distcp, file copy

• ویرایش HDFS HDFS Redaction

• فشرده سازی Compression

• HDFS کپی و distcp HDFS Copy and distcp

ویرایش HDFS، فشرده سازی IO، distcp، کپی فایل HDFS Redaction, IO Compression, distcp, file copy

گزارش ها، نمودارها و داشبورد Reports, Charts and Dashboard

• نمودارها و داشبورد Charts and Dashboard

گزارش ها، نمودارها و داشبورد Reports, Charts and Dashboard

کلودرا 6 Cloudera 6

• ویژگی های جدید در Cloudera 6 New Features in Cloudera 6

• سیستم Cloudera 6 را آماده کنید Cloudera 6 System Prepare

• نصب سریع Cloudera 6 Cloudera 6 Quick Install

کلودرا 6 Cloudera 6

ارجاع Reference

• ارائه استفاده شده در دوره Presentation used in the course

• AWS - شناسه AMI برای مرجع AWS - AMI ID for Reference

ارجاع Reference

سخنرانی پاداش Bonus Lecture

• کوپن ویژه برای پیوستن به دوره های دیگر من Special coupon to join my other courses

سخنرانی پاداش Bonus Lecture