آموزش هادوپ (Hadoop): تحلیل، پیکربندی و مدیریت داده‌های عظیم (Big Data) - آخرین آپدیت

مبانی داده‌های عظیم و مفاهیم اولیه هادوپ Big Data Foundations & Hadoop Basics

• مقدمه‌ای بر Big Data و هادوپ Introduction to Big Data Hadoop

• سناریوهای کاربرد Big Data در هادوپ Scenario of Big Data Hadoop

• کالبدشکافی عملیات نوشتن (Write Anatomy) Write Anatomy

• ادامه کالبدشکافی عملیات نوشتن Continuation of Write Anatomy

• کالبدشکافی عملیات خواندن (Read Anatomy) Read Anatomy

• ادامه کالبدشکافی عملیات خواندن Continuation of Read Anatomy

• پیاده‌سازی Word Count در هادوپ Word Count in Hadoop

• اجرای اپلیکیشن هادوپ Running Hadoop Application

• ادامه اجرای اپلیکیشن هادوپ Continuation Hadoop Application

• کار بر روی برنامه نمونه Working on Sample Program

• ایجاد متد Map Creating Method Map

• مقادیر تکرارپذیر (Iterable Values) Iterable Values

• مسیر خروجی (Output Path) Output Path

• مدیریت خطاهای Catch Box Scary Catch Box

کار عملی با مفاهیم بنیادی هادوپ Hands-On with Hadoop Fundamentals

• داده‌های عظیم (Big Data) چیست؟ What is Big Data

• پردازش داده‌های عظیم Processing Big Data

• ذخیره‌سازی و پردازش توزیع‌شده Distributed storage and processing

• درک مفهوم Map Reduce Understanding Map Reduce

• مقدمه‌ای بر بخش دوم Introduction to module 2

• آشنایی با محیط Cloudera Introduction to Cloudera environment

• درک محیط نصب شده هادوپ در Cloudera Understanding hadoop environment installed on Cloudera

• درک پیکربندی متادیتا در هادوپ Understanding metadata configuration on hadoop

• آشنایی با رابط کاربری وب HDFS و HUE Understanding HDFS web UI and HUE

• دستورات شل HDFS HDFS shell commands

• سایر دستورات کاربردی شل HDFS Few more HDFS shell commands

• دسترسی به HDFS از طریق برنامه جاوا Accesing HDFS through Java program

پیاده‌سازی HDFS و یکپارچه‌سازی با جاوا Applied HDFS and Java Integration

• مقدمه‌ای بر مدیریت هادوپ (Hadoop Admin) Introduction to Hadoop Admin

• محدودیت‌های سیستم‌های موجود Limitations of Existing System

• ویژگی‌های کلیدی هادوپ Hadoop Key Characteristics

• سیستم فایل توزیع‌شده هادوپ (HDFS) Hadoop Distributed File System

• لایه ذخیره‌سازی هادوپ Storage Layer of Hadoop

• اجزای اصلی هادوپ نسخه 1.0 Hadoop 1.0 Core Components

• تصاویر سیستم فایل (FS Images) FS Images

• نام‌گره ثانویه (Secondary Name Node) Secondary Name Node

تسلط بر معماری هادوپ Mastering Hadoop Architecture

• معماری HDFC HDFC Architecture

• سیاست جایگذاری بلوک‌ها (Block Placement Policy) Block Placement Policy

• تکالیف و تمرینات Assignments

• راه‌اندازی کلاستر معماری هادوپ Hadoop Architecture Cluster Setup

• نصب هادوپ در VMware Workstation Installation of Hadoop in Vmware Workstation

• نصب پکیج‌های هادوپ Hadoop Package Installation

• پیکربندی Host Name و Gateway Configuration of Host Name and Gateway

• کپی فایل ISO به Centos Copying of ISO File to Centos

• نصب SSH با استفاده از Yum Installation of SSH File Using Yum

• کپی کلید عمومی به Authorized Key در SSH Copy the Public Key to Authorized Key in SSH

• تنظیم اندازه بلوک و مپینگ Setup for Block Size and Mapped

• ایجاد SSH keygen برای کاربر HD Create SSH -keygen for HD User

• راه اندازی Map Reduce در هادوپ Start the Map Reduce in Hadoop

• ایجاد کلون برای هادوپ Creating a Clone for Hadoop

پیکربندی‌ها و مدیریت کلاستر Configurations and Cluster Management

• تغییر نام میزبان (Hostname) Changing the Hostname

• پیکربندی سایت هادوپ Configuring Hadoop Site

• پیکربندی فایل Slave Slave File Configuration

• ایجاد NameNode و DataNode در هادوپ Creating Name node and Data Node In Hadoop

• درک عمیق HDFS Understanding HDFS

• فایل‌های پیکربندی اصلی هادوپ Hadoop Core Config Files

• کلاستر هادوپ و SSH بدون رمز عبور Hadoop Cluster and Password less SSH

• پیکربندی Rack Awareness (آگاهی از رک) Configuring Rack Awareness

• ادامه پیکربندی Rack Awareness Configuring Rack Awareness Continues

• اجرای گزارش DFS Admin Running DFS Admin Report

• هادوپ Map Reduce Hadoop Map Reduce

• اجرای Hadoop NameNode Running Hadoop NameNode

• اجرای دستورات هادوپ Executing Hadoop Command

عملیات پیشرفته HDFS و نگهداری کلاستر Advanced HDFS Operations & Cluster Maintenance

• نوشتن فایل در کلاستر هادوپ Writing File in Hadoop Cluster

• درک دستورات FS Understanding FS Command

• دایرکتوری‌های داده Directories of Data

• بررسی سیستم فایل (File System Check) Fie System Check

• نوشتن داده‌ها در HDFS Writing Data in HDFS

• گره چک‌پوینتینگ (Checkpointing Node) Checkpointing Node

• ادغام متادیتا Merging the Metadata

• کلاستر در حالت ایمن (Safe Mode) Cluster in Safe Mode

• کلاستر در حالت تعمیر و نگهداری Cluster in Maintainance Mode

• فعال‌سازی دیتانودها (Commissioning) Commissioning of Data Nodes

• نام‌گره (Name Node) Name Node

• اعتبارسنجی دیتانود Validating the Data Node

• ملاحظات ذخیره‌سازی Storage Considerations