آموزش The Ultimate Hands-On Hadoop [ویدئو]

سرفصل ها و درس ها

یادگیری همه کلمات کلیدی و نصب سندباکس Hortonworks Data Platform Learning All the Buzzwords and Installing the Hortonworks Data Platform Sandbox

• معرفی و نصب Hadoop Introduction and Installation of Hadoop

• معرفی و نصب Hadoop Introduction and Installation of Hadoop

• ادغام Hortonworks و Cloudera و اثرات آن بر دوره The Hortonworks and Cloudera Merger and its Effects on the Course

• ادغام Hortonworks و Cloudera و اثرات آن بر دوره The Hortonworks and Cloudera Merger and its Effects on the Course

• بررسی اجمالی و تاریخچه Hadoop Hadoop Overview and History

• بررسی اجمالی و تاریخچه Hadoop Hadoop Overview and History

• مروری بر اکوسیستم هادوپ Overview of the Hadoop Ecosystem

• مروری بر اکوسیستم هادوپ Overview of the Hadoop Ecosystem

با استفاده از هسته Hadoop: سیستم فایل توزیع شده Hadoop (HDFS) و MapReduce Using the Hadoop's Core: Hadoop Distributed File System (HDFS) and MapReduce

با استفاده از هسته Hadoop: سیستم فایل توزیع شده Hadoop (HDFS) و MapReduce Using the Hadoop's Core: Hadoop Distributed File System (HDFS) and MapReduce

• سیستم فایل توزیع شده Hadoop (HDFS): چیست و چگونه کار می کند Hadoop Distributed File System (HDFS): What it is and How it Works

• سیستم فایل توزیع شده Hadoop (HDFS): چیست و چگونه کار می کند Hadoop Distributed File System (HDFS): What it is and How it Works

• نصب مجموعه داده MovieLens Installing the MovieLens Dataset

• نصب مجموعه داده MovieLens Installing the MovieLens Dataset

• فعالیت - نصب مجموعه داده MovieLens در سیستم فایل توزیع شده Hadoop (HDFS) با استفاده از خط فرمان Activity - Installing the MovieLens Dataset into Hadoop's Distributed File System (HDFS) using the Command Line

• فعالیت - نصب مجموعه داده MovieLens در سیستم فایل توزیع شده Hadoop (HDFS) با استفاده از خط فرمان Activity - Installing the MovieLens Dataset into Hadoop's Distributed File System (HDFS) using the Command Line

• MapReduce: چیست و چگونه کار می کند MapReduce: What it is and How it Works

• MapReduce: چیست و چگونه کار می کند MapReduce: What it is and How it Works

• چگونه MapReduce پردازش را توزیع می کند How MapReduce Distributes Processing

• چگونه MapReduce پردازش را توزیع می کند How MapReduce Distributes Processing

• مثال MapReduce: شکستن رتبه بندی فیلم بر اساس امتیاز امتیاز MapReduce Example: Breaking Down the Movie Ratings by Rating Score

• مثال MapReduce: شکستن رتبه بندی فیلم بر اساس امتیاز امتیاز MapReduce Example: Breaking Down the Movie Ratings by Rating Score

• فعالیت - نصب Python، MRJob و Nano Activity - Installing Python, MRJob, and Nano

• فعالیت - نصب Python، MRJob و Nano Activity - Installing Python, MRJob, and Nano

• فعالیت - کدنویسی و اجرای رتبه‌بندی هیستوگرام MapReduce Job Activity - Coding Up and Running the Ratings Histogram MapReduce Job

• فعالیت - کدنویسی و اجرای رتبه‌بندی هیستوگرام MapReduce Job Activity - Coding Up and Running the Ratings Histogram MapReduce Job

• تمرین - رتبه بندی فیلم ها بر اساس محبوبیت آنها Exercise – Ranking Movies by Their Popularity

• تمرین - رتبه بندی فیلم ها بر اساس محبوبیت آنها Exercise – Ranking Movies by Their Popularity

• فعالیت - بررسی نتایج Activity - Checking Results

• فعالیت - بررسی نتایج Activity - Checking Results

برنامه نویسی Hadoop با Pig Programming Hadoop with Pig

برنامه نویسی Hadoop با Pig Programming Hadoop with Pig

• معرفی آمبری Introducing Ambari

• معرفی آمبری Introducing Ambari

• معرفی خوک Introducing the Pig

• معرفی خوک Introducing the Pig

• مثال - پیدا کردن قدیمی ترین فیلم با رتبه پنج ستاره با استفاده از خوک Example - Finding the Oldest Movie with Five-Star Rating Using the Pig

• مثال - پیدا کردن قدیمی ترین فیلم با رتبه پنج ستاره با استفاده از خوک Example - Finding the Oldest Movie with Five-Star Rating Using the Pig

• فعالیت - یافتن فیلم های پنج ستاره قدیمی با خوک Activity – Finding the Old Five-Star Movies with Pig

• فعالیت - یافتن فیلم های پنج ستاره قدیمی با خوک Activity – Finding the Old Five-Star Movies with Pig

• بیشتر خوک لاتین More Pig Latin

• بیشتر خوک لاتین More Pig Latin

• ورزش - پیدا کردن بیشترین امتیاز فیلم تک ستاره Exercise - Finding the Most-Rated One-Star Movie

• ورزش - پیدا کردن بیشترین امتیاز فیلم تک ستاره Exercise - Finding the Most-Rated One-Star Movie

• چالش خوک - مقایسه نتایج Pig Challenge - Comparing Results

• چالش خوک - مقایسه نتایج Pig Challenge - Comparing Results

برنامه نویسی Hadoop با Spark Programming Hadoop with Spark

برنامه نویسی Hadoop با Spark Programming Hadoop with Spark

• چرا اسپارک؟ Why Spark?

• چرا اسپارک؟ Why Spark?

• مجموعه داده های توزیع شده انعطاف پذیر (RDD) The Resilient Distributed Datasets (RDD)

• مجموعه داده های توزیع شده انعطاف پذیر (RDD) The Resilient Distributed Datasets (RDD)

• فعالیت - یافتن فیلم با کمترین میانگین رتبه با مجموعه داده های توزیع شده انعطاف پذیر (RDD) Activity – Finding the Movie with the Lowest Average Rating with the Resilient Distributed Datasets (RDD)

• فعالیت - یافتن فیلم با کمترین میانگین رتبه با مجموعه داده های توزیع شده انعطاف پذیر (RDD) Activity – Finding the Movie with the Lowest Average Rating with the Resilient Distributed Datasets (RDD)

• مجموعه داده ها و Spark 2.0 Datasets and Spark 2.0

• مجموعه داده ها و Spark 2.0 Datasets and Spark 2.0

• فعالیت - یافتن فیلم با کمترین میانگین رتبه با DataFrames Activity – Finding the movie with the Lowest Average Rating with DataFrames

• فعالیت - یافتن فیلم با کمترین میانگین رتبه با DataFrames Activity – Finding the movie with the Lowest Average Rating with DataFrames

• فعالیت - توصیه فیلم با کتابخانه یادگیری ماشین اسپارک (MLLib) Activity – Recommending a Movie with Spark's Machine Learning Library (MLLib)

• فعالیت - توصیه فیلم با کتابخانه یادگیری ماشین اسپارک (MLLib) Activity – Recommending a Movie with Spark's Machine Learning Library (MLLib)

• تمرین - فیلتر کردن فیلم‌های با کمترین امتیاز بر اساس تعداد رتبه‌ها Exercise – Filtering the Lowest-Rated Movies by Number of Ratings

• تمرین - فیلتر کردن فیلم‌های با کمترین امتیاز بر اساس تعداد رتبه‌ها Exercise – Filtering the Lowest-Rated Movies by Number of Ratings

• فعالیت - بررسی نتایج Activity - Checking Results

• فعالیت - بررسی نتایج Activity - Checking Results

استفاده از داده های رابطه ای با Hadoop Using Relational Datastores with Hadoop

استفاده از داده های رابطه ای با Hadoop Using Relational Datastores with Hadoop

• کندو چیست؟ What is Hive?

• کندو چیست؟ What is Hive?

• فعالیت - استفاده از Hive برای یافتن محبوب ترین فیلم Activity – Using Hive to Find the Most Popular Movie

• فعالیت - استفاده از Hive برای یافتن محبوب ترین فیلم Activity – Using Hive to Find the Most Popular Movie

• کندو چگونه کار می کند؟ How Hive Works?

• کندو چگونه کار می کند؟ How Hive Works?

• تمرین - استفاده از Hive برای یافتن فیلمی با بالاترین میانگین امتیاز Exercise – Using Hive to Find the Movie with the Highest Average Rating

• تمرین - استفاده از Hive برای یافتن فیلمی با بالاترین میانگین امتیاز Exercise – Using Hive to Find the Movie with the Highest Average Rating

• مقایسه راه حل ها Comparing Solutions

• مقایسه راه حل ها Comparing Solutions

• ادغام MySQL با Hadoop Integrating MySQL with Hadoop

• ادغام MySQL با Hadoop Integrating MySQL with Hadoop

• فعالیت - نصب MySQL و وارد کردن داده های فیلم Activity – Installing MySQL and Importing Movie Data

• فعالیت - نصب MySQL و وارد کردن داده های فیلم Activity – Installing MySQL and Importing Movie Data

• فعالیت - استفاده از Sqoop برای وارد کردن داده از MySQL به HFDS/Hive Activity - Using Sqoop to Import Data from MySQL to HFDS/Hive

• فعالیت - استفاده از Sqoop برای وارد کردن داده از MySQL به HFDS/Hive Activity - Using Sqoop to Import Data from MySQL to HFDS/Hive

• فعالیت - استفاده از Sqoop برای صادرات داده از Hadoop به MySQL Activity – Using Sqoop to Export Data from Hadoop to MySQL

• فعالیت - استفاده از Sqoop برای صادرات داده از Hadoop به MySQL Activity – Using Sqoop to Export Data from Hadoop to MySQL

استفاده از فروشگاه های داده های غیر رابطه ای با Hadoop Using Non-Relational Data Stores with Hadoop

استفاده از فروشگاه های داده های غیر رابطه ای با Hadoop Using Non-Relational Data Stores with Hadoop

• چرا NoSQL؟ Why NoSQL?

• چرا NoSQL؟ Why NoSQL?

• HBase چیست؟ What is HBase?

• HBase چیست؟ What is HBase?

• فعالیت - وارد کردن رتبه بندی فیلم به HBase Activity – Importing Movie Ratings into HBase

• فعالیت - وارد کردن رتبه بندی فیلم به HBase Activity – Importing Movie Ratings into HBase

• فعالیت - استفاده از HBase با Pig برای وارد کردن داده در مقیاس Activity – Using HBase with Pig to Import Data at Scale

• فعالیت - استفاده از HBase با Pig برای وارد کردن داده در مقیاس Activity – Using HBase with Pig to Import Data at Scale

• کاساندرا - بررسی اجمالی Cassandra – Overview

• کاساندرا - بررسی اجمالی Cassandra – Overview

• فعالیت - نصب Cassandra Activity – Installing Cassandra

• فعالیت - نصب Cassandra Activity – Installing Cassandra

• فعالیت - نوشتن خروجی جرقه در کاساندرا Activity - Writing Spark Output into Cassandra

• فعالیت - نوشتن خروجی جرقه در کاساندرا Activity - Writing Spark Output into Cassandra

• MongoDB - بررسی اجمالی MongoDB - Overview

• MongoDB - بررسی اجمالی MongoDB - Overview

• فعالیت - نصب MongoDB و ادغام Spark با MongoDB Activity - Installing MongoDB and Integrating Spark with MongoDB

• فعالیت - نصب MongoDB و ادغام Spark با MongoDB Activity - Installing MongoDB and Integrating Spark with MongoDB

• فعالیت - استفاده از MongoDB Shell Activity – Using the MongoDB Shell

• فعالیت - استفاده از MongoDB Shell Activity – Using the MongoDB Shell

• انتخاب فناوری پایگاه داده Choosing Database Technology

• انتخاب فناوری پایگاه داده Choosing Database Technology

• تمرین - انتخاب یک پایگاه داده برای یک مشکل داده شده Exercise - Choosing a Database for a Given Problem

• تمرین - انتخاب یک پایگاه داده برای یک مشکل داده شده Exercise - Choosing a Database for a Given Problem

پرس و جو داده به صورت تعاملی Querying Data Interactively

پرس و جو داده به صورت تعاملی Querying Data Interactively

• نمای کلی دریل Overview of Drill

• نمای کلی دریل Overview of Drill

• فعالیت - راه اندازی دریل Activity - Setting Up Drill

• فعالیت - راه اندازی دریل Activity - Setting Up Drill

• فعالیت - پرس و جو در چندین پایگاه داده با دریل Activity – Querying Across Multiple Databases with Drill

• فعالیت - پرس و جو در چندین پایگاه داده با دریل Activity – Querying Across Multiple Databases with Drill

• مروری بر فونیکس Overview of Phoenix

• مروری بر فونیکس Overview of Phoenix

• فعالیت – نصب Phoenix و Querying HBase Activity – Installing Phoenix and Querying HBase

• فعالیت – نصب Phoenix و Querying HBase Activity – Installing Phoenix and Querying HBase

• فعالیت - ادغام فونیکس با خوک Activity - Integrating Phoenix with the Pig

• فعالیت - ادغام فونیکس با خوک Activity - Integrating Phoenix with the Pig

• مروری بر Presto Overview of Presto

• مروری بر Presto Overview of Presto

• فعالیت – نصب Presto و Querying Hive Activity – Installing Presto and Querying Hive

• فعالیت – نصب Presto و Querying Hive Activity – Installing Presto and Querying Hive

• فعالیت - پرس و جو از Cassandra و Hive با استفاده از Presto Activity - Querying Both Cassandra and Hive Using Presto

• فعالیت - پرس و جو از Cassandra و Hive با استفاده از Presto Activity - Querying Both Cassandra and Hive Using Presto

مدیریت خوشه شما Managing Your Cluster

مدیریت خوشه شما Managing Your Cluster

• با این حال یک مذاکره کننده منبع دیگر (YARN) Yet Another Resource Negotiator (YARN)

• با این حال یک مذاکره کننده منبع دیگر (YARN) Yet Another Resource Negotiator (YARN)

• تز Tez

• تز Tez

• فعالیت - استفاده از Hive در Tez و اندازه گیری سود عملکرد Activity - Using Hive on Tez and Measuring the Performance Benefit

• فعالیت - استفاده از Hive در Tez و اندازه گیری سود عملکرد Activity - Using Hive on Tez and Measuring the Performance Benefit

• مزوس Mesos

• مزوس Mesos

• نگهبان باغ وحش ZooKeeper

• نگهبان باغ وحش ZooKeeper

• فعالیت -- شبیه سازی یک استاد شکست خورده با ZooKeeper Activity – Simulating a Failing Master with ZooKeeper

• فعالیت -- شبیه سازی یک استاد شکست خورده با ZooKeeper Activity – Simulating a Failing Master with ZooKeeper

• اوزی Oozie

• اوزی Oozie

• فعالیت - تنظیم یک گردش کار ساده Oozie Activity – Setting Up a Simple Oozie Workflow

• فعالیت - تنظیم یک گردش کار ساده Oozie Activity – Setting Up a Simple Oozie Workflow

• زپلین - بررسی اجمالی Zeppelin - Overview

• زپلین - بررسی اجمالی Zeppelin - Overview

• فعالیت - استفاده از زپلین برای تجزیه و تحلیل رتبه بندی فیلم - قسمت 1 Activity - Using Zeppelin to Analyze Movie Ratings - Part 1

• فعالیت - استفاده از زپلین برای تجزیه و تحلیل رتبه بندی فیلم - قسمت 1 Activity - Using Zeppelin to Analyze Movie Ratings - Part 1

• فعالیت - استفاده از زپلین برای تجزیه و تحلیل رتبه بندی فیلم - قسمت 2 Activity - Using Zeppelin to Analyze Movie Ratings - Part 2

• فعالیت - استفاده از زپلین برای تجزیه و تحلیل رتبه بندی فیلم - قسمت 2 Activity - Using Zeppelin to Analyze Movie Ratings - Part 2

• رنگ - نمای کلی Hue - Overview

• رنگ - نمای کلی Hue - Overview

• فن آوری های دیگر قابل ذکر است Other Technologies Worth Mentioning

• فن آوری های دیگر قابل ذکر است Other Technologies Worth Mentioning

تغذیه داده ها به خوشه شما Feeding Data to Your Cluster

تغذیه داده ها به خوشه شما Feeding Data to Your Cluster

• کافکا Kafka

• کافکا Kafka

• فعالیت -- راه اندازی کافکا و انتشار داده ها Activity – Setting Up Kafka and Publishing Data

• فعالیت -- راه اندازی کافکا و انتشار داده ها Activity – Setting Up Kafka and Publishing Data

• فعالیت – انتشار گزارش های وب با کافکا Activity – Publishing Web Logs with Kafka

• فعالیت – انتشار گزارش های وب با کافکا Activity – Publishing Web Logs with Kafka

• قنات، مجرا Flume

• قنات، مجرا Flume

• فعالیت - تنظیم Flume و انتشار گزارش Activity – Setting up Flume and Publishing Logs

• فعالیت - تنظیم Flume و انتشار گزارش Activity – Setting up Flume and Publishing Logs

• فعالیت - تنظیم Flume برای نظارت بر یک دایرکتوری و ذخیره داده های آن در سیستم فایل توزیع شده Hadoop (HDFS) Activity – Setting Up Flume to Monitor a Directory and Store its Data in Hadoop Distributed File System (HDFS)

• فعالیت - تنظیم Flume برای نظارت بر یک دایرکتوری و ذخیره داده های آن در سیستم فایل توزیع شده Hadoop (HDFS) Activity – Setting Up Flume to Monitor a Directory and Store its Data in Hadoop Distributed File System (HDFS)

تجزیه و تحلیل جریان داده ها Analyzing Streams of Data

تجزیه و تحلیل جریان داده ها Analyzing Streams of Data

• Spark Streaming: مقدمه Spark Streaming: Introduction

• Spark Streaming: مقدمه Spark Streaming: Introduction

• فعالیت - تجزیه و تحلیل گزارش های وب منتشر شده با Flume با استفاده از Spark Streaming Activity - Analyzing Web Logs Published with Flume using Spark Streaming

• فعالیت - تجزیه و تحلیل گزارش های وب منتشر شده با Flume با استفاده از Spark Streaming Activity - Analyzing Web Logs Published with Flume using Spark Streaming

• تمرین - گزارش های منتشر شده توسط Flume را برای خطاها در زمان واقعی نظارت کنید Exercise - Monitor Flume-Published Logs for Errors in Real Time

• تمرین - گزارش های منتشر شده توسط Flume را برای خطاها در زمان واقعی نظارت کنید Exercise - Monitor Flume-Published Logs for Errors in Real Time

• راه حل تمرین: تجمیع کدهای دسترسی پروتکل انتقال ابرمتن (HTTP) با Spark Streaming Exercise Solution: Aggregating the Hypertext Transfer Protocol (HTTP) Access Codes with Spark Streaming

• راه حل تمرین: تجمیع کدهای دسترسی پروتکل انتقال ابرمتن (HTTP) با Spark Streaming Exercise Solution: Aggregating the Hypertext Transfer Protocol (HTTP) Access Codes with Spark Streaming

• طوفان آپاچی: مقدمه Apache Storm: Introduction

• طوفان آپاچی: مقدمه Apache Storm: Introduction

• فعالیت - شمارش کلمات با طوفان Activity – Counting Words with Storm

• فعالیت - شمارش کلمات با طوفان Activity – Counting Words with Storm

• Flink: بررسی اجمالی Flink: Overview

• Flink: بررسی اجمالی Flink: Overview

• فعالیت – شمارش کلمات با Flink Activity – Counting Words with Flink

• فعالیت – شمارش کلمات با Flink Activity – Counting Words with Flink

طراحی سیستم های دنیای واقعی Designing Real-World Systems

طراحی سیستم های دنیای واقعی Designing Real-World Systems

• بهترین بقیه The Best of the Rest

• بهترین بقیه The Best of the Rest

• نقد و بررسی: چگونه قطعات با هم قرار می گیرند؟ Review: How the Pieces Fit Together?

• نقد و بررسی: چگونه قطعات با هم قرار می گیرند؟ Review: How the Pieces Fit Together?

• درک نیازهای شما Understanding Your Requirements

• درک نیازهای شما Understanding Your Requirements

• نمونه برنامه: مصرف گزارش های وب سرور و پیگیری فروشندگان برتر Sample Application: Consuming Web Server Logs and Keeping Track of Top-Sellers

• نمونه برنامه: مصرف گزارش های وب سرور و پیگیری فروشندگان برتر Sample Application: Consuming Web Server Logs and Keeping Track of Top-Sellers

• نمونه برنامه: ارائه توصیه های فیلم به یک وب سایت Sample Application: Serving Movie Recommendations to a Website

• نمونه برنامه: ارائه توصیه های فیلم به یک وب سایت Sample Application: Serving Movie Recommendations to a Website

• تمرین - طراحی سیستمی برای گزارش جلسات وب در روز Exercise – Designing a System to Report Web Sessions Per Day

• تمرین - طراحی سیستمی برای گزارش جلسات وب در روز Exercise – Designing a System to Report Web Sessions Per Day

• راه حل تمرین: طراحی سیستمی برای شمارش جلسات روزانه Exercise Solution: Designing a System to Count Daily Sessions

• راه حل تمرین: طراحی سیستمی برای شمارش جلسات روزانه Exercise Solution: Designing a System to Count Daily Sessions

یادگیری بیشتر Learning More

یادگیری بیشتر Learning More

• کتاب ها و منابع آنلاین Books and Online Resources

• کتاب ها و منابع آنلاین Books and Online Resources