آموزش جامع بیگ دیتا (Big Data) با اسپارک و هادوپ - آخرین آپدیت

بیگ دیتا چیست؟ What Is Big Data?

• معرفی دوره Course Introduction

• بیگ دیتا چیست؟ What is Big Data?

• تاثیرات داده‌های عظیم Impact of Big Data

• پردازش موازی، مقیاس‌پذیری و موازی‌سازی داده‌ها Parallel Processing, Scaling, and Data Parallelism

• ابزارها و اکوسیستم بیگ دیتا Big Data Tools and Ecosystem

• متن‌باز و داده‌های عظیم Open Source and Big Data

• فراتر از تبلیغات Beyond the Hype

• موارد کاربرد بیگ دیتا Big Data Use Cases

آشنایی با اکوسیستم هادوپ Introduction to the Hadoop Ecosystem

• معرفی هادوپ Introduction to Hadoop

• آشنایی با MapReduce Intro to MapReduce

• اکوسیستم هادوپ Hadoop Ecosystem

• سیستم فایل HDFS HDFS

• آپاچی هایو (HIVE) HIVE

• آپاچی اچ‌بیس (HBASE) HBASE

آپاچی اسپارک Apache Spark

• چرا از آپاچی اسپارک استفاده کنیم؟ Why use Apache Spark?

• مبانی برنامه‌نویسی تابعی Functional Programming Basics

• برنامه‌نویسی موازی با استفاده از RDDها Parallel Programming using Resilient Distributed Datasets

• مقیاس‌پذیری و موازی‌سازی داده‌ها در اسپارک Scale out / Data Parallelism in Apache Spark

• دیتافریم‌ها و SparkSQL Dataframes and SparkSQL

دیتافریم‌ها و اسپارک اس‌کیوال DataFrames and Spark SQL

• استفاده از RDD در برنامه‌نویسی موازی و اسپارک RDDs in Parallel Programming and Spark

• دیتافریم‌ها و دیتاست‌ها Data-frames and Datasets

• بررسی Catalyst و Tungsten Catalyst and Tungsten

• فرآیند ETL با دیتافریم‌ها ETL with DataFrames

• کاربردهای واقعی SparkSQL Real-world usage of SparkSQL

گزینه‌های محیط توسعه و زمان اجرا Development and Runtime Environment Options

• معماری آپاچی اسپارک Apache Spark Architecture

• بررسی حالت‌های کلاستر در آپاچی اسپارک Overview of Apache Spark Cluster Modes

• نحوه اجرای یک برنامه آپاچی اسپارک How to Run an Apache Spark Application

• استفاده از آپاچی اسپارک در IBM Cloud Using Apache Spark on IBM Cloud

• تنظیمات پیکربندی آپاچی اسپارک Setting Apache Spark Configuration

• اجرای اسپارک روی کوبرنتیز Running Spark on Kubernetes

مانیتورینگ و بهینه‌سازی Monitoring and Tuning

• رابط کاربری (UI) آپاچی اسپارک The Apache Spark User Interface

• مانیتورینگ پیشرفت برنامه Monitoring Application Progress

• عیب‌یابی مشکلات برنامه‌های آپاچی اسپارک Debugging Apache Spark Application Issues

• درک منابع حافظه (Memory) Understanding Memory Resources

• درک منابع پردازنده (Processor) Understanding Processor Resources

پروژه نهایی و ارزیابی Final Project and Assessment