آموزش تجزیه و تحلیل داده های بزرگ با Hadoop و Apache Spark

سرفصل ها و درس ها

مقدمه Introduction

• قدرت ترکیبی Spark و Hadoop Distributed File System (HDFS) The combined power of Spark and Hadoop Distributed File System (HDFS)

1. معرفی و راه اندازی 1. Introduction and Setup

• نمای کلی آپاچی هادوپ Apache Hadoop overview

• ادغام Spark و Hadoop Integrating Spark and Hadoop

• نمای کلی آپاچی اسپارک Apache Spark overview

• استفاده از فایل های تمرینی Using exercise files

2. مدل سازی داده های HDFS برای تجزیه و تحلیل 2. HDFS Data Modeling for Analytics

• بهترین روش ها برای ذخیره سازی داده ها Best practices for data storage

• سطل سازی Bucketing

• پارتیشن بندی Partitioning

• فرمت های ذخیره سازی Storage formats

• فشرده سازی Compression

3. بلع داده ها با Spark 3. Data Ingestion with Spark

• خواندن فایل های خارجی در Spark Reading external files into Spark

• موازی با سطل می نویسد Parallel writes with bucketing

• موازی می نویسد با پارتیشن بندی Parallel writes with partitioning

• بهترین شیوه ها برای بلعیدن Best practices for ingestion

• نوشتن به HDFS Writing to HDFS

4. استخراج داده ها با اسپارک 4. Data Extraction with Spark

• بهترین روش ها برای استخراج داده ها Best practices for data extraction

• خواندن فایل های HDFS با طرحواره Reading HDFS files with schema

• خواندن داده های سطلی Reading bucketed data

• اسپارک چگونه کار می کند How Spark works

• خواندن داده های پارتیشن بندی شده Reading partitioned data

5. بهینه سازی پردازش جرقه 5. Optimizing Spark Processing

• ذخیره سازی نتایج متوسط Storing intermediate results

• مدیریت پارتیشن ها Managing partitions

• پایین آوردن پیش بینی ها Pushing down projections

• بهبود اتصالات Improving joins

• فشار دادن فیلترها Pushing down filters

• بهترین روش ها برای پردازش داده ها Best practices for data processing

6. از پروژه Case استفاده کنید 6. Use Case Project

• برترین تحلیل های دانشجویی Top student analytics

• بارگذاری داده ها Data loading

• تعریف مشکل Problem definition

• تجزیه و تحلیل میانگین امتیاز Average score analytics

• تجزیه و تحلیل امتیاز کل Total score analytics

نتیجه گیری Conclusion

• با تجزیه و تحلیل داده های بزرگ ادامه دهید Continuing on with big data analytics