آموزش تجزیه و تحلیل داده های بزرگ با Hadoop و Apache Spark

سرفصل ها و درس ها

مقدمه Introduction

• قدرت ترکیبی از سیستم فایلهای توزیع شده Spark و Hadoop (HDFS) The combined power of Spark and Hadoop Distributed File System (HDFS)

1. معرفی و راه اندازی 1. Introduction and Setup

• نمای کلی Apache Hadoop Apache Hadoop overview

• بررسی اجمالی Apache Spark Apache Spark overview

• ادغام Hadoop و Spark Integrating Hadoop and Spark

• تنظیم محیط Setting up the environment

• با استفاده از فایل های تمرینی Using exercise files

2. مدل سازی داده های HDFS برای تجزیه و تحلیل 2. HDFS Data Modeling for Analytics

• قالب های ذخیره سازی Storage formats

• فشرده سازی Compression

• پارتیشن بندی Partitioning

• سطل Bucketing

• بهترین روش ها برای ذخیره داده ها Best practices for data storage

3. مصرف داده با جرقه 3. Data Ingestion with Spark

• خواندن پرونده های خارجی در Spark Reading external files into Spark

• نوشتن به HDFS Writing to HDFS

• موازی با پارتیشن بندی می نویسد Parallel writes with partitioning

• موازی با سطل می نویسد Parallel writes with bucketing

• بهترین روشها برای خوردن Best practices for ingestion

4- استخراج داده با جرقه 4. Data Extraction with Spark

• جرقه چگونه کار می کند How Spark works

• خواندن پرونده های HDFS با طرحواره Reading HDFS files with schema

• خواندن داده های تقسیم شده Reading partitioned data

• خواندن داده های سطل Reading bucketed data

• بهترین روشها برای استخراج داده ها Best practices for data extraction

5- بهینه سازی پردازش جرقه 5. Optimizing Spark Processing

• پایین آوردن پیش بینی Pushing down projections

• فشار پایین فیلترها Pushing down filters

• مدیریت پارتیشن ها Managing partitions

• مدیریت تغییر کاربری Managing shuffling

• بهبود می پیوندد Improving joins

• ذخیره نتایج متوسط Storing intermediate results

• بهترین روشها برای پردازش داده ها Best practices for data processing

6. از Project Case استفاده کنید 6. Use Case Project

• تعریف مسئله Problem definition

• بارگیری داده Data loading

• تجزیه و تحلیل نمره کل Total score analytics

• تجزیه و تحلیل نمره متوسط Average score analytics

• تحلیلی برتر دانشجویی Top student analytics

نتیجه Conclusion

• مراحل بعدی Next steps