Apache Spark Essential Training: Big Data Engineering

سرفصل ها و درس ها

مقدمه Introduction

• پیش نیازهای دوره Course prerequisites

• رانندگی مهندسی داده های بزرگ با آپاچی اسپارک Driving big data engineering with Apache Spark

• تنظیم فایل های تمرین Setting up the exercise files

1. مفاهیم مهندسی داده 1. Data Engineering Concepts

• پردازش دسته ای در مقابل پردازش بلادرنگ Batch vs. real-time processing

• مهندسی داده چیست؟ What is data engineering?

• مهندسی داده با اسپارک Data engineering with Spark

• توابع مهندسی داده Data engineering functions

• مهندسی داده در مقابل تجزیه و تحلیل داده در مقابل علم داده Data engineering vs. data analytics vs. data science

2. قابلیت های Spark برای ETL 2. Spark Capabilities for ETL

• پردازش جریان حالت دار Stateful stream processing

• طرح اجرای جرقه Spark execution plan

• تجزیه و تحلیل جرقه و ML Spark analytics and ML

• پردازش موازی با اسپارک Parallel processing with Spark

• بررسی معماری اسپارک Spark architecture review

3. خط لوله پردازش دسته ای 3. Batch Processing Pipelines

• تجمیع موجودی در انبارها Aggregating stock across warehouses

• بارگذاری سهام در فروشگاه مرکزی Uploading stock to a central store

• مورد استفاده پردازش دسته ای: بیان مشکل Batch processing use case: Problem statement

• راه اندازی DB محلی Setting up the local DB

• مورد استفاده پردازش دسته ای: طراحی Batch processing use case: Design

4. خطوط لوله پردازش زمان واقعی 4. Real-Time Processing Pipelines

• مورد استفاده در زمان واقعی: مشکل Real-time use case: Problem

• ساخت یک کار تجزیه و تحلیل وب سایت Building a website analytics job

• اجرای خط لوله بلادرنگ Executing the real-time pipeline

• مورد استفاده در زمان واقعی: طراحی Real-time use case: Design

• ایجاد یک جریان داده بازدید Generating a visits data stream

5. مهندسی داده با اسپارک: بهترین روش ها 5. Data Engineering with Spark: Best Practices

• عملیات پردازش مقیاس Scaling processing operations

• عملیات استخراج و بارگذاری رسوب گذاری Scaling extraction and loading operations

• ایجاد تاب آوری Building resiliency

• دسته ای در مقابل گزینه های زمان واقعی Batch vs. real-time options

6. پروژه تمرین پایان به پایان 6. End-to-End Exercise Project

• الزامات تمرین پروژه Project exercise requirements

• ساختن کارت امتیازی Building a scorecard

• استخراج اقدامات طولانی مدت Extracting long last actions

• طراحی راه حل Solution design

نتیجه گیری Conclusion

• اطلاعات بیشتر درباره آپاچی اسپارک More about Apache Spark