آموزش Apache Spark: مهندسی داده های بزرگ

سرفصل ها و درس ها

مقدمه Introduction

• خوش آمدی Welcome

• آنچه باید بدانید What you should know

• فایل های تمرینی Exercise files

• محیط را تنظیم کنید Set up the environment

1. نمای کلی مهندسی داده 1. Data Engineering Overview

• مهندسی داده چیست؟ What is data engineering?

• مراحل مهندسی داده Stages of data engineering

• مهندسی داده با داده های بزرگ به چالش می کشد Data engineering challenges with big data

• جرقه و کافکا برای مهندسی داده Spark and Kafka for data engineering

2. انتقال داده ها با کافکا 2. Moving Data with Kafka

• از کانکتورهای کافکا استفاده کنید Use Kafka connectors

• کد: به یک منبع پرونده بخوانید Code: Read to a file source

• کد: برای سینک HDFS بنویسید Code: Write to a HDFS sink

• کد: برای منبع JDBC بخوانید Code: Read for a JDBC source

• کد: به یک سینک جرقه بنویسید Code: Write to a Spark sink

3. جرقه پردازش با کارایی بالا 3. Spark High-Performance Processing

• مهندسی داده با جرقه Data engineering with Spark

• جرقه چگونه کار می کند How Spark works

• برای ارزیابی تنبل بهینه سازی کنید Optimize for lazy evaluation

• با وابستگی ها کار کنید Work with dependencies

• باتری های پیچیده Complex accumulators

4- از Project Case استفاده کنید 4. Use Case Project

• بیان مسأله Problem statement

• بررسی اجمالی راه حل Solution overview

• داده های فروش ایالات متحده را پردازش کنید Process US sales data

• داده های فروش اتحادیه اروپا را پردازش کنید Process EU sales data

• پردازش وب به داده ها ضربه می زند Process web hits data

• پردازش داده های صدای جیر جیر Process tweet data

• مقیاس راه حل Scale the solution

نتیجه Conclusion

• مراحل بعدی Next steps