آموزش تجزیه و تحلیل بدون سرور AWS - ایجاد یک دریاچه داده با استفاده از S3، Glue، Athena و Lambda
AWS serverless analytics - Creating a data lake using S3, Glue, Athena and Lambda
در این کلاس یاد خواهید گرفت که چگونه یک راه حل تجزیه و تحلیل بدون سرور در خدمات وب آمازون (AWS) ایجاد کنید. موضوعات زیر پوشش داده خواهد شد
1. ایجاد دریاچه داده با استفاده از S3
2. ایجاد کاتالوگ داده با استفاده از چسب
3. استخراج، تبدیل و بارگذاری داده ها با استفاده از Glue و Apache Spark
4. مشاهده داده ها با استفاده از ابزار جستجوی Athena.
5. ایجاد خط لوله داده خودکار با استفاده از Lambda
دانشجویان باید قبل از شروع این دوره، درک درستی از AWS و Big Data داشته باشند.
لطفاً دستورالعمل‌های پروژه کلاس را در زیر بیابید. پس از تکمیل پروژه، لطفاً کد را در بخش گالری دانش آموزان برای بازخورد آپلود کنید.
1. با استفاده از داده های بازاریابی چشم انداز بانک پیوست شده، یک دریاچه داده S3 ایجاد کنید.
2. یک کاتالوگ داده با استفاده از چسب
ایجاد کنید3. با استفاده از PySpark و Glue، مقادیر تهی و سوابق گمشده را از داده‌ها حذف کنید
4. هنگامی که شخصی فایل را در سطل S3 آپلود می کند، کار چسب را با استفاده از Lambda فعال کنید.
درس ها Lessons
-
کاتالوگ داده با چسب AWS A data catalog with AWS Glue
-
یک خط لوله داده خودکار با استفاده از Lambda، S3 و Glue An automated data pipeline using Lambda, S3 and Glue
-
ایجاد دریاچه داده با AWS S3 Creating a Data Lake with AWS S3
-
جستجوی داده ها با استفاده از آمازون آتنا Querying data using Amazon Athena
-
مقدمه Introduction
-
اجرای کارهای تبدیل Spark با استفاده از چسب AWS Running Spark transformation jobs using AWS Glue
Engineering Tech
نمایش نظرات