آموزش تجزیه و تحلیل بدون سرور AWS - ایجاد یک دریاچه داده با استفاده از S3، Glue، Athena و Lambda
AWS serverless analytics - Creating a data lake using S3, Glue, Athena and Lambda
- در حال بارگزاری، لطفا صبر کنید...
در این کلاس یاد خواهید گرفت که چگونه یک راه حل تجزیه و تحلیل بدون سرور در خدمات وب آمازون (AWS) ایجاد کنید. موضوعات زیر پوشش داده خواهد شد
1. ایجاد دریاچه داده با استفاده از S3
2. ایجاد کاتالوگ داده با استفاده از چسب
3. استخراج، تبدیل و بارگذاری داده ها با استفاده از Glue و Apache Spark
4. مشاهده داده ها با استفاده از ابزار جستجوی Athena.
5. ایجاد خط لوله داده خودکار با استفاده از Lambda
دانشجویان باید قبل از شروع این دوره، درک درستی از AWS و Big Data داشته باشند.
لطفاً دستورالعمل‌های پروژه کلاس را در زیر بیابید. پس از تکمیل پروژه، لطفاً کد را در بخش گالری دانش آموزان برای بازخورد آپلود کنید.
1. با استفاده از داده های بازاریابی چشم انداز بانک پیوست شده، یک دریاچه داده S3 ایجاد کنید.
2. یک کاتالوگ داده با استفاده از چسب
ایجاد کنید3. با استفاده از PySpark و Glue، مقادیر تهی و سوابق گمشده را از داده‌ها حذف کنید
4. هنگامی که شخصی فایل را در سطل S3 آپلود می کند، کار چسب را با استفاده از Lambda فعال کنید.
درس ها Lessons
-
کاتالوگ داده با چسب AWS A data catalog with AWS Glue
-
یک خط لوله داده خودکار با استفاده از Lambda، S3 و Glue An automated data pipeline using Lambda, S3 and Glue
-
ایجاد دریاچه داده با AWS S3 Creating a Data Lake with AWS S3
-
جستجوی داده ها با استفاده از آمازون آتنا Querying data using Amazon Athena
-
مقدمه Introduction
-
اجرای کارهای تبدیل Spark با استفاده از چسب AWS Running Spark transformation jobs using AWS Glue
Engineering Tech
نمایش نظرات