آموزش پروژه مهندسی داده AWS: پیادهسازی خط لوله RDS به S3 با AWS Glue - آخرین آپدیت
دانلود AWS Data Engineering Project: End-to-End RDS to S3 with Glue
یک پروژه مهندسی داده AWS واقعگرایانه بسازید که دادههای حوزه سلامت را از Amazon RDS PostgreSQL به دریاچه داده (Data Lake) در Amazon S3 منتقل میکند.
شما این پروژه را در نقش یک مهندس داده پیش خواهید برد؛ از درک فضای کسبوکار و سیستمهای منبع گرفته تا تعریف قرارداد خط لوله، تصمیمات طراحی، راهاندازی AWS، پیادهسازی راهکار، اعتبارسنجی خروجی و زمانبندی اجراهای تکرارپذیر.
در این پروژه شما موارد زیر را انجام خواهید داد:
آمادهسازی منبع: راهاندازی پایگاه داده PostgreSQL در Amazon RDS
ساخت Glue Job: جذب دادهها از چندین جدول منبع با استفاده از AWS Glue و PySpark
بارگذاری افزایشی: استفاده از واترمارکها برای پردازش رکوردهای جدید و بهروز شده
ذخیرهسازی دادهها: نوشتن خروجی در Amazon S3 به صورت فایلهای Parquet
ردیابی هر اجرا: افزودن متادیتای جذب داده برای ممیزی و اعتبارسنجی
کاتالوگ دادهها: استفاده از AWS Glue Crawlers و Glue Data Catalog
اعتبارسنجی خروجی: کوئری زدن روی دادههای جذب شده با استفاده از Amazon Athena
زمانبندی خط لوله: استفاده از Glue Workflows و Triggers برای اجراهای خودکار
فراتر از نمایش خدمات مجزا
شما پروژه را در حساب AWS خود و با استفاده از سورسکد ارائه شده، دادههای نمونه سلامت، فایلهای پیکربندی و اسکریپتهای راهاندازی زیرساخت اجرا خواهید کرد.
تمرکز این دوره تنها بر اجرای خط لوله نیست؛ شما درک خواهید کرد که چرا از هر سرویس AWS استفاده شده، اجزا چگونه با هم کار میکنند و خط لوله چگونه در اجراهای بعدی، رکوردهای جدید و تغییر یافته را مدیریت میکند.
در پایان دوره، شما یک پروژه کامل مهندسی داده AWS خواهید داشت که میتوانید آن را تمرین کنید، در پورتفولیوی خود قرار دهید و در مصاحبههای شغلی به طور شفاف توضیح دهید.
این دوره شامل یک تخفیف ویژه است.
شروع به کار Getting Started
-
خوش آمدید به Data0to1 Welcome to Data0to1
-
ساخت حساب AWS Create Your AWS Account
-
بررسی اعتبار (Credits) حساب AWS Check Your AWS Credits
-
ساخت کاربر IAM برای پروژه Create an IAM User for the Project
راهاندازی محیط توسعه Set Up Your Development Environment
-
نصب Visual Studio Code Install Visual Studio Code
-
نصب WSL و Ubuntu Install WSL and Ubuntu
-
اتصال VS Code به WSL Connect Visual Studio Code to WSL
درک کسبوکار و سیستمهای منبع Understand the Business and Source Systems
-
درک فضای کسبوکار حوزه سلامت Understand the Healthcare Business Context
-
درک ساختار سیستمهای منبع Understand the Source-System Landscape
راهاندازی محیط پروژه AWS Set Up the AWS Project Environment
-
دانلود فایلهای پروژه Download the Project Files
-
باز کردن و پیکربندی پروژه در VS Code Open and Configure the Project in VS Code
-
پیکربندی پروفایل AWS CLI Configure the AWS CLI Profile
-
بررسی سرویسهای مورد استفاده در AWS Understand the AWS Services Used
-
ایجاد زیرساخت پروژه Create the Project Infrastructure
-
مانیتورینگ و کنترل هزینههای AWS Monitor and Control AWS Costs
ساخت خط لوله افزایشی RDS به S3 Build the Incremental RDS-to-S3 Pipeline
-
قرارداد خط لوله: تعریف خروجیهای مورد نیاز Pipeline Contract: Define What the Pipeline Must Deliver
-
نکات طراحی: برنامهریزی نحوه عملکرد خط لوله افزایشی Design Notes: Plan How the Incremental Pipeline Will Work
-
راهاندازی Amazon RDS و اتصال Glue Set Up Amazon RDS and the Glue Connection
-
ساخت و اجرای Glue Job از RDS به S3 Build and Run the RDS-to-S3 Glue Job
-
کاتالوگ دادهها و کوئری با Athena Catalog the Data and Query It with Athena
-
زمانبندی خط لوله با Glue Workflows و Triggers Schedule the Pipeline with Glue Workflows and Triggers
ادامه مسیر یادگیری Continue Your Learning
-
بونوس: سپاسگزاری و گامهای بعدی BONUS: Thank You and Next Steps
Chandra Venkat
نمایش نظرات