آموزش بوت‌کمپ مهندسی داده AWS: 15 آزمایشگاه دنیای واقعی - آخرین آپدیت

سرفصل ها و درس ها

1-معرفی دوره Course Introduction

• اهداف دوره و پشته فناوری Course objectives and Tech stack

• پیش‌نیازها و ابزارها Prerequisites & tools

• نصب Docker و AWS CLI Install Docker and AWS CLI

• کد منبع Github Github Source Code

آزمایشگاه-پردازش دسته‌ای داده‌های جریان موسیقی با استفاده از Airflow و Redshift Lab-Batch data processing of music streams using Airflow & Redshift

• معرفی پروژه Project Introduction

• معرفی Redshift serverless Introduction to Redshift serverless

• معرفی Airflow برای هماهنگی داده‌ها Introduction to Airflow for data orchestration

• آزمایشگاه - راه‌اندازی Redshift Serverless Lab - Setup Redshift Serverless

• آزمایشگاه - راه‌اندازی محیط Airflow در AWS Lab - Setup Airflow Environment on AWS

• آزمایشگاه - توسعه محلی کد پایتون Lab - Local Python development of the code

• آزمایشگاه - آموزش تصویری Airflow DAG Lab - Visual walkthrough of the Airflow DAG

• توضیحات کد Airflow DAG Airflow DAG Code explanation

• آزمایشگاه - اجرای end to end Lab - End to end execution

آزمایشگاه-پردازش توزیع‌شده جریان‌های موسیقی با استفاده از Airflow، Spark و Dynamodb Lab-Distributed music streams processing using Airflow, Spark & Dynamodb

• معرفی پروژه Project introduction

• معرفی DynamoDb Introduction to DynamoDb

• آزمایشگاه - اجرای Pyspark به صورت محلی با استفاده از ایمیج Docker Glue Lab - Execute Pyspark locally using Glue Docker image

• آزمایشگاه - آموزش کد Pyspark Lab - Pyspark code walkthrough

• آزمایشگاه - اجرای end to end Lab - End to end execution

آزمایشگاه-ETL برای آپارتمان‌های اجاره‌ای با استفاده از Step functions،AWS Glue و Redshift Lab-ETL for Rental apartments using Step functions,AWS Glue and Redshift

• معرفی پروژه Project Introduction

• معرفی Step functions برای اتوماسیون گردش کار Introduction to Step functions for workflow automation

• معرفی AWS Aurora برای MySQL Introduction to AWS Aurora for MySQL

• آزمایشگاه - راه‌اندازی پایگاه داده MySQL در AWS Aurora Lab - Setup MySQL db on AWS Aurora

• آزمایشگاه - استقرار و اجرای Job استخراج MySQL Glue Lab - Deploy and execute your MySQL Extraction Glue Job

• آزمایشگاه - استقرار خط لوله ورودی Redshift در AWS Glue Lab - Deploy Redshift ingestion pipeline on AWS Glue

• آزمایشگاه - استقرار خط لوله برای پردازش داده‌های جمع‌آوری‌شده در Redshift در AWS Glue Lab - Deploy pipeline to process curated data in Redshift on AWS Glue

• آزمایشگاه - استقرار Step functions برای هماهنگی اجرای گردش کار Lab - Deploy Step functions to orchestrate workflow execution

• آزمایشگاه - راه‌اندازی AWS Event Bridge برای زمان‌بندی و اتوماسیون گردش کار Lab - Setup AWS Event Bridge for workflow scheduling and automation

آزمایشگاه-ساخت دریاچه داده برای فروشگاه وسایل نقلیه اجاره‌ای با استفاده از EMR،S3 و Athena Lab-Build datalake for rental vehicles store using EMR,S3 and Athena

• معرفی پروژه Project Introduction

• معرفی AWS Elastic Map-Reduce (EMR) Introduction to AWS Elastic Map-Reduce (EMR)

• معرفی AWS Athena Introduction to AWS Athena

• آزمایشگاه - اجرای Pyspark با استفاده از Docker به صورت محلی Lab - Execute Pyspark using Docker locally

• آزمایشگاه - استقرار و اجرای کارهای spark در AWS EMR Lab - Deploy and execute spark jobs on AWS EMR

• آزمایشگاه - راه‌اندازی خزنده های Glue برای کاتالوگ داده و Athena Lab - Setup Glue crawlers for data catalog and Athena

• آزمایشگاه - آموزش کد Step functions و استقرار Lab - Step functions code walkthrough and deployment

• آزمایشگاه - اجرای end to end پروژه Lab - End to end project execution

آزمایشگاه-ساخت خطوط لوله رویداد محور برای تجارت الکترونیک با استفاده از ECS و Step functions Lab-Build Event driven pipelines for E-Commerce using ECS and Step functions

• معرفی پروژه Project Introduction

• معرفی AWS Elastic container service (ECS) Introduction to AWS Elastic container service (ECS)

• آزمایشگاه - کانتینری کردن اولین برنامه پایتون خود و اجرا به صورت محلی Lab - Containerize your First Python application and execute locally

• آزمایشگاه - استقرار برنامه پایتون کانتینری‌شده در ECS Lab - Deploy containerize Python application to ECS

• آزمایشگاه - استقرار و اجرای برنامه docker دوم در ECS Lab - Deploy and execute the second docker application in ECS

• آزمایشگاه - استقرار و اجرای Setup functions برای اتوماسیون گردش کار ECS Lab - Deploy and execute Setup functions for ECS workflow automation

• آزمایشگاه - راه‌اندازی AWS Eventbridge برای زمان‌بندی و اتوماسیون گردش کار Lab - Setup AWS Eventbridge for workflow scheduling and automation

آزمایشگاه-ساخت lakehouse برای یک فروشگاه تجارت الکترونیک با استفاده از جداول Pyspark delta و S3 Lab-Build a lakehouse for an E-Commerce store using Pyspark delta tables and S3

• معرفی پروژه Project Introduction

• آزمایشگاه - اجرای کد Pyspark برای ایجاد deltalake با استفاده از Docker به صورت محلی Lab - Execute Pyspark code to create deltalake using Docker locally

• آزمایشگاه - استقرار Pyspark در AWS Glue Lab - Deploy Pyspark on AWS Glue

• آزمایشگاه - راه‌اندازی جداول کاتالوگ داده Glue و پرس و جو با استفاده از AWS Athena Lab - Setup Glue data catalog tables and query using AWS Athena

• آزمایشگاه - دسترسی به جداول delta از کاتالوگ داده Glue با استفاده از Redshift Lab - Access delta tables from Glue data catalog using Redshift

آزمایشگاه-پردازش داده‌های رویداد محور برای سفرهای تاکسی با استفاده از Lambda و Kinesis Lab-Event driven data processing for Taxi trips using Lambda and Kinesis

• معرفی پروژه Project Introduction

• معرفی AWS Kinesis برای پردازش داده‌های رویداد محور و بلادرنگ Introduction to AWS Kinesis for event driven & real time data processing

• آزمایشگاه - ورود داده‌های جریانی به جریان‌های داده Kinesis از محیط محلی Lab - Ingest streaming data into Kinesis data streams from local env

• آزمایشگاه - استقرار توابع Lambda با محرک‌های Kinesis Lab - Deploy Lambda Functions with Kinesis triggers

• آزمایشگاه - اجرای end to end پروژه Lab - End to end project execution

آزمایشگاه-پردازش لاگ‌های شبکه تلفن همراه در زمان واقعی با استفاده از Pyspark و streamlit در ECS Lab-Process mobile network logs in real time using Pyspark & streamlit on ECS

• معرفی پروژه Project introduction

• آزمایشگاه - آموزش کد Pyspark Lab - Pyspark code walkthrough

• آزمایشگاه - راه‌اندازی جریان داده Kinesis و استقرار کار جریانی spark در AWS Glue Lab - Setup Kinesis data stream & deploy spark streaming job on AWS Glue

• آزمایشگاه - راه‌اندازی خزنده های Glue برای کاتالوگ داده و Athena Lab - Setup Glue crawlers for data catalog and Athena

• آزمایشگاه - راه‌اندازی داشبورد Streamlit بلادرنگ با استفاده از Docker به صورت محلی Lab - Setup a real time Streamlit dashboard using Docker locally

• آزمایشگاه - استقرار داشبورد Streamlit در AWS ECS به عنوان یک تسک کانتینری‌شده Lab - Deploy Streamlit dashboard to AWS ECS as a containerized task

آزمایشگاه-CI/CD برای سرویس‌های AWS با استفاده از GITHUB ACTIONS Lab-CI/CD for AWS Services using GITHUB ACTIONS

• معرفی CI/CD با استفاده از Github Actions Introduction to CI/CD using Github Actions

• آزمایشگاه - یادگیری AWS CLI برای استقرار و آموزش تصویری Github actions Lab - Learn AWS CLI for deployments & visual walkthrough of Github actions

• آزمایشگاه - استقرار AWS Glue با استفاده از Github Actions Lab - Deploy AWS Glue using Github Actions

• آزمایشگاه - استقرار تسک‌های AWS ECS با استفاده از Github Actions Lab - Deploy AWS ECS tasks using Github Actions

• آزمایشگاه - استقرار توابع Lambda با استفاده از Github Actions Lab - Deploy Lambda functions using Github Actions

آزمایشگاه-ورود داده‌های بلادرنگ از clickstreams با استفاده از Kinesis Firehose و Redshift Lab-Real time data ingestion of clickstreams using Kinesis Firehose and Redshift

• معرفی پروژه Project Introduction

• آزمایشگاه-ایجاد جداول Redshift برای تحویل firehose و Lambda برای غنی‌سازی داده‌ها Lab-Create Redshift Tables for firehose delivery and Lambda for data enrichment

• آزمایشگاه - ایجاد جریان‌های داده Kinesis و جریان‌های Firehose Lab - Create Kinesis Data streams and Firehose Streams

• آزمایشگاه - اجرای خط لوله ورود داده‌های بلادرنگ Lab - Real time data ingestion pipeline execution

تکلیف 1 - راه‌اندازی پایگاه داده Mysql در AWS Aurora RDS Assignment 1 - Setup Mysql Database in AWS Aurora RDS

• بیانیه مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution

تکلیف 2 - ساخت یک lakehouse در S3 برای مجموعه داده‌های پروازهای تجاری Assignment 2-Build a lakehouse on S3 for Commercial flights dataset

• بیانیه مسئله تکلیف Assignment Problem Statement

• آزمایشگاه راه‌حل - استقرار خط لوله استخراج داده‌ها Solution Lab - Deploy Data extraction pipeline

• آزمایشگاه راه‌حل - استقرار کار Pyspark برای deltalake Solution Lab - Deploy Pyspark job for deltalake

• آزمایشگاه راه‌حل - راه‌اندازی خزنده های Glue برای کاتالوگ داده Solution Lab - Setup Glue Crawlers for data catalog

تکلیف 3 - ارائه تخفیف‌های پویا به کاربران تجارت الکترونیک با استفاده از رویدادهای بلادرنگ Assignment 3 - Offer dynamic discounts to ECommerce users using Real Time Events

• بیانیه مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution

تکلیف 4 - راه‌اندازی کار جریانی Pyspark بلادرنگ برای معیارهای آهنگ‌های Spotify Assignment 4 - Setup real time Pyspark streaming job for Spotify songs metrics

• بیانیه مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution

تکلیف 5 - خودکارسازی استقرار توابع Lambda با استفاده از Github actions Assignment 5 - Automate deployment of Lambda functions using Github actions

• بیانیه مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution