آموزش بوت‌کمپ جامع مهندسی داده AWS - ۱۵ پروژه عملی واقعی [ویدئویی] - آخرین آپدیت

سرفصل ها و درس ها

مقدمه دوره Course Introduction

• اهداف دوره و تکنولوژی‌های مورد استفاده Course objectives and Tech stack

• پیش‌نیازها و ابزارها Prerequisites & tools

• نصب Docker و AWS CLI Install Docker and AWS CLI

پروژه: پردازش دسته‌ای داده‌های استریم موسیقی با Airflow و Redshift Lab - Batch data processing of music streams using Airflow & Redshift

• معرفی پروژه Project Introduction

• آشنایی با Redshift Serverless Introduction to Redshift serverless

• آشنایی با Airflow برای ارکستراسیون داده‌ها Introduction to Airflow for data orchestration

• پروژه: راه‌اندازی Redshift Serverless Lab - Setup Redshift Serverless

• پروژه: راه‌اندازی محیط Airflow روی AWS Lab - Setup Airflow Environment on AWS

• پروژه: توسعه محلی کد پایتون Lab - Local Python development of the code

• پروژه: بررسی بصری Airflow DAG Lab - Visual walkthrough of the Airflow DAG

• توضیح کد Airflow DAG Airflow DAG Code explanation

• پروژه: اجرای کامل (End to End) Lab - End to end execution

پروژه: پردازش توزیع‌شده استریم موسیقی با Airflow، Spark و DynamoDB Lab - Distributed music streams processing using Airflow, Spark & DynamoDB

• معرفی پروژه Project introduction

• آشنایی با DynamoDB Introduction to DynamoDB

• پروژه: اجرای محلی Pyspark با استفاده از Image داکر Glue Lab - Execute Pyspark locally using Glue Docker image

• پروژه: بررسی کد Pyspark Lab - Pyspark code walkthrough

• پروژه: اجرای کامل (End to End) Lab - End to end execution

پروژه: ETL برای آپارتمان‌های اجاره‌ای با Step Functions، AWS Glue و Redshift Lab - ETL for Rental apartments using Step Functions, AWS Glue, and Redshift

• معرفی پروژه Project Introduction

• آشنایی با Step Functions برای اتوماسیون جریان کاری Introduction to Step Functions for workflow automation

• آشنایی با AWS Aurora برای MySQL Introduction to AWS Aurora for MySQL

• پروژه: راه‌اندازی دیتابیس MySQL روی AWS Aurora Lab - Setup MySQL db on AWS Aurora

• پروژه: استقرار و اجرای Glue Job استخراج MySQL Lab - Deploy and execute your MySQL Extraction Glue Job

• پروژه: استقرار خط لوله جذب Redshift روی AWS Glue Lab - Deploy Redshift ingestion pipeline on AWS Glue

• پروژه: استقرار خط لوله پردازش داده‌های پالایش شده در Redshift روی AWS Glue Lab - Deploy pipeline to process curated data in Redshift on AWS Glue

• پروژه: استقرار Step Functions برای ارکستراسیون اجرای جریان کاری Lab - Deploy Step Functions to orchestrate workflow execution

• پروژه: راه‌اندازی AWS Event Bridge برای زمان‌بندی و اتوماسیون جریان کاری Lab - Setup AWS Event Bridge for workflow scheduling and automation

پروژه: ساخت دریاچه داده برای فروشگاه خودروهای اجاره‌ای با EMR، S3 و Athena Lab - Build a datalake for rental vehicles store using EMR, S3 and Athena

• معرفی پروژه Project Introduction

• آشنایی با AWS Elastic Map Reduce (EMR) Introduction to AWS Elastic Map-Reduce (EMR)

• آشنایی با AWS Athena Introduction to AWS Athena

• پروژه: اجرای Pyspark با استفاده از داکر به صورت محلی Lab - Execute Pyspark using Docker locally

• پروژه: استقرار و اجرای Spark Jobs روی AWS EMR Lab - Deploy and execute spark jobs on AWS EMR

• پروژه: راه‌اندازی Glue Crawlers برای کاتالوگ داده و Athena Lab - Setup Glue crawlers for data catalog and Athena

• پروژه: بررسی کد و استقرار Step Functions Lab - Step functions code walkthrough and deployment

• پروژه: اجرای کامل پروژه Lab - End to end project execution

پروژه: ساخت خط لوله‌های رویداد-محور برای تجارت الکترونیک با ECS و Step Functions Lab - Build Event driven pipelines for E-Commerce using ECS and Step Functions

• معرفی پروژه Project Introduction

• آشنایی با AWS Elastic Container Service (ECS) Introduction to AWS Elastic Container Service (ECS)

• پروژه: کانتینریزه کردن اولین اپلیکیشن پایتون و اجرای محلی Lab - Containerize your First Python application and execute locally

• پروژه: استقرار اپلیکیشن پایتون کانتینریزه شده در ECS Lab - Deploy containerized Python application to ECS

• پروژه: استقرار و اجرای دومین اپلیکیشن داکر در ECS Lab - Deploy and execute the second Docker application in ECS

• پروژه: استقرار و اجرای Step Functions برای اتوماسیون جریان کاری ECS Lab - Deploy and execute Step Functions for ECS workflow automation

• پروژه: راه‌اندازی AWS EventBridge برای زمان‌بندی و اتوماسیون جریان کاری Lab - Setup AWS EventBridge for workflow scheduling and automation

پروژه: ساخت Lakehouse برای فروشگاه تجارت الکترونیک با Pyspark Delta Tables و S3 Lab - Build a lakehouse for an E-Commerce store using Pyspark delta tables and S3

• معرفی پروژه Project Introduction

• پروژه: اجرای کد Pyspark برای ایجاد Delta Lake با داکر به صورت محلی Lab - Execute Pyspark code to create deltalake using Docker locally

• پروژه: استقرار Pyspark روی AWS Glue Lab - Deploy Pyspark on AWS Glue

• پروژه: راه‌اندازی جداول کاتالوگ داده Glue و کوئری با AWS Athena Lab - Setup Glue data catalog tables and query using AWS Athena

• پروژه: دسترسی به جداول Delta از کاتالوگ داده Glue با استفاده از Redshift Lab - Access delta tables from Glue data catalog using Redshift

پروژه: پردازش داده‌های رویداد-محور برای سفرهای تاکسی با Lambda و Kinesis Lab - Event driven data processing for Taxi trips using Lambda and Kinesis

• معرفی پروژه Project Introduction

• آشنایی با AWS Kinesis برای پردازش داده‌های رویداد-محور و بلادرنگ Introduction to AWS Kinesis for event-driven & real-time data processing

• پروژه: جذب داده‌های استریم در Kinesis Data Streams از محیط محلی Lab - Ingest streaming data into Kinesis data streams from local env

• پروژه: استقرار توابع Lambda با تریگرهای Kinesis Lab - Deploy Lambda Functions with Kinesis triggers

• پروژه: اجرای کامل پروژه Lab - End to end project execution

پروژه: پردازش بلادرنگ لاگ‌های شبکه موبایل با Pyspark و Streamlit روی ECS Lab - Process mobile network logs in real time using Pyspark & Streamlit on ECS

• معرفی پروژه Project introduction

• پروژه: بررسی کد Pyspark Lab - Pyspark code walkthrough

• پروژه: راه‌اندازی Kinesis Data Stream و استقرار Spark Streaming Job روی AWS Glue Lab - Setup Kinesis data stream & deploy spark streaming job on AWS Glue

• پروژه: راه‌اندازی Glue Crawlers برای کاتالوگ داده و Athena Lab - Setup Glue crawlers for data catalog and Athena

• پروژه: راه‌اندازی داشبورد بلادرنگ Streamlit با داکر به صورت محلی Lab - Setup a real time Streamlit dashboard using Docker locally

• پروژه: استقرار داشبورد Streamlit در AWS ECS به عنوان یک تسک کانتینریزه Lab - Deploy Streamlit dashboard to AWS ECS as a containerized task

پروژه: CI/CD برای سرویس‌های AWS با استفاده از GITHUB ACTIONS Lab - CI/CD for AWS Services using GITHUB ACTIONS

• آشنایی با CI/CD با استفاده از Github Actions Introduction to CI/CD using Github Actions

• پروژه: یادگیری AWS CLI برای استقرارها و بررسی بصری Github Actions Lab - Learn AWS CLI for deployments & visual walkthrough of Github actions

• پروژه: استقرار AWS Glue با استفاده از Github Actions Lab - Deploy AWS Glue using Github Actions

• پروژه: استقرار تسک‌های AWS ECS با استفاده از Github Actions Lab - Deploy AWS ECS tasks using Github Actions

• پروژه: استقرار توابع Lambda با استفاده از Github Actions Lab - Deploy Lambda functions using Github Actions

پروژه: جذب بلادرنگ داده‌های کلیک-استریم با Kinesis Firehose و Redshift Lab - Real time data ingestion of clickstreams using Kinesis Firehose and Redshift

• معرفی پروژه Project Introduction

• پروژه: ایجاد جداول Redshift برای تحویل Firehose و Lambda برای غنی‌سازی داده‌ها Lab - Create Redshift Tables for Firehose delivery and Lambda for data enrichment

• پروژه: ایجاد Kinesis Data Streams و Firehose Streams Lab - Create Kinesis Data Streams and Firehose Streams

• پروژه: اجرای خط لوله جذب داده‌های بلادرنگ Lab - Real time data ingestion pipeline execution

تکلیف ۱: راه‌اندازی دیتابیس MySQL در AWS Aurora RDS Assignment 1 - Setup MySQL Database in AWS Aurora RDS

• بیان مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution

تکلیف ۲: ساخت Lakehouse روی S3 برای مجموعه داده‌های پروازهای تجاری Assignment 2 - Build a lakehouse on S3 for Commercial flights dataset

• بیان مسئله تکلیف Assignment Problem Statement

• پروژه راه حل: استقرار خط لوله استخراج داده Solution Lab - Deploy Data extraction pipeline

• پروژه راه حل: استقرار Pyspark Job برای Delta Lake Solution Lab - Deploy Pyspark job for Delta Lake

• پروژه راه حل: راه‌اندازی Glue Crawlers برای کاتالوگ داده Solution Lab - Setup Glue Crawlers for data catalog

تکلیف ۳: ارائه تخفیف‌های پویا به کاربران تجارت الکترونیک با رویدادهای بلادرنگ Assignment 3 - Offer dynamic discounts to E-Commerce users using Real Time Events

• بیان مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution

تکلیف ۴: راه‌اندازی Job استریمینگ Pyspark بلادرنگ برای متریک‌های آهنگ‌های Spotify Assignment 4 - Setup real time Pyspark streaming job for Spotify songs metrics

• بیان مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution

تکلیف ۵: اتوماسیون استقرار توابع Lambda با استفاده از Github Actions Assignment 5 - Automate deployment of Lambda functions using Github actions

• بیان مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution