آموزش بوت‌کمپ جامع مهندسی داده AWS - ۱۵ پروژه عملی واقعی - آخرین آپدیت

سرفصل ها و درس ها

معرفی دوره Course Introduction

• اهداف دوره و تکنولوژی‌های مورد استفاده Course objectives and Tech stack

• پیش‌نیازها و ابزارها Prerequisites & tools

• نصب Docker و AWS CLI Install Docker and AWS CLI

پروژه: پردازش دسته‌ای داده‌های استریم موسیقی با استفاده از Airflow و Redshift Lab - Batch data processing of music streams using Airflow & Redshift

• معرفی پروژه Project Introduction

• معرفی Redshift serverless Introduction to Redshift serverless

• معرفی Airflow برای ارکستراسیون داده‌ها Introduction to Airflow for data orchestration

• پروژه: راه‌اندازی Redshift Serverless Lab - Setup Redshift Serverless

• پروژه: راه‌اندازی محیط Airflow در AWS Lab - Setup Airflow Environment on AWS

• پروژه: توسعه محلی کد با پایتون Lab - Local Python development of the code

• پروژه: بررسی بصری Airflow DAG Lab - Visual walkthrough of the Airflow DAG

• توضیح کد Airflow DAG Airflow DAG Code explanation

• پروژه: اجرای کامل (End to end) Lab - End to end execution

پروژه: پردازش توزیع‌شده استریم‌های موسیقی با استفاده از Airflow، Spark و DynamoDB Lab - Distributed music streams processing using Airflow, Spark & DynamoDB

• معرفی پروژه Project introduction

• معرفی DynamoDB Introduction to DynamoDB

• پروژه: اجرای محلی Pyspark با استفاده از Image داکر Glue Lab - Execute Pyspark locally using Glue Docker image

• پروژه: بررسی کد Pyspark Lab - Pyspark code walkthrough

• پروژه: اجرای کامل (End to end) Lab - End to end execution

پروژه: ETL برای آپارتمان‌های اجاره‌ای با استفاده از Step Functions، AWS Glue و Redshift Lab - ETL for Rental apartments using Step Functions, AWS Glue, and Redshift

• معرفی پروژه Project Introduction

• معرفی Step Functions برای خودکارسازی گردش کار Introduction to Step Functions for workflow automation

• معرفی AWS Aurora برای MySQL Introduction to AWS Aurora for MySQL

• پروژه: راه‌اندازی دیتابیس MySQL روی AWS Aurora Lab - Setup MySQL db on AWS Aurora

• پروژه: استقرار و اجرای Glue Job استخراج MySQL Lab - Deploy and execute your MySQL Extraction Glue Job

• پروژه: استقرار خط لوله جذب Redshift در AWS Glue Lab - Deploy Redshift ingestion pipeline on AWS Glue

• پروژه: استقرار خط لوله پردازش داده‌های پالایش شده در Redshift روی AWS Glue Lab - Deploy pipeline to process curated data in Redshift on AWS Glue

• پروژه: استقرار Step Functions برای ارکستراسیون اجرای گردش کار Lab - Deploy Step Functions to orchestrate workflow execution

• پروژه: راه‌اندازی AWS Event Bridge برای زمان‌بندی و خودکارسازی گردش کار Lab - Setup AWS Event Bridge for workflow scheduling and automation

پروژه: ساخت دیتا-لیک برای فروشگاه وسایل نقلیه اجاره‌ای با استفاده از EMR، S3 و Athena Lab - Build a datalake for rental vehicles store using EMR, S3 and Athena

• معرفی پروژه Project Introduction

• معرفی AWS Elastic Map Reduce (EMR) Introduction to AWS Elastic Map-Reduce (EMR)

• معرفی AWS Athena Introduction to AWS Athena

• پروژه: اجرای Pyspark با استفاده از داکر به صورت محلی Lab - Execute Pyspark using Docker locally

• پروژه: استقرار و اجرای Spark jobs روی AWS EMR Lab - Deploy and execute spark jobs on AWS EMR

• پروژه: راه‌اندازی Glue crawlers برای کاتالوگ داده و Athena Lab - Setup Glue crawlers for data catalog and Athena

• پروژه: بررسی کد و استقرار Step functions Lab - Step functions code walkthrough and deployment

• پروژه: اجرای کامل پروژه Lab - End to end project execution

پروژه: ساخت خط لوله‌های رویداد-محور برای تجارت الکترونیک با استفاده از ECS و Step Functions Lab - Build Event driven pipelines for E-Commerce using ECS and Step Functions

• معرفی پروژه Project Introduction

• معرفی AWS Elastic Container Service (ECS) Introduction to AWS Elastic Container Service (ECS)

• پروژه: کانتینری کردن اولین اپلیکیشن پایتون و اجرای محلی Lab - Containerize your First Python application and execute locally

• پروژه: استقرار اپلیکیشن پایتون کانتینری در ECS Lab - Deploy containerized Python application to ECS

• پروژه: استقرار و اجرای دومین اپلیکیشن داکر در ECS Lab - Deploy and execute the second Docker application in ECS

• پروژه: استقرار و اجرای Step Functions برای خودکارسازی گردش کار ECS Lab - Deploy and execute Step Functions for ECS workflow automation

• پروژه: راه‌اندازی AWS EventBridge برای زمان‌بندی و خودکارسازی گردش کار Lab - Setup AWS EventBridge for workflow scheduling and automation

پروژه: ساخت یک Lakehouse برای فروشگاه تجارت الکترونیک با استفاده از Pyspark delta tables و S3 Lab - Build a lakehouse for an E-Commerce store using Pyspark delta tables and S3

• معرفی پروژه Project Introduction

• پروژه: اجرای کد Pyspark برای ساخت deltalake با داکر به صورت محلی Lab - Execute Pyspark code to create deltalake using Docker locally

• پروژه: استقرار Pyspark در AWS Glue Lab - Deploy Pyspark on AWS Glue

• پروژه: راه‌اندازی جداول کاتالوگ داده Glue و کوئری با AWS Athena Lab - Setup Glue data catalog tables and query using AWS Athena

• پروژه: دسترسی به جداول delta از کاتالوگ داده Glue با استفاده از Redshift Lab - Access delta tables from Glue data catalog using Redshift

پروژه: پردازش داده‌های رویداد-محور برای سفرهای تاکسی با استفاده از Lambda و Kinesis Lab - Event driven data processing for Taxi trips using Lambda and Kinesis

• معرفی پروژه Project Introduction

• معرفی AWS Kinesis برای پردازش داده‌های رویداد-محور و آنی Introduction to AWS Kinesis for event-driven & real-time data processing

• پروژه: جذب داده‌های استریم در Kinesis data streams از محیط محلی Lab - Ingest streaming data into Kinesis data streams from local env

• پروژه: استقرار توابع Lambda با تریگرهای Kinesis Lab - Deploy Lambda Functions with Kinesis triggers

• پروژه: اجرای کامل پروژه Lab - End to end project execution

پروژه: پردازش لاگ‌های شبکه موبایل به صورت آنی با استفاده از Pyspark و Streamlit روی ECS Lab - Process mobile network logs in real time using Pyspark & Streamlit on ECS

• معرفی پروژه Project introduction

• پروژه: بررسی کد Pyspark Lab - Pyspark code walkthrough

• پروژه: راه‌اندازی Kinesis data stream و استقرار Spark streaming job در AWS Glue Lab - Setup Kinesis data stream & deploy spark streaming job on AWS Glue

• پروژه: راه‌اندازی Glue crawlers برای کاتالوگ داده و Athena Lab - Setup Glue crawlers for data catalog and Athena

• پروژه: راه‌اندازی داشبورد آنی Streamlit با استفاده از داکر به صورت محلی Lab - Setup a real time Streamlit dashboard using Docker locally

• پروژه: استقرار داشبورد Streamlit در AWS ECS به عنوان یک تسک کانتینری Lab - Deploy Streamlit dashboard to AWS ECS as a containerized task

پروژه: پیاده‌سازی CI/CD برای سرویس‌های AWS با استفاده از GITHUB ACTIONS Lab - CI/CD for AWS Services using GITHUB ACTIONS

• معرفی CI/CD با استفاده از Github Actions Introduction to CI/CD using Github Actions

• پروژه: یادگیری AWS CLI برای استقرار و بررسی بصری Github actions Lab - Learn AWS CLI for deployments & visual walkthrough of Github actions

• پروژه: استقرار AWS Glue با استفاده از Github Actions Lab - Deploy AWS Glue using Github Actions

• پروژه: استقرار تسک‌های AWS ECS با استفاده از Github Actions Lab - Deploy AWS ECS tasks using Github Actions

• پروژه: استقرار توابع Lambda با استفاده از Github Actions Lab - Deploy Lambda functions using Github Actions

پروژه: جذب داده‌های آنی کلیک-استریم با استفاده از Kinesis Firehose و Redshift Lab - Real time data ingestion of clickstreams using Kinesis Firehose and Redshift

• معرفی پروژه Project Introduction

• پروژه: ساخت جداول Redshift برای تحویل Firehose و Lambda برای غنی‌سازی داده‌ها Lab - Create Redshift Tables for Firehose delivery and Lambda for data enrichment

• پروژه: ساخت Kinesis Data Streams و Firehose Streams Lab - Create Kinesis Data Streams and Firehose Streams

• پروژه: اجرای خط لوله جذب داده‌های آنی Lab - Real time data ingestion pipeline execution

راه‌اندازی دیتابیس MySQL در AWS Aurora RDS Setup MySQL Database in AWS Aurora RDS

• بیان مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution

ساخت Lakehouse روی S3 برای مجموعه‌داده‌های پروازهای تجاری Build a lakehouse on S3 for Commercial flights dataset

• بیان مسئله تکلیف Assignment Problem Statement

• پروژه راه حل: استقرار خط لوله استخراج داده Solution Lab - Deploy Data extraction pipeline

• پروژه راه حل: استقرار Pyspark job برای Delta Lake Solution Lab - Deploy Pyspark job for Delta Lake

• پروژه راه حل: راه‌اندازی Glue Crawlers برای کاتالوگ داده Solution Lab - Setup Glue Crawlers for data catalog

ارائه تخفیف‌های پویا به کاربران تجارت الکترونیک با استفاده از رویدادهای آنی Offer dynamic discounts to E-Commerce users using Real Time Events

• بیان مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution

راه‌اندازی جاب استریمینگ Pyspark برای متریک‌های آهنگ‌های Spotify Setup real time Pyspark streaming job for Spotify songs metrics

• بیان مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution

خودکارسازی استقرار توابع Lambda با استفاده از Github actions Automate deployment of Lambda functions using Github actions

• بیان مسئله تکلیف Assignment Problem Statement

• راه حل تکلیف Assignment Solution