آموزش مهندسی داده در AWS جلد ۱ - OLAP و انبار داده - آخرین آپدیت

سرفصل ها و درس ها

مقدمه - مهندسی داده جلد ۱ در AWS Introduction - Data Engineering Volume 1 on AWS

• مقدمه دوره و منابع Course Introduction and Resources

• ۲. مقدمه دوره و سرفصل های دوره 2. Course Introduction and Course Contents

• جزئیات دوره - پروژه ها، درباره من Course Details - Projects, About Me

(اختیاری) پیش‌نیازهای AWS - EC2 و EBS (Optional) AWS Pre-requisites - EC2 & EBS

• معرفی AWS Cloud و EC2 AWS Cloud and EC2 Introduction

• کنسول EC2 و تمرین عملی EC2 Console & HandsOn

• نظریه EBS EBS Theory

• تمرین عملی EBS EBS Hands On

(اختیاری) پیش‌نیازهای AWS - VPC (Optional) AWS Pre-requisites - VPC

• معرفی و اجزای VPC VPC Introduction & Components

• تمرین عملی اجزای VPC VPC Components Hands On

• Bastion Host Bastion Host

• Security Groups Security Groups

• NAT Gateway و VPC Endpoint NAT Gateway & VPC Endpoint

• VPC Peering VPC Peering

(اختیاری) پیش‌نیازهای AWS - IAM (Optional) AWS Pre-requisites - IAM

• معرفی و تمرین عملی IAM IAM Introduction & Hands On

• نقش‌های سرویس IAM IAM Service Roles

(اختیاری) پیش‌نیازهای غیر AWS - مبانی SQL (Optional) Non AWS Pre-requisites - SQL Basics

• ۱. مقدمه SQL 1. SQL Introduction

• ۲. راه‌اندازی کلاینت و سرور SQL 2. SQL Client & Server Setup

• ۳. نظریه اشیاء پایگاه داده SQL 3. SQL Database Objects Theory

• ۴. تمرین عملی اشیاء پایگاه داده 4. Database Objects Hands On

• ۵. عملیات CRUD 5. CRUD Operations

• ۶. عملگرهای SELECT 6. SELECT Operators

• ۷. توابع CASE و COALESCE 7. CASE COALESCE Functions

• ۸. توابع DATE 8. DATE Functions

• ۹. CTAS, Cast, Concat 9. CTAS Cast Concat

• ۱۰. Update, Delete, Truncate 10. Update Delete Truncate

• ۱۱. عبارت HAVING 11. HAVING Clause

• ۱۲. Inner Join, Left Join, Right Join, Outer Join 12. Inner Join, Left Join, Right Join, Outer Join

• ۱۳. Union, Intersect, View 13. Union Intersect View

• ۱۴. Materialized View 14. Materialized View

• ۱۵. عبارت جدول مشترک (CTE) 15. Common Table Expression (CTE)

• ۱۶. توابع پنجره SQL 16. SQL Window Functions

• ۱۷. دستور MERGE و خلاصه 17. MERGE statement & Summary

(اختیاری) پیش‌نیازهای غیر AWS - مبانی پایتون (Optional) Non AWS Pre-requisites - Python Basics

• ۱. مقدمه پایتون - معماری، PyCharm، محیط مجازی 1. Python Intro - Architecture, PyCharm, Virtual Env

• ۲. معرفی PyCharm و خط فرمان 2. PyCharm & CLI Walkthrough

• ۳. کامپایل شده در مقابل تفسیر شده 3. Compiled vs Interpreted

• ۴. همه چیز در پایتون یک شیء است 4. Everything is Python is Object

• ۵. نوع داده رشته‌ای 5. String Data Type

• ۶. نوع داده عددی 6. Number Data Type

• ۷. نوع داده لیست 7. List Data Type

• ۸. نوع داده تاپل 8. Tuple Data Type

• ۹. انواع داده مجموعه و دیکشنری، تبدیل نوع 9. Set & Dict Data Type, Type Conversion

• ۱۰. عملگرهای پایتون 10. Python Operators

• ۱۱. راه‌اندازی مفسر پایتون در PyCharm 11. Set up Python interpreter in PyCharm

• ۱۲. توابع Print و Input 12. Print & Input Functions

• ۱۳. دستور IF 13. IF Statement

• ۱۴. حلقه‌های For و While 14. For & While loops

• ۱۵. مقدمه توابع 15. Functions Intro

• ۱۶. حوزه تابع (Function Scoping) 16. Function Scoping

• ۱۷. بازگشت تابع (RETURN) 17. Functions RETURN

• ۱۸. آرگومان‌های تابع 18. Function Arguments

• ۱۹. اصلاح آرگومان‌ها 19. Modify Arguments

• ۲۰. آرگومان‌های موقعیتی و کلیدواژه‌ای 20. Positional & Keyword Arguments

• ۲۱. args و kwargs 21. args & kwargs

• ۲۲. شیء کلاس، Self 22. Class Object Self

• ۲۳. متغیرهای شیء کلاس، __init__ 23. Class-Instance Variables, __init__

• ۲۴. تمرین عملی ۱ شیء کلاس 24. Class Object Exercise 1

• ۲۵. تمرین عملی ۲ شیء کلاس 25. Class Object Exercise 2

• ۲۶. وراثت 26. Inheritance

• ۲۷. مدیریت حافظه پایتون 27. Python Memory Management

• ۲۸. ماژول‌ها و پکیج‌ها 28. Modules & Packages

• ۲۹. تمرین عملی 29. HandsOn Exercise

• ۳۰. پیش‌کامپایل ماژول 30. Module Pre-compilation

• ۳۱. فضای نام (Namespace) و __name__ 31. Namespace & __name__

• ۳۲. مدیریت خطا در پایتون 32. Error Handling in Python

• ۳۳. مدیریت فایل 33. File Handling

• ۳۴. ماژول CSV و JSON 34. CSV & JSON module

• ۳۵. مفهوم چندنخی (Multi-threading) در پایتون 35. Python Multi-threading concept

• ۳۶. تمرین عملی و مثال چندنخی 36. Multi-threading hands-on and exercise

• ۳۷. اشکال‌زدایی و پروفایلینگ 37. Debugging & Profiling

مقدمه مهندسی داده Data Engineering Introduction

• ۱. مقدمه مهندسی داده، OLTP و OLAP 1. Data Engineering introduction, OLTP & OLAP

• ۲. Data Mart و Data Mesh 2. Data Mart & Data Mesh

• ۳. Data Lake، Data Lakehouse، DWH 3. Data Lake, Data Lakehouse, DWH

ذخیره‌سازی توزیع‌شده AWS - S3 (Simple Storage Service) برای مهندسان داده AWS Distributed Storage - S3 (Simple Storage Service) for Data Engineers

• ۱. مقدمه S3 ۱ 1. S3 Introduction 1

• ۲. مقدمه S3 ۲ 2. S3 Introduction 2

• ۳. مبانی S3 3. S3 Basics

• ۴. تمرین عملی مبانی S3 4. S3 Basics Hands-on

• ۵. نسخه‌بندی S3 5. S3 Versioning

• ۶. رمزنگاری S3 6. S3 Encryption

• ۷. کلاس‌های ذخیره‌سازی 7. Storage Class

• ۸. آپلود چندبخشی S3 8. S3 Multipart Upload

• ۹. خط‌مشی‌های چرخه حیات 9. Lifecycle Policies

• ۱۰. تکرار منطقه‌ای متقاطع 10. Cross Region Replication

• ۱۱. Mountpoint S3 11. S3 Mountpoint

• ۱۲. امنیت - خط‌مشی مبتنی بر هویت S3 12. Security - S3 Identity Based Policy

• ۱۳. امنیت - خط‌مشی سطل S3 13. Security - S3 Bucket Policy

• ۱۴. خط‌مشی سطل با VPC، آدرس IP، VPCE 14. Bucket Policy with VPC, IP address, VPCE

• ۱۵. نقطه دسترسی S3 15. S3 Access Point

• ۱۶. Lambda شیء S3 16. S3 Object Lambda

• ۱۷. URL از پیش امضا شده 17. Pre-signed URL

• ۱۸. ملاحظات عملکردی S3 18. S3 Performance Considerations

• ۱۹. قیمت‌گذاری S3 19. S3 Pricing

• ۲۰. الگوهای معماری با استفاده از S3 20. Architectural Patterns using S3

مدل‌سازی داده - نرمال‌سازی، نمودار ER، مدل‌سازی ابعادی، Data Modelling - Normalization, ER Diagram, Dimensional Modelling,

• ۱. مقدمه مدل‌سازی داده 1. Data Modelling Introduction

• ۲. فرم‌های نرمال ۱NF, ۲NF, ۳NF 2. Normal Forms 1NF 2NF 3NF

• ۳. روابط: یک به یک، یک به چند، چند به یک، چند به چند 3. Relations: one-to-one, one-to-many, many-to-one, many-to-many

• ۴. مدل‌سازی ابعادی - حقایق (Facts)، ابعاد (Dimensions) و دانه‌ها (Grains) 4. Dimensional modelling - Facts, Dimensions & Grains

• ۵. تمرین دانه‌ها (Grains) 5. Grains Exercise

• ۶. تکنیک مدل‌سازی ابعادی 6. Dimensional Modelling Technique

• ۷. انواع جداول Fact و Dimension 7. Types of Fact & Dimension Tables

انبار داده در AWS - زیرساخت Redshift Data Warehouse on AWS - Redshift Infra

• ۱. زیرساخت Redshift 1. Redshift Infra

• ۲. تمرین عملی زیرساخت Redshift 2. Redshift Infra HandsOn

• ۳. معماری Redshift - نقشه منطقه (Zone Map)، ذخیره‌سازی ستونی 3. Redshift Architecture - Zone Map, Columnar Storage

• ۴. تغییر اندازه کلاستر - الاستیک (Elastic) و کلاسیک (Classic) 4. Cluster Resize - Elastic & Classic

• ۵. تغییر اندازه کلاستر - تمرین عملی 5. Cluster Resize - HandsOn

• ۶. توقف و تغییر نام کلاستر 6. Cluster Pause & Rename

• ۷. اسنپ‌شات و پشتیبان‌گیری 7. Snapshot & Backup

• ۸. نتیجه‌گیری زیرساخت Redshift 8. Redsfhit Infra Conclusion

اشیاء Redshift Redshift Objects

• ۱. کوئری، اتصال، RSQL، QEV2 1. Querying, Connection, RSQL, QEV2

• ۲. راه‌اندازی Query Editor و RSQL 2. Query Editor & RSQL setup

• ۳. سلسله مراتب اشیاء، تمرین عملی جداول 3. Object Hierarcy, tables hands-on

• ۴. تمرین عملی انواع داده 4. Data Types Hands-on

• ۵. تمرین عملی عملیات جداول 5. Table operations Hands-on

• ۶. Redshift ACID، قفل‌ها، سطح جداسازی (Isolation Level) 6. Redshift ACID, Locks, Isolation Level

• ۷. اجرای تراکنش‌ها 7. Implement Transactions

• ۸. تمرین عملی AccessShareLock و ShareRowExclusiveLock 8. AccessShareLock & ShareRowExclusiveLock HandsOn

• ۹. نوع داده SUPER در Redshift 9. Redshift SUPER datatype

• ۱۰. خلاصه بخش 10. Section Summary

Deep Dive Redshift Redshift Deep Dive

• ۱. کلید توزیع و سبک آن (Distribution Key & Style)، کلید مرتب‌سازی (Sort Key) 1. Distribution Key & Style, Sort Key

• ۲. فشرده‌سازی ستون 2. Column Compression

• ۳. تمرین عملی تغییر Dist Sort Key و فشرده‌سازی 3. Modify Dist Sort Key, Compression HandsOn

• ۴. نظریه دستور COPY 4. COPY Command Theory

• ۵. تمرین عملی دستور COPY 5. COPY Command HandsOn

• ۶. دستور UNLOAD 6. UNLOAD Command

• ۷. AWS DMS - انتقال از OLTP به DWH 7. AWS DMS - Move from OLTP to DWH

• ۸. DMS - راه‌اندازی منبع OLTP و برنامه پایتون 8. DMS - Setup Source OLTP & Python application

• ۹. راه‌اندازی نمونه DMS، Endpoint، Task 9. Setup DMS Instance, Endpoint, Task

• ۱۰. Taskهای DMS - از OLTP به DWH 10. DMS Task - OLTP to DWH

• ۱۱. نگهداری جدول - VACUUM و ANALYZE 11. Table Maintenance - VACUUM & ANALYZE

• ۱۲. تمرین عملی Vacuum و Analyze 12. Vacuum & Analyze HandsOn

ویژگی‌های Redshift Redshift Features

• ۱. Materialized View (MV) 1. Materialized View (MV)

• ۲. تمرین عملی MV 2. MV HandsOn

• ۳. فدراسیون کوئری (Query Federation) 3. Query Federation

• ۴. Redshift Spectrum 4. Redshift Spectrum

• ۵. دریافت جریانی داده (Streaming Ingestion) 5. Streaming Ingestion

• ۶. موارد استفاده از ویژگی‌های Redshift 6. Redshift Feature Use Cases

تنظیم کوئری Redshift Redshift Query Tuning

• ۱. اجرای کوئری 1. Query Execution

• ۲. طرح EXPLAIN و اتصالات سیستمی (System Joins) 2. EXPLAIN Plan & System Joins

• ۳. تمرین عملی اتصالات سیستمی 3. System Joins HandsOn

• ۴. باز توزیع داده (Data RE-distribution) 4. Data RE-distribution

• ۵. تمرین عملی EXPLAIN و باز توزیع 5. EXPLAIN & RE-distribution HandsOn

• ۶. تمرین تنظیم کوئری - بخش ۱ 6. Query Tuning Exercise - Part 1

• ۷. تمرین تنظیم کوئری - بخش ۲ 7. Query Tuning Exercise - Part 2

• ۸. تمرین تنظیم کوئری - بخش ۳ 8. Query Tuning Exercise - Part 3

مدیریت بار کاری Redshift (WLM) Redshift Workload Management (WLM)

• ۱. مقدمه WLM و صف کوئری (Query Queue) 1. WLM Intro & Query Queue

• ۲. مقیاس‌پذیری همزمان (Concurrency Scaling)، شتاب کوئری کوتاه (Short Query Acceleration) 2. Concurrency Scaling, Short Query Acceleration

• ۳. تمرین عملی پیکربندی WLM 3. Configure WLM HandsOn

• ۴. تمرین عملی ایجاد صف کوئری 4. Create Query Queue HandsOn

• ۵. صف کوئری در عمل 5. Query Queue In Action

• ۶. مقیاس‌پذیری همزمان در عمل 6. Concurrency Scaling In Action

امنیت Redshift - RBAC، CLS، RLS، ماسک‌گذاری پویا داده (DDM) Redshift Security - RBAC, CLS, RLS, Dynamic Data Masking (DDM)

• ۱. کاربران، نقش‌ها، RBAC 1. Users, Roles, RBAC

• ۲. تمرین عملی کاربران، نقش‌ها، RBAC 2. Users, Roles, RBAC HandsOn

• ۳. امنیت سطح سطر و ستون (RLS & CLS) 3. Row & Column Level Security (RLS & CLS)

• ۴. تمرین عملی چندین خط‌مشی RLS 4. Multiple RLS Policies HandsOn

• ۵. تمرین عملی CLS 5. CLS HandsOn

• ۶. تمرین عملی ترکیب RLS و CLS 6. Combine RLS & CLS HandsOn

• ۷. ماسک‌گذاری پویا داده (DDM) 7. Dynamic Data Masking

• ۸. ردیابی کاربران، نقش‌ها، CLS و RLS 8. Track Users, Roles, CLS and RLS

• ۹. ثبت حسابرسی (Audit Logging) 9. Audit Logging

نظارت در Redshift Monitoring in Redshift

• ۱. نظارت بر Redshift با استفاده از کنسول 1. Monitor Redshift using Console

• ۲. نماهای سیستمی برای کوئری‌های نظارت، اشیاء Redshift، پارامترهای پیکربندی 2. System Views for Monitoring Queries, Redshift Objects, Configuration Parms

Redshift Serverless Redshift Serverless

• ۱. مقدمه Redshift Serverless 1. Introduction to Redshift Serverless

• ۲. ایجاد و حذف منابع Redshift Serverless 2. Create & Delete Redshift Serverless Resources

• ۳. COPY و UNLOAD در Serverless 3. COPY & UNLOAD in Serverless

• ۴. راه‌اندازی ادغام ZeroETL 4. ZeroETL Integration Setup

• ۵. ZeroETL در عمل 5. ZeroETL in Action

• ۶. شباهت‌های تنظیم کوئری 6. Query Tuning Similarities

• ۷. مهاجرت از Provisioned به Serverless 7. Migrate from Provisioned to Serverless

جزئیات قیمت‌گذاری Redshift Detailed Redshift Pricing

• ۱. اجزای قیمت‌گذاری Redshift 1. Redshift Pricing Components

• ۲. مثال قیمت‌گذاری - Provisioned، Serverless، مقیاس‌پذیری همزمان، Spectrum 2. Pricing Example - Provisioned, Serverless, Concurrency Scaling, Spectrum

• ۳. ماشین حساب قیمت‌گذاری AWS 3. AWS Pricing Calculator

اطلاعات اضافی Redshift Redshift Additional Information

• ۱. ادغام Redshift با سرویس‌های AWS 1. Redshift Integration with AWS Services

• ۲. مقایسه Redshift و Snowflake 2. Redshift & Snowflake Comparison

• ۳. بهترین شیوه‌ها در Redshift 3. Redshift Best Practices

• ۴. محدودیت‌ها و چالش‌های Redshift 4. Redshift Limitations and Challenges

مخزن فراداده AWS - Glue Data Catalog AWS Metadata Repository - Glue Data Catalog

• ۱. نظریه AWS Glue Catalog 1. AWS Glue Catalog - Theory

• ۲. تمرین عملی راه‌اندازی فروشگاه‌های داده و نقش‌های IAM در Glue Catalog 2. Glue Catalog - Setup Data Stores & IAM Roles HandsOn

• ۳. ذخیره فراداده Aurora در Glue Catalog 3. Store Aurora metadata in Glue Catalog

• ۴. ذخیره فراداده S3 و Redshift در Glue Catalog 4. Store S3 and Redshift metadata in Glue Catalog

حاکمیت داده با استفاده از AWS Lake Formation Data Governance using AWS Lake Formation

• مقدمه Lake Formation Lake Formation Introduction

• تمرین عملی جریان مجوز ۱ Permission Flow HandsOn 1

• تمرین عملی جریان مجوز ۲ Permission Flow HandsOn 2

• Lake Formation - کنترل دسترسی مبتنی بر برچسب (LF-TBAC) Lake Formation - Tag Based Access Control (LF-TBAC)

• تمرین عملی LF-TBAC LF-TBAC HandsOn

• LF - فیلتر کردن داده LF - Data Filtering

• پاکسازی LF (لطفا تکمیل کنید) LF Clean Up (Please complete this)

Data Lakehouse در AWS - Athena Data Lakehouse on AWS - Athena

• ۱. مقدمه Athena 1. Athena Introduction

• ۲. تمرین عملی مقدمه Athena 2. Athena Intro Hands On

• ۳. Athena SerDe، قالب فایل و سطر 3. Athena SerDe, File & Row format

• ۴. تمرین عملی SerDe، قالب، CTAS 4. SerDe, Format, CTAS Hands On

• ۵. UNLOAD، آماده‌سازی و اجرای کوئری JSON 5. UNLOAD, Prepare & Execute, Query JSON

• ۶. تمرین عملی UNLOAD، آماده‌سازی و اجرای کوئری JSON 6. UNLOAD, Prepare & Execute, Query JSON Hands On

• ۷. تکامل اسکما، JSON_EXTRACT 7. Schema Evolution, JSON_EXTRACT

• ۸. Iceberg، ACID 8. Iceberg, ACID

• ۹. پارتیشن‌بندی و Bucketing در Athena 9. Athena Partitioning & Bucketing

• ۱۰. دستورات بیشتر DDL 10. More DDL Commands

• ۱۱. نظریه WLM در Athena 11. Athena WLM Theory

• ۱۲. تمرین عملی Workgroup 12. Workgroup HandsOn

• ۱۳. تمرین عملی رزرو ظرفیت (Capacity Reservation) 13. Capacity Reservation HandsOn

• ۱۴. نظریه تنظیم عملکرد 14. Performance Tuning Theory

• ۱۵. قیمت‌گذاری و تنظیم عملکرد Athena 15. Athena Pricing & Performance Tuning

• ۱۶. الگوهای معماری با استفاده از Athena 16. Architectural Patterns using Athena

انبار داده کلان - Hive Big Data Warehouse - Hive

• ۱. نظریه Hadoop 1. Hadoop Theory

• ۲. قالب‌های فایل 2. File Formats

• ۳. معماری و اجزای Hive 3. Hive Architecture & Components

• ۴. Hive CLI 4. Hive CLI

• ۵. انواع داده، پایگاه‌های داده، جداول، قالب فایل و سطر، Hive SerDe 5. Data Types, databases, tables, File & Row Format, Hive SerDe

• ۶. تمرین عملی پایگاه‌های داده Hive 6. Hive Databases hands-on

• ۷. تمرین عملی جداول Hive 7. Hive Tables hands-on

• ۸. پارتیشن‌بندی و Bucketing 8. Partitioning & Bucketing

• ۹. تمرین عملی پارتیشن‌بندی و Bucketing 9. Partitioning & Bucketing hands-on

• ۱۰. بارگذاری، درج، ACID، Materialized Views و غیره 10. Load, insert, ACID, Materialized Views etc

• ۱۱. JOINها، قفل‌ها، پارامترهای پیکربندی 11. JOINs, Locks, Configuration Parameters

پروژه‌ها - Redshift، Athena، مدل‌سازی داده، پایتون (حجم کل مجموعه داده - ۱۵۰ گیگابایت) PROJECTS - Redshift, Athena, DataModelling, Python (Total Dataset size - 150 GB)

• پروژه ۱ و ۲ مدل‌سازی داده، کدنویسی پایتون و Redshift SQL (مجموعه داده - ۱۰.۴ گیگابایت) Project 1 & 2 Data Modelling, Python Coding & Redshift SQL (Dataset - 10.4 GB)

• پروژه ۳ و ۴ - مدیریت و انتقال از OLTP به OLAP (مجموعه داده - ۱.۳ گیگابایت) Project 3 & 4 - Administration & Move from OLTP to OLAP (Dataset - 1.3 GB)

• پروژه ۵ - تنظیم عملکرد Redshift (مجموعه داده - ۱۳۵ گیگابایت) Project 5 - Redshift Performance Tuning (Dataset - 135 GB)

ویژگی‌های جدید - Redshift، S3 و Athena New Features - Redshift, S3 & Athena

• ویژگی‌های جدید - مقدمه New Features - Introduction