آموزش مهندسی داده بدون سرور (Serverless) - AWS Glue, Kinesis, Lambda - آخرین آپدیت

سرفصل ها و درس ها

مقدمه‌ای بر پردازش داده‌های بدون سرور در AWS Introduction to Serverless Data Processing on AWS

• چرخه حیات داده و مهندسی داده Data Lifecycle & Data Engineering

• نقشه تکنولوژی‌های مهندسی داده Data Engineering Technology Mapping

• سرویس‌های Serverless در AWS برای مهندسی داده AWS Serverless Offerings for Data Engineering

• مزایای Serverless و معرفی دوره Serverless benefits & About the Course

دوره فشرده اسپارک (Spark) Spark Crash Course

• محاسبات و ذخیره‌سازی توزیع شده، Big Data و MapReduce Distributed Compute & Storage, Big Data, MapReduce

• اکوسیستم داده‌های بزرگ (Big Data) Big Data Ecosystem

• فرمت‌های فایل Parquet و Avro File Format - Parquet & Avro

• مقدمه‌ای بر Spark، پردازش دسته‌ای و جریانی Intro to Spark, Batch & Stream Processing

• اکوسیستم، توسعه، معماری و اجرای اسپارک Spark Ecosystem, Development, Architecture & Execution

• نصب Spark Spark Installation

• راه‌اندازی کلاستر Standalone اسپارک روی لپ‌تاپ Spark Standalone Cluster in Laptop

• اجرای Spark روی AWS EMR Spark on AWS EMR

• مودهای استقرار اپلیکیشن اسپارک (deploy mode=cluster | client) Spark Application Deployment Modes (--deploy-mode=cluster | client)

• مفاهیم DataFrame، DAG و ماژول PySpark DataFrame, DAG, PySpark Module

• SparkSession چیست؟ What is SparkSession

• خواننده و نویسنده DataFrame (Reader & Writer) DataFrame Reader & Writer

• مفاهیم DataFrames، پارتیشن‌ها و تسک‌ها DataFrames, Partitions & Tasks

• تبدیل‌ها: Select, Distinct, Where, Filter Transformations - Select, Distinct, Where, Filter

• تمرین عملی: اکشن‌های اسپارک (Spark Actions) HANDS-ON : Spark Actions

• بررسی رابط کاربری Spark UI Explore Spark UI

• تبدیل‌ها: agg(), alias(), groupby() Transformation - agg(), alias(), groupby()

• تبدیل‌ها: orderBy(), selectExpr() Transformation - orderBy(), selectExpr()

• فرآیند Shuffle در groupBy Shuffle Process in groupBy

• پارتیشن‌های ورودی (Input Partitions) Input Partitions

• پارتیشن‌های خروجی (Output Partitions) Output Partitions

• بررسی عمیق‌تر Spark UI Exploring Spark UI Further

• خواندن خروجی Spark EXPLAIN Plan Read Spark EXPLAIN Plan Output

• توابع تاریخ (DATE Functions) در اسپارک Spark DATE Functions

• آماده‌سازی EMR برای اجرای اپلیکیشن‌های اسپارک Prepare EMR to execute Spark Applications

• ارسال کد اسپارک به EMR از طریق لپ‌تاپ Submit Spark code to EMR from Laptop

ETL دسته‌ای بدون سرور با AWS Glue (Glue API و PySpark) Serverless Batch ETL - AWS Glue (Glue API & PySpark)

• مقدمه‌ای بر AWS Glue Introduction to AWS Glue

• کاتالوگ داده (Data Catalog) و Glue Crawler Data Catalog & Glue Crawler

• تمرین عملی: استفاده از Glue Crawler برای خواندن فایل‌های S3 و ذخیره متادیتا HANDS-ON : Use Glue Crawler to read S3 files and Store Metadata in Data Catalog

• تمرین عملی: اتصال Glue به سایر منابع داده توسط Crawler HANDS-ON : Glue Connections for Other Data Sources by Crawler

• پیکربندی Jobهای ETL بدون سرور در Glue Glue Serverless ETL Job Configuration

• ETL بصری بخش اول (تبدیل بدون کد): پیکربندی منابع داده S3 Visual ETL Part 1 (No Code Transformation) - Configure S3 Data Sources

• ETL بصری بخش دوم (تبدیل بدون کد): افزودن تبدیل‌های اسپارک Visual ETL Part 2 (No Code Transformation) - Add Spark Transformations

• ETL بصری بخش سوم (تبدیل بدون کد): خروجی تبدیل‌ها Visual ETL Part 3 (No Code Transformation) - Transformation Output

• تمرین عملی: اجرای کد PySpark در AWS Glue HANDS-ON - Execute PySpark Code in AWS Glue

• مقدمه‌ای بر Glue API Glue API Introduction

• تمرین عملی: Glue API - بارگذاری جدول MySQL از فایل‌های S3 HANDS-ON : Glue API - Load MySQL Table from S3 Files

• عملیات دیتابیس و DWH با PySpark در Glue PySpark Database & DWH Operations from Glue

• تمرین عملی: انتقال S3 به MySQL با استفاده از PySpark در Glue HANDS-ON : S3 to MySQL using PySpark on Glue

• پیش‌نیازهای VPC برای عملیات Redshift VPC Pre-requisite for Redshift Operations

• تمرین عملی: اتصال Glue و Crawler برای Redshift HANDS-ON : Glue Connection & Crawler for Redshift

• تمرین عملی: ETL با Glue API - انتقال MySQL OLTP به Redshift OLAP HANDS-ON : ETL using Glue API - MySQL OLTP to Redshift OLAP

• ETL با PySpark در Glue - انتقال MySQL به Redshift ETL using PySpark on Glue - MySQL to Redshift

• تمرین عملی: ETL با PySpark - انتقال MySQL OLTP به Redshift OLAP HANDS-ON : ETL using PySpark - MySQL OLTP to Redshift OLAP

• تمرین عملی: انتقال PySpark به Redshift بدون استفاده از Glue API HANDS-ON : PySpark to Redshift WITHOUT Glue API

• مدیریت گردش کار (Glue Workflow) - ارکستراسیون Jobهای ETL Glue Workflow - ETL Job Orchestration

ورود داده‌های جریانی با AWS Kinesis Data Streams Streaming Data Ingestion - AWS Kinesis Data Streams

• مقدمه‌ای بر Kinesis Data Streams (KDS) Introduction to Kinesis Data Streams (KDS)

• اجزاء و ظرفیت‌های Kinesis Streams (KDS) Kinesis Streams (KDS) - Components & Capacity

• تمرین عملی: ایجاد KDS HANDS-ON : Create KDS

• تمرین عملی: پیکربندی مودهای ظرفیت و Warm Throughput HANDS-ON : Configuration - Capacity Modes, Warm Throughtput

• ارسال داده به KDS: متدهای put_record و put_records Send Data to KDS - put_record & put_records

• تمرین عملی: راه‌اندازی محیط Python Boto3 HANDS-ON : Set up Python Boto3 Environment

• تمرین عملی: ارسال داده به KDS HANDS-ON : Send Data to KDS

• کتابخانه تولیدکننده کینسیس (KPL) Kinesis Producer Library (KPL)

• مدیریت شاردها در کینسیس (Resharding) Kinesis Shard Management - Resharding

• مصرف‌کنندگان استریم، Enhanced Fan out، شارد ایتریتور و پیاده‌سازی با Python SDK Stream Consumers, Enhanced Fan-out, Shard Iterator, Python SDK Implementation

• تمرین عملی: خواندن رکوردها از KDS با Python SDK و Multi-threading HANDS-ON : Read Records from KDS using Python SDK & Multi-threading

• کتابخانه کلاینت کینسیس (KCL)، Agent و متریک‌های CloudWatch Kinesis Client Library (KCL), Agent, CloudWatch Metrics

ذخیره‌سازی داده‌های جریانی با Kinesis (Amazon) Data Firehose Streaming Data Storage - Kinesis (Amazon) Data Firehose

• Kinesis Data Firehose و بافر داده‌ها Kinesis (Amazon) Data Firehose, Data Buffer

• پردازش در Data Firehose با استفاده از Lambda Processing at Data Firehose using Lambda

• مقصد جدول Iceberg Iceberg Table Destination

• تمرین عملی: ارسال داده از KDS به Data Firehose HANDS-ON : Send Data from KDS to Data Firehose

• تمرین عملی: استفاده از Python SDK برای نوشتن رکوردها در Data Firehose HANDS-ON : Python SDK to Write Records in (Kinesis) Data Firehose

دوره فشرده Spark Streaming Spark Streaming Crash Course

• مقدمه‌ای بر Spark Streaming، تریگرها و مودهای خروجی Spark Streaming Intro, Trigger, Output Mode

• تمرین عملی: PySpark Streaming با استفاده از Console Sink HANDS-ON : PySpark Streaming using Console Sink

• زمان رویداد (Event Time) و پنجره‌های Tumbling Event Time - Tumbling Window

• تمرین عملی: زمان رویداد و پنجره Tumbling HANDS-ON : Event Time - Tumbling Window

• تمرین عملی: زمان رویداد و پنجره لغزنده (Sliding Window) HANDS-ON : Event Time - Sliding Window

پردازش جریانی بدون سرور با AWS Glue و Kinesis Serverlss Stream Processing - AWS Glue & Kinesis

• پردازش جریانی در AWS Glue Stream Processing on AWS Glue

• دفترچه Jupyter در Glue Streaming - معماری عملی Glue Streaming Jupyter Notebook - Hands On Architecture

• تمرین عملی: آماده‌سازی محیط دفترچه Glue HANDS-ON : Prepare Glue Notebook Environment

• تمرین عملی: انتقال Kinesis به S3 با استفاده از دفترچه Glue HANDS-ON : Kinesis to S3 using Glue Notebook

• تمرین عملی: پیاده‌سازی Tumbling Window در دفترچه Glue HANDS-ON - Stream Tumbling Window on Glue Notebook

• تمرین عملی: پردازش جریانی با Sliding Window در دفترچه Glue HANDS-ON : Stream Processing SLIDING Window on Glue Notebook

• تمرین عملی: پردازش جریانی با Tumbling Window با استفاده از Glue ETL HANDS-ON : Stream Processing Tumbling Window using Glue ETL

پردازش دسته‌ای بدون سرور با AWS Lambda Serverless Batch Processing - AWS Lambda

• مقدمه‌ای بر محاسبات بدون سرور و موارد استفاده از AWS Lambda Intro to Serverless Compute & AWS Lambda Use Cases

• تابع Lambda و اجزای آن Lambda Function & its Components

• تمرین عملی: پیکربندی تابع Lambda و اجزای آن HANDS-ON : Configure Lambda Function & its Components

• مدل اجرای کد در Lambda Lambda Code Execution Model

• تمرین عملی: نوشتن کد پایتون در کنسول Lambda و داده‌های 'Event' HANDS-ON : Write Python Code from Lambda Console, 'Event' data

• تمرین عملی: تریگر S3 > خواندن فایل > کپی در tmp > چاپ داده‌ها HANDS-ON : S3 Trigger -> Read File -> Copy to /tmp -> Print data

• تمرین عملی: تریگر S3 > خواندن فایل > پردازش > نوشتن در پوشه S3 HANDS-ON : S3 Trigger -> Read File -> Process -> Write to S3 Folder

• تمرین عملی: ایجاد بسته Deployment به صورت ZIP برای کد پایتون HANDS-ON : Create ZIP Deployment Package for Python Code

• تمرین عملی: استقرار پکیج‌ها و ماژول‌های اضافی پایتون با ZIP در Lambda HANDS-ON : Deploy Additional Python Packages & Modules using ZIP in Lambda

• تمرین عملی: تریگر S3 به دیتابیس و اجرای همزمان (Concurrent) لایمدا HANDS-ON : S3 Trigger to Database & Concurrent Lambda Execution

• معماری‌های مبتنی بر Lambda Architecture using Lambda

پردازش جریانی بدون سرور با AWS Lambda و Kinesis Serverless Stream Processing - AWS Lambda & Kinesis

• استریم با Lambda، نگاشت منبع رویداد و فیلترینگ رویدادها Streaming with Lambda, Event Source Mapping, Event Filtering

• الگوی پردازش رکورد و متغیرهای پیکربندی استریم Record Processing Template & Stream Configuration Variables

• تمرین عملی: راه‌اندازی یکپارچگی Lambda و Kinesis HANDS-ON : Set Up Lambda & Kinesis Integration

• تمرین عملی: مدیریت داده‌های استریم و پیکربندی Lambda برای Kinesis HANDS-ON : Handling Stream Data, Lambda Configuration for Kinesis

• تمرین عملی: کدنویسی در Lambda، مانیتورینگ اجرا و بررسی لاگ‌ها HANDS-ON : CODING in Lambda, Monitor Execution, Check Log Output

• تمرین عملی: کدنویسی Lambda برای خواندن از Kinesis و نوشتن در S3 HANDS-ON : Lambda Coding to Read from Kinesis and Write to S3

الگوهای معماری بدون سرور Serverless Architectural Patterns

• الگوی اول: معماری Lambda Pattern 1 - Lambda Architecture

• الگوی دوم: معماری Kappa Pattern 2 - Kappa Architecture

• الگوی سوم: معماری Medallion Pattern 3 - Medallion Architecture

• الگوی چهارم: تحلیل داده برای اپلیکیشن‌های IoT Pattern 4 - Analytics for IoT Applications

• الگوی پنجم: تحلیل اپلیکیشن‌های وب Pattern 5 - Web Application Analytics

• الگوی ششم: استخراج، بارگذاری و تبدیل (ELT) Pattern 6 - Extract, Load & Transform (ELT)