آموزش مهندسی داده، ETL و BI بدون سرور در آمازون کلود

سرفصل ها و درس ها

درباره دوره و مقدمه About the Course & Introduction

• بررسی اجمالی دوره و پروژه Course & Project Overview

• سخنرانی 4 - بازخورد و اطلاعات بیشتر Lecture 4 - Feedback and Learn More

• اجزای صورت‌حساب AWS و اقدامات احتیاطی که باید انجام شود AWS Billing Components and Precautions to be taken

شروع کار با Redshift و Mysql RDS Getting Started with Redshift and Mysql RDS

• بررسی اجمالی Redshift Redshift Overview

• Redshift در مقابل BigQuery Redshift vs BigQuery

• Redshift - سازگاری داده ها Redshift - Data Consistency

• آزمایشگاه: نصب نمونه Mysql RDS در AWS Cloud Lab:Setup Mysql RDS Instance on AWS Cloud

• آزمایشگاه: واردات پایگاه داده Mysql RDS Lab: Mysql RDS Database Import

• با استفاده از DBeaver داده ها را در Mysql RDS بارگیری کنید Load Data into Mysql RDS using DBeaver

• آزمایشگاه: Redshift Cluster Setup Lab : Redshift Cluster Setup

• آزمایشگاه: Sql Client برای Redshift و RDS Mysql Lab : Sql Client for Redshift and RDS Mysql

ETL و همگام سازی داده های تراکنش با Redshift DWH ETL and Syncing Transactional Data with Redshift DWH

• مقدمه - جریان داده ها Introduction - Flow of Data

• درک اجزای مختلف و نقش آنها Understanding the different Components and their Roles

• طراحی انبار داده شما - مفاهیم اساسی Designing your Data Warehouse - Basic Concepts

• آزمایشگاه - AWS DataPipeline - شروع به کار با اولین کار واردات Lab - AWS DataPipeline - Getting Started with the first import Job

• آزمایشگاه: یک بار داده های تاریخی را با استفاده از دستور کپی در جداول Redshift بارگذاری کنید Lab : One-time Load Historical Data into Redshift Tables using Copy Command

• چسب AWS - نمای کلی و مرور AWS Glue - Overview and Walkthrough

• آزمایشگاه - AWS DataPipeline - راه اندازی اولین مشاغل ساعتی ما برای بارگذاری داده های افزایشی Lab - AWS DataPipeline - Setup our first Hourly Jobs for Incremental Data Loads

• Lab - AWS Glue - First Python Shell Job برای بارگذاری افزایشی داده در Redshift Lab - AWS Glue - First Python Shell Job for incremental Data loads into Redshift

• آزمایشگاه - عملکرد AWS Lambda برای فعال کردن کار چسب ما Lab - AWS Lambda Function to Trigger our Glue Job

• آزمایشگاه - AWS DataPipeline - دومین کار واردات Lab - AWS DataPipeline - Second import Job

• آزمایشگاه: یک بار داده های تاریخی را با استفاده از دستور کپی در جداول Redshift بارگذاری کنید Lab : One-time Load Historical Data into Redshift Tables using Copy Command

• Lab - AWS Glue - Python Shell Job برای بارگذاری تدریجی داده در Redshift Lab - AWS Glue - Python Shell Job for incremental Data loads into Redshift

• AWS Glue Python - ظرفیت AWS Glue Python - Capacity

• مهم - رویکرد همگام سازی داده ها و تصویر بزرگتر Important - Data Syncing Approach and the Bigger picture

• Redshift - Cluster Snapshot و بازیابی Redshift - Cluster Snapshot and restoring

• سایر جداول Mysql را همگام کنید Sync the Other Mysql Tables

دریاچه های داده و مدیریت منابع داده های خارجی Data Lakes & Handling External Data Sources

• بخش بررسی اجمالی و مقدمه Section Overview and Introduction

• آزمایشگاه - راه اندازی خزنده چسب AWS Lab - AWS Glue Crawler Setup

• آزمایشگاه - آتنا - توضیح اسکن داده ها و جدول Lab - Athena - Data and Table Scan Explanation

• آزمایشگاه - Pyspark توسعه محلی Lab - Pyspark Development Local

• آزمایشگاه - پورت محلی Pyspark اسکریپت به چسب AWS Lab - Port Local Pyspark Script to AWS Glue

• آزمایشگاه - AWS Glue Pyspark - قالب فایل پارکت و فشرده‌سازی سریع Lab - AWS Glue Pyspark - Parquet File Format & Snappy Compression

• آزمایشگاه - AWS Lambda برای فعال کردن کار چسب Lab - AWS Lambda to Trigger Glue Jobs

• Lab - Glue Crawler Run - پر کردن پارتیشن ها در کاتالوگ داده Lab - Glue Crawler Run - Populate Partitions in Data Catalog

طیف انتقال به قرمز Redshift Spectrum

• مقدمه ای بر Redshift Spectrum Introduction to Redshift Spectrum

• آزمایشگاه - Redshift Spectrum | طرحواره خارجی ایجاد کنید Lab - Redshift Spectrum | Create External Schema

• آزمایشگاه - Redshift Spectrum | پیوستن به پایگاه داده متقابل Lab - Redshift Spectrum | Cross Database Joins

Quicksight - BI/گزارش و تجسم Quicksight - BI / Reporting and Visualization

• Quicksight - مقدمه Quicksight - Introduction

• آزمایشگاه - اتصال با Redshift و ایجاد داشبورد/تحلیل Lab - Connecting with Redshift and Create Dashboards/Analyses

• آزمایشگاه - پرس و جوهای سفارشی Sql را برای تجزیه و تحلیل QuickSight و داشبورد اجرا کنید Lab - Run Custom Sql Queries for QuickSight Analyses and Dashboards

Redshift - تکنیک های بهینه سازی و تنظیم دقیق Redshift - Optimization Techniques and Fine tuning

• Redshift - کلیدهای مرتب سازی و کلیدهای مرتب سازی مرکب Redshift - Sort Keys and Compound Sort Keys

• Redshift - کلیدهای مرتب سازی میان ورقه ای Redshift - Interleaved Sort Keys

• Redshift - عملیات خلاء Redshift - Vacuum Operations

• Redshift - انتخاب کلیدها Redshift - Choosing Keys

• Redshift - کلیدهای توزیع Redshift - Distribution Keys

• آزمایشگاه - گروه پارامتر | تغییر خوشه قرمز Lab - Parameter Group | Redshift Cluster Modification

• آزمایشگاه - کلیدهای مرتب سازی و فاصله و جاروبرقی | تغییر دستورات جدول Lab - Sort and Dist Keys & Vacuuming | Alter Table Commands

امتیاز - با چسب AWS کارهای بیشتری انجام دهید Bonus - Do more with AWS Glue

• آزمایشگاه - AWS Glue Pyspark - داده های خارجی را در Redshift وارد کنید Lab - AWS Glue Pyspark - Insert External Data into Redshift

• آزمایشگاه - چسب AWS - Pyspark - مستقیماً به RDS متصل شوید Lab - AWS Glue - Pyspark - Connect to RDS directly

بخش جدید - کار با Dockers و AWS ECR New Section - Working with Dockers and AWS ECR

• داکرها چیست؟ What are Dockers ?

• Docker Engine را نصب کنید Install Docker Engine

• مراحل ایجاد تصویر داکر Steps to Create Docker Image

• آزمایشگاه - ساخت و اجرای Docker Image Lab - Build and Run Docker Image

• استقرار Docker Image در AWS Cloud Deploy Docker Image on AWS Cloud

• نهایی - مجوزهای Lambda IAM Final - Lambda IAM Permissions