آموزش چسب AWS - Masterclass کامل

سرفصل ها و درس ها

معرفی Introduction

• معرفی Introduction

• بررسی اجمالی دوره Course Overview

• بررسی اجمالی منابع خط لوله چسب (بخش 2،3 و 5). Glue Pipeline Resources (Section 2,3 and 5) Overview

راه اندازی منابع چسب قسمت 1 - IAM، KMS، SNS Glue Resources Setup Part 1 - IAM, KMS, SNS

• نمای کلی بخش Section Overview

• IAM 101 - احراز هویت، مجوز و هویت IAM 101 - Authentication, Authorization and Identities

• IAM Lab - راه اندازی کاربران و گروه کاربر IAM Lab - Setting Up Users and User Group

• IAM Lab - راه اندازی نقش IAM IAM Lab - Setting Up IAM Role

• I AM 101 - سیاست ها I AM 101 - Policies

• KMS 101 و KMS Lab - راه اندازی کلید KMS KMS 101 And KMS Lab - Setting Up KMS Key

• AWS SNS 101 AWS SNS 101

• خلاصه Recap

• GlueJobRole را ایجاد کنید Create GlueJobRole

راه‌اندازی منابع چسب قسمت 2 - S3، AWS CLI، CloudFormation و CloudWatch Glue Resources Setup Part 2 - S3, AWS CLI , CloudFormation and CloudWatch

• نمای کلی بخش Section Overview

• AWS S3 101 AWS S3 101

• AWS CLI 101 AWS CLI 101

• پیکربندی AWS CLI با استفاده از اعتبار کاربری IAM Configuring AWS CLI using IAM User Credentials

• AWS Cloudformation 101 AWS Cloudformation 101

• ایجاد سطل S3 - awsglueudemycourse-datasoup-gluejob2-source Create S3 Bucket - awsglueudemycourse-datasoup-gluejob2-source

• تکلیف اختیاری - ایجاد سطل S3 برای هدف GlueJob1 - Optional Assignment - Create S3 Bucket for GlueJob1 target -

ایجاد سطل و آپلود داده برای دوره Creating Bucket And Uploading Data For the Course

• نمای کلی بخش Section Overview

• مواد درسی Course Materials

• ایجاد سطل های S3 Creating S3 Buckets

• آپلود داده ها در S3 Buckets Uploading Data to S3 Buckets

• فایل city_temperature.csv را در سطل آپلود کنید Upload city_temperature.csv file to bucket

راه اندازی منابع چسب قسمت 3 - کاتالوگ چسب، خزنده Glue Resources SetUp Part 3 - Glue Catalog, Crawler

• نمای کلی بخش Section Overview

• کاتالوگ چسب AWS 101 AWS Glue Catalog 101

• AWS Glue Crawler 101 AWS Glue Crawler 101

• AWS Glue Crawler Classifier 101 AWS Glue Crawler Classifier 101

• Crawler Lab - First Glue Crawler Creation Crawler Lab - First Glue Crawler Creation

• اولین خزنده چسب در حال اجرا First Glue Crawler Running

• آزمایشگاه خزنده - ساخت خزنده چسب دوم Crawler Lab - Second Glue Crawelr Creation

• آزمایشگاه خزنده - ساخت خزنده چسب سوم Crawler Lab - Third Glue Crawelr Creation

• Crawler Lab - Forth Glue Crawler Creation Crawler Lab - Forth Glue Crawler Creation

• آزمایشگاه خزنده - ساخت و اجرای خزنده چسب پنجم Crawler Lab - Fifth Glue Crawler Creation And Running

• AWS Glue Job 101 AWS Glue Job 101

• AWS Glue Trigger 101 AWS Glue Trigger 101

• AWS Glue Workflow 101 AWS Glue Workflow 101

• خلاصه Recap

قالب های CloudFormation CloudFormation Templates

• نمای کلی بخش Section Overview

• الگوهای CloudFormation 101 CloudFormation Templates 101

• اولین خط لوله چسب - الگوهای CFN First Glue Pipeline - CFN Templates

• دومین خط لوله چسب - الگوهای CFN Second Glue Pipeline - CFN Templates

• Glue Job 345 - قالب CFN Glue Job 345 - CFN Template

• خلاصه به روز رسانی الگوی CFN Recap CFN Template Update

• قالب های CFN را در S3 آپلود کنید Upload CFN Templates to S3

اولین ایجاد خط لوله چسب AWS First AWS Glue Pipeline Creation

• نمای کلی بخش Section Overview

• آماده شدن برای ایجاد خط لوله چسب Getting Ready For Glue Pipeline Creation

• استقرار پشته خط لوله چسب با استفاده از CloudFormation Deploying Glue Pipeline Stack Using CloudFormation

• اشکال زدایی استقرار الگوی CloudFormation CloudFormation Template Deployment Debugging

• تجزیه و تحلیل اسکریپت کار چسب و اجرای کار Analyzing Glue Job Script And Running The Job

• مرور گزارش و تأیید خروجی کار Going Through The Log And Verifying Job Output

AWS Glue Job Debugging AWS Glue Job Debugging

• نمای کلی بخش Section Overview

• پیش نیاز بخش Section Prerequisite

• رفع خطای بازیابی اسکریپت Fix Error Retrieving The Script

• رفع خطای راه اندازی و خطای استدلال چسب Fix Launch Error And Glue Argument Error

• رفع خطای Resource Policy - Error Reading From Source Bucket Fix Resource Policy Error - Error Reading From Source Bucket

• رفع خطای خط مشی هویت - خطا در خواندن کلید Fix Identity Policy Error - Error Reading The Key

• Workflow Running GlueJob2 Workflow Running GlueJob2

• خلاصه Recap

کار جریان چسب Glue Streaming Job

• نمای کلی بخش Section Oveerview

• آماده شدن برای خط لوله جریان چسب Getting Ready For Glue Streaming Pipeline

• استقرار زیرساخت کار جریان چسب Deploying Glue Streaming Job Infrastructure

• آزمایشگاه - ایجاد کار چسب پوسته پایتون برای تولید جریان Lab - Creating Python Shell Glue Job For Stream Generation

• آزمایشگاه - ایجاد کار بارگیری جریان چسب Lab - Creating Glue Streaming Loading Job

• Lab- Creating Glue Streaming Job Transforming Lab- Creating Glue Streaming Transforming Job

• قبل از اجرای هر سه کار استریم چسب، جمع بندی کنید Recap Before Running All Three Glue Streaming Jobs

• کار مولد جریان چسب در حال اجرا Running Glue Streaming Generator Job

• کار تبدیل چسب جاری Running Glue Streaming Transformation Job

• خلاصه بخش Section Recap

کیفیت داده های چسب Glue Data Quality

• نمای کلی بخش Section Overview

• کیفیت داده 101 Data Quality 101

• تنظیم مجموعه قوانین کیفیت داده Setting Up Data Quality Rule Set

• کار چسب با بررسی کیفیت داده ها Glue Job With Data Quality Check

• اجرای کار چسب Running the Glue Job

• تنظیم معیارهای سنجش کیفیت داده چسب CloudWatch Setting Up Glue Data Quality CloudWatch Metrics

• دریافت هشدار برای مشکلات کیفیت داده Receiving Alerts for Data Quality Issues

چسب داده دم Glue Data Brew

• نمای کلی بخش Section Overview

• Data Brew 101 Data Brew 101

• داده های منبع داده و پروفایل ایجاد کنید Create DataSource and Profile Data

• ایجاد پروژه و بررسی خروجی نمایه داده ها Create Project and Review Data Profile Output

• ایجاد و انتشار دستور العمل Create and Publish Recipe

• ایجاد شغل با استفاده از دستور العمل منتشر شده Create Job by Using Published Recipe