AWS Glue: راهنمای جامع آموزش و شروع برای مبتدیان - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• پیام خوش‌آمدگویی Welcome Note

• AWS Glue - ۱۰۱ AWS Glue - 101

• [اختیاری] ETL چیست؟ [Optional] What is ETL?

• مرور کلی دوره Course Overview

اجزای اصلی Core Components

• اجزای اصلی: مرور کلی Core Components : Overview

• کاتالوگ داده AWS Glue AWS Glue Data Catalog

• کاتالوگ داده: پایگاه داده Data Catalog: Database

• کاتالوگ داده: جداول Data Catalog: Tables

• کراولر Crawler

• AWS Glue Job AWS Glue Job

• اجزای اصلی Core Components

شروع به کار Getting Started

• شروع به کار: مرور کلی Getting Started: Overview

• [اختیاری] راه‌اندازی حساب AWS [Optional] Setting Up AWS Account

• راه‌اندازی کاربر و نقش IAM Setting Up IAM User and Role

• راه‌اندازی داده منبع Setting Up Source Data

• ایجاد ETL Job در AWS Glue Creating ETL Job in AWS Glue

• اجرا و اعتبارسنجی ETL Job Running and Validating ETL Job

• شروع به کار Getting Started

• شروع به کار: نکات تکمیلی Getting Started: Additional Notes

کشف داده Data Discovery

• کاتالوگ داده و آماده‌سازی: مرور کلی Data Catalog and Preparation: Overview

• کراولر: ذخیره‌سازهای داده پشتیبانی شده Crawler: Supported Data Stores

• اتصال Glue Glue Connection

• دمو: اتصال AWS Glue Demo: AWS Glue Connection

• اتصال AWS Glue: نکات AWS Glue Connection: Notes

• کراولر: دسته‌بندی‌کننده‌های داخلی Crawler: Built-In Classifiers

• کراولر: دسته‌بندی‌کننده‌های سفارشی Crawler: Custom Classifiers

• دمو: ایجاد دسته‌بندی‌کننده‌های سفارشی Demo: Creating Custom Classifiers

• پارتیشن‌های جدول: مرور کلی Table Partitions: Overview

• دمو: پارتیشن‌های جدول Demo: Table Partitions

• شاخص پارتیشن‌های جدول: مرور کلی Table Partitions Index: Overview

• دمو: شاخص پارتیشن جدول Demo: Table Partition Index

• آمار ستون: مرور کلی Column Statistics: Overview

• دمو: آمار ستون Demo: Column Statistics

• کشف داده Data Discovery

• کشف داده: نکات و منابع Data Discovery : Notes & References

ساخت ETL Jobها با Visual ETL Building ETL Jobs with Visual ETL

• ساخت ETL Jobها: مرور کلی Building ETL Jobs: Overview

• Visual ETL: مرور کلی Visual ETL: Overview

• Visual ETL: ویژگی‌ها Visual ETL: Features

• [اختیاری] Apache Spark ۱۰۱ [Optional] Apache Spark 101

• تبدیل‌های داخلی و سفارشی: نکته سریع Built In and Custom Transforms: Quick Note

• تبدیل‌های داخلی Built-in Transforms

• تبدیل‌های داخلی - نکات Build-In Transforms - Notes

• دمو: تبدیل سفارشی Demo: Custom Transform

• Visual ETL Visual ETL

• Visual ETL: نکات و منابع Visual ETL: Notes and References

ساخت ETL Jobها با ویرایشگر اسکریپت Building ETL Jobs with Script Editor

• ویرایشگر اسکریپت AWS Glue AWS Glue Script Editor

• Apache Spark API: مرور کلی Apache Spark API : Overview

• افزونه‌های AWS Glue: مرور کلی AWS Glue Extensions : Overview

• دمو: ساخت ETL با ویرایشگر اسکریپت - Spark Demo: Build ETL with Script Editor - Spark

• ویرایشگر اسکریپت Script Editor

• ویرایشگر اسکریپت: نکات و منابع Script Editor : Notes & References

ساخت ETL Jobها با Python Shell Build ETL Jobs with Python Shell

• Python Shell Job در AWS Glue Python Shell Job in AWS Glue

• [اختیاری] Pandas - ۱۰۱ [Optional] Pandas - 101

• [اختیاری] AWS SDK برای Python|Boto3 - ۱۰۱ [Optional] AWS SDK for Python|Boto3 - 101

• دمو: ساخت ETL Job برای Python Shell Demo : Building ETL Job for Python Shell

• Python Shell Python Shell

• Python Shell: نکات و منابع Python Shell : Notes and References

ساخت ETL Jobها با جلسات تعاملی Build ETL Jobs with Interactive Sessions

• جلسات تعاملی: مرور کلی بخش Interactive Sessions: Section Overview

• [اختیاری] Jupyter Notebooks - ۱۰۱ [optional] Jupyter Notebooks - 101

• مرور کلی جلسات تعاملی Interactive Sessions Overview

• دمو: ساخت ETL Jobها با Notebook Demo: Building ETL Jobs with Notebook

• دمو: ساخت Jobها با Jupyter Notebook Demo: Building Jobs with Jupyter Notebook

• دستورات Magic Magic Commands

• جلسات تعاملی AWS Glue AWS Glue Interactive Sessions

• جلسات تعاملی: نکات و منابع Interactive Sessions : Notes & References

AWS Glue Streaming AWS Glue Streaming

• مرور کلی استریمینگ AWS Glue AWS Glue Streaming Overview

• دمو: استریمینگ AWS Glue - بخش ۱ Demo: AWS Glue Streaming - Part 1

• دمو: استریمینگ AWS Glue - بخش ۲ Demo: AWS Glue Streaming - Part 2

• استریمینگ AWS Glue AWS Glue Streaming

• استریمینگ AWS Glue: نکات تکمیلی AWS Glue Streaming: Additional Notes

ساخت ETL Jobها با استفاده از Ray Building ETL Jobs using Ray

• Ray چیست: یک مرور کلی What is Ray : An Overview

• فعال‌سازی Ray با AWS Glue Enabling Ray with AWS Glue

• دمو: Ray Job نمونه با استفاده از ویرایشگر اسکریپت Demo: Sample Ray Job using Script Editor

• دمو: Ray Job نمونه با استفاده از Glue Studio Notebooks Demo: Sample Ray Job using Glue Studio Notebooks

• Ray و Glue Ray and Glue

• ETL Jobها با Ray: نکات و منابع ETL Jobs with Ray: Notes and References

پیکربندی Job Job Configuration

• پیکربندی: مرور کلی Configuration : Overview

• نسخه‌های Glue Glue Versions

• نسخه‌های Glue: نکات تکمیلی Glue Versions: Additional Notes

• پیکربندی ویژگی‌ها برای Spark Jobها Configuring Properties for Spark Jobs

• پیکربندی ویژگی‌ها برای Python Shell Jobها Configuring Properties for Python Shell Jobs

• پیکربندی ویژگی‌ها برای Ray Jobها Configuring Properties for Ray Jobs

• AWS CLI - نکات AWS CLI - Notes

• [اختیاری] AWS CLI - ۱۰۱ [Optional] AWS CLI - 101

• AWS CLI و AWS Glue AWS CLI and AWS Glue

• پارامترهای Job Job Parameters

• پیکربندی Job Job Configuration

• مرجع: پیکربندی Job Reference : Job Configuration

نظارت و ثبت وقایع Monitoring & Logging

• نظارت بر Job Job Monitoring

• معیارهای استاندارد - AWS Glue Spark Jobها Standard Metrics - AWS Glue Spark Jobs

• معیارهای Observability - AWS Glue Spark Jobها Observability Metrics - AWS Glue Spark Jobs

• Spark UI - AWS Glue Spark Jobها Spark UI - AWS Glue Spark Jobs

• ثبت وقایع - AWS Glue Spark Jobها Logging - AWS Glue Spark Jobs

• بینش‌های اجرای Job: AWS Glue Spark Jobها Job Run Insights : AWS Glue Spark Jobs

• نظارت و ثبت وقایع: نکات و منابع تکمیلی Monitoring & Logging : Additional Notes & References

ابزارها Tools

• ابزارها: مرور کلی Tools: Overview

• AWS CLI و AWS Glue AWS CLI and AWS Glue

• [اختیاری] AWS CloudFormation - ۱۰۱ [Optional] AWS CloudFormation - 101

• AWS CloudFormation و AWS Glue AWS CloudFormation and AWS Glue

• AWS SDK و AWS Glue AWS SDK and AWS Glue

• ابزارها: نکات و منابع تکمیلی Tools: Additional Notes & References

مفاهیم تکمیلی Additional Concepts

• کیفیت داده AWS Glue: مرور کلی AWS Glue Data Quality: Overview

• دمو: فعال‌سازی کیفیت داده با Data Catalog Demo: Enabling Data Quality with Data Catalog

• دمو: فعال‌سازی کیفیت داده با ETL Job Demo: Enabling Data Quality with ETL Job

• نشانگرهای Job: مرور کلی Job Bookmarks: Overview

• تریگرها: مرور کلی Triggers: Overview

• یکپارچه‌سازی داده Amazon Q Amazon Q Data Integration

• مفاهیم تکمیلی: نکات و منابع Additional Concepts: Notes & References

بهترین روش‌ها Best Practices

• بهترین روش‌ها: عملکرد Best Practices: Performance

• بهترین روش‌ها: بهینه‌سازی هزینه Best Practices: Cost Optimization

نتیجه‌گیری Conclusion

• قیمت‌گذاری Pricing

• نتیجه‌گیری Conclusion

• نتیجه‌گیری: منابع Conclusion: References

پیوست Appendix

• مثال ۱: انتقال داده از S3 به Redshift با استفاده از AWS Glue Example 1 : Data transfer from S3 to Redshift using AWS Glue