AWS Glue: راهنمای جامع آموزش و شروع برای مبتدیان - آخرین آپدیت

دانلود AWS Glue : A Comprehensive Guide for Beginners

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:

ساده‌سازی کشف، آماده‌سازی و بارگذاری داده با AWS Glue

مباحث کلیدی

  • کاتالوگ و آماده‌سازی داده - جداول، کراولرها، طبقه‌بندها، پارتیشن‌ها، آمار ستون‌ها
  • ذخیره‌گاه‌های داده پشتیبانی شده، اتصالات Glue
  • ساخت فرآیندهای ETL - ویرایشگر بصری
  • ساخت فرآیندهای ETL - ویرایشگر اسکریپت
  • ساخت فرآیندهای ETL - نوت‌بوک‌ها
  • ساخت فرآیندهای ETL - پایتون شل
  • ساخت فرآیندهای ETL - جلسات تعاملی
  • ساخت فرآیندهای ETL با داده‌های جریانی (استریمینگ)
  • پیکربندی فرآیندها
  • نظارت و عیب‌یابی فرآیندها
  • بهترین شیوه‌ها

پیش‌نیازها

  • آشنایی اولیه با AWS
  • آشنایی اولیه با Apache Spark
  • تجربه برنامه‌نویسی با پایتون
  • آشنایی اولیه با Jupyter Notebooks
  • آشنایی اولیه با Ray
  • آشنایی اولیه با Pandas

به دوره AWS Glue خوش آمدید: ساده‌سازی ETL و آماده‌سازی داده

با شرکت در این دوره، قدرت AWS Glue را کشف کرده و روش مدیریت یکپارچه‌سازی و آماده‌سازی داده‌های خود را متحول کنید. چه یک مهندس داده، دانشمند داده، توسعه‌دهنده یا تحلیلگر داده باشید، این دوره جامع برای تجهیز شما به دانش و مهارت‌های لازم برای استفاده کارآمد از AWS Glue در نیازهای پردازش داده‌تان طراحی شده است.

بررسی اجمالی دوره

AWS Glue یک سرویس ETL (استخراج، تبدیل، بارگذاری) کاملاً مدیریت‌شده است که آماده‌سازی و بارگذاری داده‌های شما را برای تحلیل آسان می‌کند. در این دوره، AWS Glue را از پایه بررسی خواهیم کرد و از مباحث اساسی شروع کرده و به تدریج به سمت موضوعات پیشرفته‌تر و کاربردهای عملی حرکت می‌کنیم. در اینجا آنچه می‌توانید انتظار داشته باشید:

  1. مقدمه

  2. مبانی AWS Glue - اجزای اصلی، نحوه عملکرد؟

  3. شروع به کار

  4. کشف داده

  5. ساخت فرآیندها با ETL بصری

  6. ساخت فرآیندها با ویرایشگر اسکریپت

  7. ساخت فرآیندها با جلسات تعاملی

  8. ساخت فرآیندها با پایتون شل

  9. ساخت فرآیندها با استفاده از فریم‌ورک Ray

  10. Glue Streaming - ساخت فرآیندهای استریمینگ

  11. پیکربندی فرآیندها

  12. نظارت

  13. ابزارها

  14. مفاهیم پیشرفته

  15. نتیجه‌گیری

این دوره برای چه کسانی مناسب است؟

این دوره برای هر کسی که می‌خواهد از AWS Glue برای یکپارچه‌سازی و آماده‌سازی داده استفاده کند، ایده‌آل است. هیچ تجربه قبلی با AWS Glue لازم نیست، اما درک اولیه از سرویس‌های AWS و مفاهیم پردازش داده مفید خواهد بود.

چه چیزی یاد خواهید گرفت؟

در پایان این دوره، شما قادر خواهید بود:

  • قابلیت‌های اصلی و مزایای AWS Glue را درک کنید.

  • داده‌های خود را با استفاده از کراولرهای AWS Glue و کاتالوگ داده به طور کارآمد کاتالوگ و مدیریت کنید.

  • فرآیندهای ETL برای تبدیل و جابجایی داده‌های خود را ایجاد و مدیریت کنید.

  • از ویژگی‌های پیشرفته برای کارهای پیچیده‌تر آماده‌سازی داده استفاده کنید.

  • AWS Glue را با سایر سرویس‌های AWS ادغام کنید تا راه‌حل‌های جامع داده بسازید.

  • بهترین شیوه‌ها را برای بهینه‌سازی عملکرد، مدیریت هزینه‌ها و اطمینان از امنیت داده اعمال کنید.


اکنون ثبت‌نام کنید

سلام، من لعل ورما، مدرس شما در این دوره هستم. با تجربه گسترده در مهندسی داده و رایانش ابری، هیجان‌زده‌ام که شما را در دنیای AWS Glue راهنمایی کنم. با هم، پتانسیل کامل AWS Glue را آشکار خواهیم کرد و روش مدیریت یکپارچه‌سازی و آماده‌سازی داده‌های شما را متحول خواهیم ساخت.

در این سفر برای تسلط بر AWS Glue و متحول کردن فرآیندهای کاری داده‌های خود، به ما بپیوندید. اکنون ثبت‌نام کنید و فرآیندهای یکپارچه‌سازی و آماده‌سازی داده‌های خود را با AWS Glue متحول سازید!


سرفصل ها و درس ها

مقدمه Introduction

  • پیام خوش‌آمدگویی Welcome Note

  • AWS Glue - ۱۰۱ AWS Glue - 101

  • [اختیاری] ETL چیست؟ [Optional] What is ETL?

  • مرور کلی دوره Course Overview

اجزای اصلی Core Components

  • اجزای اصلی: مرور کلی Core Components : Overview

  • کاتالوگ داده AWS Glue AWS Glue Data Catalog

  • کاتالوگ داده: پایگاه داده Data Catalog: Database

  • کاتالوگ داده: جداول Data Catalog: Tables

  • کراولر Crawler

  • AWS Glue Job AWS Glue Job

  • اجزای اصلی Core Components

شروع به کار Getting Started

  • شروع به کار: مرور کلی Getting Started: Overview

  • [اختیاری] راه‌اندازی حساب AWS [Optional] Setting Up AWS Account

  • راه‌اندازی کاربر و نقش IAM Setting Up IAM User and Role

  • راه‌اندازی داده منبع Setting Up Source Data

  • ایجاد ETL Job در AWS Glue Creating ETL Job in AWS Glue

  • اجرا و اعتبارسنجی ETL Job Running and Validating ETL Job

  • شروع به کار Getting Started

  • شروع به کار: نکات تکمیلی Getting Started: Additional Notes

کشف داده Data Discovery

  • کاتالوگ داده و آماده‌سازی: مرور کلی Data Catalog and Preparation: Overview

  • کراولر: ذخیره‌سازهای داده پشتیبانی شده Crawler: Supported Data Stores

  • اتصال Glue Glue Connection

  • دمو: اتصال AWS Glue Demo: AWS Glue Connection

  • اتصال AWS Glue: نکات AWS Glue Connection: Notes

  • کراولر: دسته‌بندی‌کننده‌های داخلی Crawler: Built-In Classifiers

  • کراولر: دسته‌بندی‌کننده‌های سفارشی Crawler: Custom Classifiers

  • دمو: ایجاد دسته‌بندی‌کننده‌های سفارشی Demo: Creating Custom Classifiers

  • پارتیشن‌های جدول: مرور کلی Table Partitions: Overview

  • دمو: پارتیشن‌های جدول Demo: Table Partitions

  • شاخص پارتیشن‌های جدول: مرور کلی Table Partitions Index: Overview

  • دمو: شاخص پارتیشن جدول Demo: Table Partition Index

  • آمار ستون: مرور کلی Column Statistics: Overview

  • دمو: آمار ستون Demo: Column Statistics

  • کشف داده Data Discovery

  • کشف داده: نکات و منابع Data Discovery : Notes & References

ساخت ETL Jobها با Visual ETL Building ETL Jobs with Visual ETL

  • ساخت ETL Jobها: مرور کلی Building ETL Jobs: Overview

  • Visual ETL: مرور کلی Visual ETL: Overview

  • Visual ETL: ویژگی‌ها Visual ETL: Features

  • [اختیاری] Apache Spark ۱۰۱ [Optional] Apache Spark 101

  • تبدیل‌های داخلی و سفارشی: نکته سریع Built In and Custom Transforms: Quick Note

  • تبدیل‌های داخلی Built-in Transforms

  • تبدیل‌های داخلی - نکات Build-In Transforms - Notes

  • دمو: تبدیل سفارشی Demo: Custom Transform

  • Visual ETL Visual ETL

  • Visual ETL: نکات و منابع Visual ETL: Notes and References

ساخت ETL Jobها با ویرایشگر اسکریپت Building ETL Jobs with Script Editor

  • ویرایشگر اسکریپت AWS Glue AWS Glue Script Editor

  • Apache Spark API: مرور کلی Apache Spark API : Overview

  • افزونه‌های AWS Glue: مرور کلی AWS Glue Extensions : Overview

  • دمو: ساخت ETL با ویرایشگر اسکریپت - Spark Demo: Build ETL with Script Editor - Spark

  • ویرایشگر اسکریپت Script Editor

  • ویرایشگر اسکریپت: نکات و منابع Script Editor : Notes & References

ساخت ETL Jobها با Python Shell Build ETL Jobs with Python Shell

  • Python Shell Job در AWS Glue Python Shell Job in AWS Glue

  • [اختیاری] Pandas - ۱۰۱ [Optional] Pandas - 101

  • [اختیاری] AWS SDK برای Python|Boto3 - ۱۰۱ [Optional] AWS SDK for Python|Boto3 - 101

  • دمو: ساخت ETL Job برای Python Shell Demo : Building ETL Job for Python Shell

  • Python Shell Python Shell

  • Python Shell: نکات و منابع Python Shell : Notes and References

ساخت ETL Jobها با جلسات تعاملی Build ETL Jobs with Interactive Sessions

  • جلسات تعاملی: مرور کلی بخش Interactive Sessions: Section Overview

  • [اختیاری] Jupyter Notebooks - ۱۰۱ [optional] Jupyter Notebooks - 101

  • مرور کلی جلسات تعاملی Interactive Sessions Overview

  • دمو: ساخت ETL Jobها با Notebook Demo: Building ETL Jobs with Notebook

  • دمو: ساخت Jobها با Jupyter Notebook Demo: Building Jobs with Jupyter Notebook

  • دستورات Magic Magic Commands

  • جلسات تعاملی AWS Glue AWS Glue Interactive Sessions

  • جلسات تعاملی: نکات و منابع Interactive Sessions : Notes & References

AWS Glue Streaming AWS Glue Streaming

  • مرور کلی استریمینگ AWS Glue AWS Glue Streaming Overview

  • دمو: استریمینگ AWS Glue - بخش ۱ Demo: AWS Glue Streaming - Part 1

  • دمو: استریمینگ AWS Glue - بخش ۲ Demo: AWS Glue Streaming - Part 2

  • استریمینگ AWS Glue AWS Glue Streaming

  • استریمینگ AWS Glue: نکات تکمیلی AWS Glue Streaming: Additional Notes

ساخت ETL Jobها با استفاده از Ray Building ETL Jobs using Ray

  • Ray چیست: یک مرور کلی What is Ray : An Overview

  • فعال‌سازی Ray با AWS Glue Enabling Ray with AWS Glue

  • دمو: Ray Job نمونه با استفاده از ویرایشگر اسکریپت Demo: Sample Ray Job using Script Editor

  • دمو: Ray Job نمونه با استفاده از Glue Studio Notebooks Demo: Sample Ray Job using Glue Studio Notebooks

  • Ray و Glue Ray and Glue

  • ETL Jobها با Ray: نکات و منابع ETL Jobs with Ray: Notes and References

پیکربندی Job Job Configuration

  • پیکربندی: مرور کلی Configuration : Overview

  • نسخه‌های Glue Glue Versions

  • نسخه‌های Glue: نکات تکمیلی Glue Versions: Additional Notes

  • پیکربندی ویژگی‌ها برای Spark Jobها Configuring Properties for Spark Jobs

  • پیکربندی ویژگی‌ها برای Python Shell Jobها Configuring Properties for Python Shell Jobs

  • پیکربندی ویژگی‌ها برای Ray Jobها Configuring Properties for Ray Jobs

  • AWS CLI - نکات AWS CLI - Notes

  • [اختیاری] AWS CLI - ۱۰۱ [Optional] AWS CLI - 101

  • AWS CLI و AWS Glue AWS CLI and AWS Glue

  • پارامترهای Job Job Parameters

  • پیکربندی Job Job Configuration

  • مرجع: پیکربندی Job Reference : Job Configuration

نظارت و ثبت وقایع Monitoring & Logging

  • نظارت بر Job Job Monitoring

  • معیارهای استاندارد - AWS Glue Spark Jobها Standard Metrics - AWS Glue Spark Jobs

  • معیارهای Observability - AWS Glue Spark Jobها Observability Metrics - AWS Glue Spark Jobs

  • Spark UI - AWS Glue Spark Jobها Spark UI - AWS Glue Spark Jobs

  • ثبت وقایع - AWS Glue Spark Jobها Logging - AWS Glue Spark Jobs

  • بینش‌های اجرای Job: AWS Glue Spark Jobها Job Run Insights : AWS Glue Spark Jobs

  • نظارت و ثبت وقایع: نکات و منابع تکمیلی Monitoring & Logging : Additional Notes & References

ابزارها Tools

  • ابزارها: مرور کلی Tools: Overview

  • AWS CLI و AWS Glue AWS CLI and AWS Glue

  • [اختیاری] AWS CloudFormation - ۱۰۱ [Optional] AWS CloudFormation - 101

  • AWS CloudFormation و AWS Glue AWS CloudFormation and AWS Glue

  • AWS SDK و AWS Glue AWS SDK and AWS Glue

  • ابزارها: نکات و منابع تکمیلی Tools: Additional Notes & References

مفاهیم تکمیلی Additional Concepts

  • کیفیت داده AWS Glue: مرور کلی AWS Glue Data Quality: Overview

  • دمو: فعال‌سازی کیفیت داده با Data Catalog Demo: Enabling Data Quality with Data Catalog

  • دمو: فعال‌سازی کیفیت داده با ETL Job Demo: Enabling Data Quality with ETL Job

  • نشانگرهای Job: مرور کلی Job Bookmarks: Overview

  • تریگرها: مرور کلی Triggers: Overview

  • یکپارچه‌سازی داده Amazon Q Amazon Q Data Integration

  • مفاهیم تکمیلی: نکات و منابع Additional Concepts: Notes & References

بهترین روش‌ها Best Practices

  • بهترین روش‌ها: عملکرد Best Practices: Performance

  • بهترین روش‌ها: بهینه‌سازی هزینه Best Practices: Cost Optimization

نتیجه‌گیری Conclusion

  • قیمت‌گذاری Pricing

  • نتیجه‌گیری Conclusion

  • نتیجه‌گیری: منابع Conclusion: References

پیوست Appendix

  • مثال ۱: انتقال داده از S3 به Redshift با استفاده از AWS Glue Example 1 : Data transfer from S3 to Redshift using AWS Glue

نمایش نظرات

AWS Glue: راهنمای جامع آموزش و شروع برای مبتدیان
جزییات دوره
6 hours
104
Udemy (یودمی) Udemy (یودمی)
(آخرین آپدیت)
695
4.4 از 5
ندارد
دارد
دارد
Lal Verma
جهت دریافت آخرین اخبار و آپدیت ها در کانال تلگرام عضو شوید.

Google Chrome Browser

Internet Download Manager

Pot Player

Winrar

Lal Verma Lal Verma

معمار راه حل