آموزش جامع AWS Glue از صفر تا صد: ETL و اتوماسیون در ابر - آخرین آپدیت

سرفصل ها و درس ها

مقدمه دوره Course Introduction

• مقدمه دوره Course Introduction

• محتوای دوره Course content

• پیش‌نیازها Requirements

• نکاتی درباره امتیازدهی دوره Note on course ratings

آشنایی با Amazon AWS Glue Introduction to Amazon ASWS Glue

• مقدمه‌ای بر فرآیندهای ETL Introduction to ETL processes

• آشنایی با AWS GLUE Introduction to AWS GLUE

• معماری و اجزاء Architecture and components

• پرسشنامه سنجش دانش KNOWLEDGE QUESTIONNAIRE

اولین گام‌ها First steps

• سرویس رایگان Amazon AWS (Free Tier) Amazon AWS Free Tier

• ایجاد حساب Amazon AWS Create an Amazon AWS account. If you already have one, you can skip this lesson.

• احراز هویت چندعاملی (MFA) Multi-factor authentication

• مرور کلی کنسول AWS AWS console overview. If you're already familiar with it, you can skip this less

• بررسی فعال شدن حساب رایگان Check that you have activated your free account

• کنسول AWS GLUE AWS GLUE Console

• ایجاد کاربر IAM برای GLUE Create an IAM user for GLUE.

اولین مثال عملی A first example

• بیان مثال عملی Example Statement

• ایجاد باکت‌های S3 و آپلود فایل CSV Create the S3 buckets and upload the CSV file

• ایجاد نقش (Role) برای Glue Create a role for Glue

• ایجاد جاب - بخش اول Creating a Job Part 1

• ایجاد جاب - بخش دوم Creating a Job Part 2

• تمرین: ایجاد یک JOB PRACTICE. Create a JOB

کرولرها و کاتالوگ‌های داده: بررسی اولیه Crawlers and data catalogs. A first review

• مقدمه‌ای بر کرولرها Introducción a los crawlers

• ایجاد یک کرولر Create a crawler

• اجرای کرولر Run a crawler

• تمرین: ایجاد کرولر برای فایل محصولات PRACTICE. Create a crawler against the product file.

• مشاهده کاتالوگ داده View the data catalog

• ایجاد جاب با استفاده از کاتالوگ داده Create a job using the data catalog

• آزمایشگاه: جاب با داده‌های نیمه‌ساختاریافته - بخش اول LABORATORY. Job with semi-structured data. Part 1

• آزمایشگاه: جاب با داده‌های نیمه‌ساختاریافته - بخش دوم LABORATORY. Job with semi-structured data. Part 2

• جلسات تعاملی، پیش‌نمایش داده‌ها و هزینه‌های آن‌ها در Glue Interactive sessions, data preview, and their cost in Glue

• بصری‌سازی داده‌ها با ATHENA: آماده‌سازی محیط Visualize data with ATHENA. Prepare the environment

• بصری‌سازی داده‌ها با ATHENA Visualize data with ATHENA

• ایجاد کرولر برای داده‌های خروجی و کوئری با ATHENA - بخش اول Create a crawler for the output data and query it with ATHENA. Part 1

• ایجاد کرولر برای داده‌های خروجی و کوئری با ATHENA - بخش دوم Create a crawler for the output data and query it with ATHENA. Part 2

• برنامه‌ریزی برای اجرای کرولر Planning the execution of a crawler

• تمرین: زمان‌بندی یک کرولر PRACTICE. Plan a crawler

کرولرها، کاتالوگ داده و جداول: ویژگی‌های بیشتر Crawlers, data catalog and tables. More features

• ایجاد پایگاه داده جدید و ویژگی‌های آن Create another database. Properties

• ایجاد جدول به صورت دستی Create a table manually

• ایجاد جاب با استفاده از جدول و تبدیل SQL TRANSFORM Create a job using the table. Using the SQL TRANSFORM transformer

• تولید جدول از خروجی جاب و کلون کردن جاب Generate a table with the output of a job. Clone the job

• مشاهده و ویرایش ویژگی‌های جدول View and edit table properties

• آزمایشگاه: ویرایش ویژگی‌های جدول کارکنان (EMPLOYEES) LABORATORY. Edit the properties of the EMPLOYEES table

• آمار جداول - بخش اول Statistics of Tables. Part 1

• آمار جداول - بخش دوم Statistics of Tables. Part 2

• به‌روزرسانی شمای جدول با کرولر Updating a table schema with a crawler

• اجرای جاب با شمای جدید و فیلدهای محاسباتی Launch a job with the new schema. Calculated fields

• به‌روزرسانی دستی شما (Schema) Manually update a schema

• تمرین: جاب برای محاسبه حقوق خالص PRACTICE with the table above. Job to calculate a net salary

پارتیشن‌بندی (Partitioning) Partitioning

• مقدمه‌ای بر پارتیشن‌بندی Introduction to partitioning

• پیکربندی دسترسی‌ها برای CloudShell Configure permissions for CloudShell

• ایجاد محیط: فروش با فایل‌ها و پوشه‌های متعدد Create the environment. Sales with multiple files and folders

• ایجاد کرولر برای تشخیص پارتیشن‌بندی Create the crawler to detect partitioning

• بررسی داده‌های فروش با Athena Check sales data with Athena

• ایجاد جاب برای مشاهده فروش یک هفته Create a job to view a week's sales

اتصال به سایر منابع داده: RDS و پایگاه‌های داده رابطه‌ای Connecting to other data sources. RDS and relational databases

• اتصال به سایر منابع داده: مقدمه‌ای بر اتصالات (Connections) Connecting to other data sources. Introduction to connections

• کانکتورها و اتصالات Connectors and connections

• RDS و پایگاه‌های داده رابطه‌ای: اعطای دسترسی کاربر RDS. Relational databases. Granting user permissions

• اعطای دسترسی به نقش (Role) GLUE Grant permission to the GLUE role

• ایجاد پایگاه داده RDS MySQL Create an RDS MySQL Database

• پیکربندی Security Group برای اجازه دسترسی Configure the security group to allow access

• اتصال DBeaver به پایگاه داده Connect DBeaver to the Database

• بارگذاری جدول تماس‌ها در MySQL Load the call table into our MySQL

• ایجاد اولین اتصال به RDS MySQL Create our first connection against RDS MySQL

• تست اتصال و بررسی VPC Endpoint Test the connection. VPC Endpoint. Why do we need it for Glue?

• ایجاد VPC Endpoint Create a VPC Endpoint

• ایجاد پایگاه داده در کاتالوگ برای ذخیره جداول MySQL Create a database in the catalog to store the MySQL tables

• ایجاد کرولر برای جدول تماس‌ها Create a crawler against the "calls" table

• ایجاد جاب برای فیلتر کردن تماس‌ها Create a job to filter calls. Filter type transformer

• آزمایشگاه بخش اول: ایجاد پایگاه داده MariaDB Lab Part 1 - Creating a MariaDB Database

• آزمایشگاه بخش دوم: اتصال با DBeaver برای تایید عملکرد Lab Part 2 - Create a connection with DBeaver to verify functionality

• آزمایشگاه بخش سوم: ایجاد اتصال GLUE Lab Part 3 - Creating a GLUE Connection

• آزمایشگاه بخش چهارم: ایجاد کرولر برای جدول تماس‌ها در مقصد Lab Part 4 - Create a crawler against the "calls" table in the target

• آزمایشگاه بخش پنجم: مهاجرت از MySQL به MariaDB Lab Part 5 - Migrating from MySQL to MariaDB

• تمرین با RDS Practice with RDS

دسترسی به پایگاه داده خارجی Accessing an external database

• دسترسی به پایگاه داده خارجی: ایجاد ماشین مجازی Access an external database. Create a virtual machine

• پیکربندی Security Group Configure the security group

• نصب MySQL Install MySQL

• پیکربندی اتصال با DBeaver Configure connection with DBeaver

• شرح جاب: بارگذاری جداول Job description. Load the tables

• ایجاد کانکتور Create the connector

• ایجاد کرولر Create the crawler

• ایجاد جاب: تبدیل‌های Join و Aggregation - بخش اول Creating the Job. Table Join and Aggregation Transformers. Part 1

• ایجاد جاب: تبدیل‌های Join و Aggregation - بخش دوم Creating the Job. Table Join and Aggregation Transformers. Part 2

استودیو Glue: تبدیل‌های آماده برای جاب‌ها Glue Studio. Transformations ready for the JOBS

• مقدمه بخش Section Introduction

• اتصال مجموعه‌داده‌ها و حذف داده‌های تکراری Dataset Joins and Duplicate Removal

• تغییر نام و حذف ستون‌ها Rename and delete columns

• تبدیل شرطی (Conditional transformer) Conditional transformer

• تبدیل‌های فیلتر، الحاق و ردیف‌های تهی (Null) Filter transformers, concatenation, and null rows

• پیوتی کردن ستون‌ها (Pivoting) Pivoting columns

• ستون‌های محاسباتی Calculated columns.

• تمرین با تبدیل‌های متعدد Practice with multiple transformers

ویژگی‌ها و خواص جاب‌ها و سایر قابلیت‌ها Features and properties of Jobs and other functionalities.

• مشاهده جزئیات جاب - بخش اول View job details. Part 1

• مشاهده جزئیات جاب - بخش دوم و متوقف کردن اجرا View Job Details. Part 2. Stop Job Execution

• اسکریپت بصری جاب Visual Job Script

• جزئیات جاب: زبان‌ها، DPUها و Workerها Job details. Languages, DPUs, and workers

• بررسی Workerها و DPUها Workers and DPUs

• سایر ویژگی‌ها: Insights، Lineages، Bookmarks و Timeouts Other properties. Insights, lineages, bookmarks, and timeouts

• آزمایشگاه: جاب با قابلیت Bookmark Laboratorio. Un JOB con bookmark

• ویژگی‌های پیشرفته Advanced properties

• پارامترها Parameters

• جاب‌های زمان‌بندی شده (Scheduled Jobs) Shceduled Jobs

مانیتورینگ جاب‌ها Job Monitoring

• مقدمه‌ای بر مانیتورینگ و لاگ‌ها Introducción a la monitorizacion y los logs

• مانیتورینگ کلی جاب‌ها General monitoring of jobs

• پنل‌های متریک و لاگ در حین اجرای جاب Metrics and log panels during job execution

• لاگ‌های CloudWatch CloudWatch Logs

• آزمایشگاه با CloudWatch Logs و CloudWatch Insights Lab with CloudWatch logs and CloudWatch insights

• آزمایشگاه متریک‌ها با CloudWatch Metrics Metrics lab with CloudWatch metrics

کار با اسکریپت‌ها Working with scripts

• مقدمه‌ای بر اسکریپت‌ها Introduction to scripts

• جلسات Glue (Glue sessions) Glue sessions

• تفاوت DynamicFrame و DataFrames DynamicFrame and DataFrames

• موتورهای جاب: Spark، Ray و Python Shell Jobs Engines: Spark, Ray and Python Shell

• اولین اسکریپت ساده A simple first script

• ویرایشگر اسکریپت با موتورهای دیگر Script Editor with other engines

• خواندن فایل CSV از S3 - بخش اول Reading a CSV file from S3. Part 1

• خواندن فایل CSV از S3 - بخش دوم Reading a CSV file from S3. Part 2

• نوشتن در باکت S3 Write to an S3 bucket

• خواندن از جدول کاتالوگ و نوشتن فایل CSV در S3 Read from a table in the Catalog and write a CSV file to S3

• یکپارچه‌سازی جاب با کنترل نسخه GitHub Integrate a job with version control. GitHub

تبدیل‌ها در اسکریپت‌ها Transformations in Scripts

• اعمال نگاشت (Apply Mapping) - بخش اول Apply Mapping. Part 1

• اعمال نگاشت (Apply Mapping) - بخش دوم Apply Mapping. Part 1

• فیلترها و ستون‌های محاسباتی - بخش اول Filters and Calculated Columns Part 1

• فیلترها و ستون‌های محاسباتی - بخش دوم Filters and Calculated Columns Part 2

• تجمیع داده‌ها (Aggregations) Aggregations

• استفاده از آرگومان‌ها در فراخوانی اسکریپت Using arguments in the script call

• تمرین: آرگومان‌ها و فیلترها Practice. Arguments and filters

• اتصال‌ها (Joins) Joins

• مقدمه‌ای بر Spark SQL Introduction to Spark SQL.

• استفاده از SQL برای انجام تبدیل Using SQL to perform a transformation

• سایر تبدیل‌ها Other transformations

• تمرین: سایر تبدیل‌ها Practice. Other transformations.

اسکریپت‌ها با Python Shell و Ray Scripts with Python Shell and Ray

• مثالی از جاب با استفاده از Python Shell Example of a job using Python Shell

• مقدمه‌ای بر Ray Introduction to Ray

• مثالی از جاب با Ray Example of Job with ray

نوت‌بوک‌ها و ایجاد جاب Notebooks and Job Creation

• مقدمه‌ای بر نوت‌بوک‌ها Introduction to Notebooks

• گشتی در محیط نوت‌بوک A tour of a notebook

• ایجاد یک نوت‌بوک Create a Notebook

• دستورات جادویی (Magic Commands) Magic Commands

• مثال‌هایی از دستورات جادویی Ejemplos de Magic Commands

• یک مثال کاربردی با نوت‌بوک‌ها A practical example with notebooks

تریگرها (Triggers) Triggers

• مقدمه‌ای بر تریگرها Introduction to triggers

• تریگرهای On-demand (در لحظه) Triggers on-demand

• تریگرهای زمان‌بندی شده Scheduled Triggers

• تریگرهای مبتنی بر رویداد (Event-based) Event-based triggers

گردش کارهای اتوماسیون (Workflows) Workflows (Orchestration)

• مقدمه‌ای بر Workflowها Introduction to Workflows

• ایجاد Workflow - بخش اول Creating a Workflow Part 1

• ایجاد Workflow - بخش دوم Creating a Workflow Part 2

• کنترل خطا در Workflowها Error control in workflows

• تریگرها در Workflowها Triggers in Workflows

جمع‌بندی و پایان دوره Farewell to the course

• کلاس تکمیلی (EXTRA) EXTRA Class