تسلط بر AWS Elastic Map Reduce (EMR) برای مهندسان داده

سرفصل ها و درس ها

مقدمه ای بر تسلط بر AWS Elastic Map Reduce برای مهندسان داده Introduction to Mastering AWS Elastic Map Reduce for Data Engineers

• مقدمه ای بر تسلط بر AWS Elastic Map Reduce برای مهندسان داده Introduction to Mastering AWS Elastic Map Reduce for Data Engineers

شروع به کار در ویندوز با ابزارهای مورد نیاز Getting Started on Windows with Required Tools

• نمای کلی Powershell در ویندوز 10 یا ویندوز 11 Overview of Powershell on Windows 10 or Windows 11

• کد ویژوال استودیو را روی ویندوز نصب کنید Install Visual Studio Code on Windows

• کیت برنامه افزودنی Remote Development را برای کد ویژوال استودیو نصب کنید Install Remote Development Extension Kit for Visual Studio Code

شروع کار با AWS EMR Getting Started with AWS EMR

• برنامه ریزی خوشه EMR Planning of EMR Cluster

• جفت کلید EC2 ایجاد کنید Create EC2 Key Pair

• راه اندازی خوشه EMR با Spark Setup EMR Cluster with Spark

• درک خلاصه ای از AWS EMR Cluster Understanding Summary of AWS EMR Cluster

• رابط های کاربری EMR Cluster Application را مرور کنید Review EMR Cluster Application User Interfaces

• بررسی EMR Cluster Monitoring Review EMR Cluster Monitoring

• سیاست سخت‌افزار خوشه‌ای EMR و مقیاس‌بندی خوشه را مرور کنید Review EMR Cluster Hardware and Cluster Scaling Policy

• تنظیمات EMR Cluster را مرور کنید Review EMR Cluster Configurations

• رویدادهای EMR Cluster را مرور کنید Review EMR Cluster Events

• مراحل EMR Cluster را مرور کنید Review EMR Cluster Steps

• اقدامات EMR Cluster Bootstrap را مرور کنید Review EMR Cluster Bootstrap Actions

• اتصال به EMR Master Node با استفاده از SSH Connecting to EMR Master Node using SSH

• غیرفعال کردن حفاظت خاتمه و خاتمه کلاستر Disabling Termination Protection and Terminating the Cluster

• کلون و ایجاد خوشه جدید Clone and Create New Cluster

• فهرست کردن سطل ها و اشیاء AWS S3 با استفاده از AWS CLI در خوشه EMR Listing AWS S3 Buckets and Objects using AWS CLI on EMR Cluster

• فهرست کردن سطل ها و اشیاء AWS S3 با استفاده از HDFS CLI در خوشه EMR Listing AWS S3 Buckets and Objects using HDFS CLI on EMR Cluster

• مدیریت فایل ها در AWS s3 با استفاده از HDFS CLI در EMR Cluster Managing Files in AWS s3 using HDFS CLI on EMR Cluster

• پایگاه های داده و جداول کاتالوگ چسب را مرور کنید Review Glue Catalog Databases and Tables

• دسترسی به پایگاه ها و جداول کاتالوگ چسب با استفاده از خوشه EMR Accessing Glue Catalog Databases and Tables using EMR Cluster

• دسترسی به spark-sql CLI خوشه AWS EMR Accessing spark-sql CLI of AWS EMR Cluster

• دسترسی به pyspark CLI خوشه AWS EMR Accessing pyspark CLI of AWS EMR Cluster

• دسترسی به spark-shell CLI خوشه AWS EMR Accessing spark-shell CLI of AWS EMR Cluster

• ایجاد AWS EMR Cluster برای نوت بوک ها Create AWS EMR Cluster for Notebooks

راه اندازی خوشه توسعه با استفاده از AWS EMR Setup Development Cluster using AWS EMR

• اسکریپت بوت استرپ برای AWS EMR Cluster ایجاد کنید Create bootstrap script for AWS EMR Cluster

• ارائه IP الاستیک برای گره اصلی خوشه AWS EMR Provision Elastic IP for Master Node of AWS EMR Cluster

• ایجاد AWS EMR برای توسعه Create AWS EMR for Development

• عیب یابی مشکلات مربوط به بوت استرپ خوشه EMR Troubleshooting Issues related to Bootstrap of EMR Cluster

• اصلاح اسکریپت بوت استرپ برای خوشه AWS EMR Fix Bootstrap Script for AWS EMR Cluster

• خوشه AWS EMR را با اکشن بوت استرپ با اسکریپت به روز اعتبارسنجی کنید Validate AWS EMR Cluster with Bootstrap Action with updated script

• محیط مجازی پایتون را به عنوان بخشی از فضای کاری VS Code راه اندازی کنید Setup Python Virtual Environment as part of VS Code Workspace

• شروع با Boto3 برای مدیریت خوشه های AWS EMR Getting Started with Boto3 to Manage AWS EMR Clusters

• boto3 را برای کاوش APIها برای مدیریت خوشه های AWS EMR راه اندازی کنید Setup boto3 to explore APIs to manage AWS EMR Clusters

• نمایه AWS را با استفاده از فایل env در کد ویژوال استودیو تنظیم کنید Set AWS Profile using env file in Visual Studio Code

• با استفاده از boto3، جزئیات خوشه ای از خوشه توسعه AWS EMR را دریافت کنید Get Cluster Details of AWS EMR Development Cluster using boto3

• دریافت شناسه نمونه گره اصلی خوشه AWS EMR با استفاده از boto3 Getting Instance Id of the Master Node of AWS EMR Cluster using boto3

• دریافت شناسه تخصیص Ip الاستیک با استفاده از AWS boto3 Getting Allocation Id of the Elastic Ip using AWS boto3

• ارتباط Elastic Ip با AWS EMR Master Node با استفاده از Boto3 Associating Elastic Ip with AWS EMR Master Node using Boto3

• با استفاده از IAM User، محیط نوت بوک را برای خوشه EMR تنظیم کنید Setup Notebook Environment for EMR Cluster using IAM User

چرخه عمر توسعه با استفاده از خوشه توسعه AWS EMR Development Life Cycle using AWS EMR Development Cluster

• پنجره راه دور را در AWS EMR Master Node با استفاده از VS Code باز کنید Open Remote Window on AWS EMR Master Node using VS Code

• با استفاده از مخزن Git، Workspace را در AWS EMR Master راه اندازی کنید Setup Workspace on AWS EMR Master using Git Repository

• بهترین روش ها و مزایای استفاده از AWS EMR Cluster برای توسعه تیم Best Practices and Advantages of using AWS EMR Cluster for Team Development

• افزونه های VSCode را در محیط کاری راه دور برای پایتون نصب کنید Install VSCode Extensions in remote Workspace for Python

• جزئیات Python و Pyspark را در EMR Cluster مرور کنید Review Python and Pyspark details on EMR Cluster

• اجرای برنامه ها با استفاده از نخ محلی و نخ در طول توسعه Running Applications using local and yarn during development

• شروع با توسعه برنامه های Spark در خوشه EMR Getting Started with Development of Spark Applications on EMR Cluster

• ایجاد تابع برای Spark Session Create Function for Spark Session

• برای توسعه با استفاده از AWS EMR Cluster فایل ها را در AWS s3 آپلود کنید Upload Files to AWS s3 for the development using AWS EMR Cluster

• منطق خواندن را برای برنامه Spark توسعه دهید Develop read logic for the Spark Application

• فریم داده را با استفاده از Spark API پردازش کنید Process Data Frame using Spark APIs

• با استفاده از Spark API داده ها را در فایل ها بنویسید Write Data to Files using Spark APIs

• کد را تولید کنید و مجموعه داده های مورد نیاز را برای اعتبار سنجی تنظیم کنید Productionize the Code and setup required data sets for validation

• با استفاده از کنسول وب، اندازه خوشه AWS EMR را تغییر دهید Resize the AWS EMR Cluster using Web Console

• تأیید تغییرات برای تولید کد برنامه Validate Changes to productionize the Application Code

• بک آپ بگیرید و کلاستر را خاتمه دهید Take the backup and terminate the cluster

برنامه Spark را در خوشه AWS EMR اجرا کنید Deploy Spark Application on AWS EMR Cluster

• برای استقرار Spark Applications، AWS EMR Cluster را دوباره ایجاد کنید Recreate the AWS EMR Cluster to deploy Spark Applications

• مخزن کد را در گره اصلی AWS EMR تنظیم کنید Setup Code Repository on the AWS EMR Master Node

• برای تأیید اعتبار برنامه در مجموعه داده‌های بزرگ‌تر، اندازه خوشه AWS EMR را تغییر دهید Resize the AWS EMR Cluster to validate application on larger data sets

• ساخت فایل زیپ برای برنامه Spark Build Zip File for the Spark Application

• اعتبار برنامه Spark را با استفاده از فایل فشرده و کلاینت به عنوان حالت استقرار تأیید کنید Validate the Spark Application using zip file and client as deploy mode

• با استفاده از حالت استقرار کلاستر، برنامه Spark را روی EMR اجرا کنید Run Spark Application on EMR using Cluster Deployment Mode

• با استفاده از حالت استقرار خوشه، برنامه Spark را که در EMR روی s3 کپی شده است، اجرا کنید Run Spark Application copied to s3 on EMR using Cluster Deployment Mode

• برنامه Spark را به عنوان مرحله به خوشه AWS EMR اجرا کنید Deploy Spark Application as Step to the AWS EMR Cluster

• چندین فایل را برای مدیریت اشیاء AWS s3 با استفاده از ماشین‌های حالت تنظیم کنید Setup Multiple Files to Manage AWS s3 Objects using State Machines

• اعتبار برنامه Spark که به عنوان مرحله در خوشه AWS EMR مستقر شده است Validate Spark Application Deployed as Step on AWS EMR Cluster

خوشه های AWS EMR را با استفاده از Python Boto3 مدیریت کنید Manage AWS EMR Clusters using Python Boto3

• به روز رسانی مواد مربوط به مدیریت AWS EMR با استفاده از Boto3 Update Material related to Managing AWS EMR using Boto3

• خوشه AWS EMR را با استفاده از دستور AWS CLI ایجاد کنید Create AWS EMR Cluster using AWS CLI Command

• خوشه های AWS EMR را با استفاده از دستورات AWS CLI مدیریت کنید Manage AWS EMR Clusters using AWS CLI Commands

• مروری بر AWS boto3 برای مدیریت خوشه های AWS EMR Overview of AWS boto3 to Manage AWS EMR Clusters

• مروری بر Run Job Flow API برای ایجاد AWS EMR Cluster Overview of Run Job Flow API to create AWS EMR Cluster

• با استفاده از AWS Boto3، AWS EMR Cluster یا Job Flow Cluster ایجاد کنید Create AWS EMR Cluster or Job Flow Cluster using AWS Boto3

• مجموعه داده ها را برای افزودن Spark Application به عنوان مرحله به خوشه AWS EMR آماده کنید Prepare Data Sets to add Spark Application as Step to AWS EMR Cluster

• با استفاده از Boto3، Spark Application را به عنوان مرحله به AWS EMR Cluster اضافه کنید Add Spark Application as Step to AWS EMR Cluster using Boto3

• برای افزودن Spark Application به عنوان Step به EMR Cluster با استفاده از boto3 تمرین کنید Exercise to add Spark Application as Step to EMR Cluster using boto3

• کلاستر AWS EMR را که برای افزودن مراحل استفاده می شود خاتمه دهید Terminate the AWS EMR Cluster used for adding Steps

• تمرین ایجاد خوشه AWS EMR با مراحل برای برنامه Spark Exercise to Create AWS EMR Cluster with Steps for Spark Application

با استفاده از توابع مرحله ای AWS، گردش کار یا خطوط لوله مبتنی بر EMR بسازید Build EMR based Workflows or Pipelines using AWS Step Functions

• بررسی محیط توسعه برای توابع مرحله AWS و EMR Review of Development Environment for AWS Step Functions and EMR

• مروری سریع بر شرایط مهم توابع مرحله AWS Quick Overview of Important Terms of AWS Step Functions

• شروع به کار با خط لوله مبتنی بر EMR با استفاده از توابع مرحله ای AWS Getting Started with EMR based Pipeline using AWS Step Functions

• مروری بر نقش AWS IAM مرتبط با کپی ماشین دولتی Overview of AWS IAM Role associated with State Machine copy

• مروری بر ایجاد خوشه EMR با استفاده از توابع مرحله AWS Overview of Creating EMR Cluster using AWS Step Functions

• پارامترهای ایجاد خوشه EMR با استفاده از توابع مرحله AWS Parameters to Create EMR Cluster using AWS Step Functions

• برای ایجاد خوشه AWS EMR، مجوزها را به نقش تابع مرحله متصل کنید Attach Permissions to Step Function Role to Create AWS EMR Cluster

• با استفاده از تابع AWS Step به خوشه AWS EMR اضافه کنید Add Step to AWS EMR Cluster using AWS Step Function

• اعتبار افزودن مرحله به خوشه AWS EMR را با استفاده از توابع مرحله تأیید کنید Validate Adding Step to AWS EMR Cluster using Step Functions

• برای خاتمه دادن به خوشه AWS EMR، اقدامی را به Step Machine اضافه کنید Add Action to Step Machine to Terminate the AWS EMR Cluster

• اجرای State Machine را برای اجرای Spark Application در AWS EMR اعتبار سنجی کنید Validate the execution of State Machine to run Spark Application on AWS EMR

• کلاسترهای AWS EMR ایجاد شده برای اعتبارسنجی کپی ماشین حالت را خاتمه دهید Terminate AWS EMR Clusters Created to Validate State Machine copy

با استفاده از AWS Step Functions برای مدیریت s3، State Machine را توسعه دهید Develop State Machine using AWS Step Functions to manage s3

• وضعیت فعلی نسخه خط لوله یا State Machine مبتنی بر AWS EMR را بررسی کنید Review the current state of AWS EMR based Pipeline or State Machine copy

• با استفاده از AWS Step Function برای اعتبارسنجی کپی s3، State Machine را ایجاد کنید Create State Machine using AWS Step Function to Validate s3 copy

• خط مشی با مجوزها را در AWS s3 به کپی نقش تابع مرحله پیوست کنید Attach Policy with Permissions on AWS s3 to Step Function Role copy

• فایل را در AWS s3 و Validate State Machine برای فهرست کردن اشیاء کپی تنظیم کنید Setup File in AWS s3 and Validate State Machine to list objects copy

• رابطه بین AWS Boto3 و Actions in Step Functions کپی Relationship between AWS Boto3 and Actions in Step Functions copy

• اضافه کردن حالت به حذف شی از کپی AWS s3 Add State to Delete Object from AWS s3 copy

• برای حذف آبجکت از کپی AWS s3، مجوزها و اجرای State Machine را برطرف کنید Fix Permissions and Run State Machine to Delete Object from AWS s3 copy

• ارسال ورودی به ایالت ها در کپی ماشین حالت توابع مرحله AWS Passing Input to States in AWS Step Functions State Machine copy

• چندین فایل را برای مدیریت اشیاء AWS s3 با استفاده از کپی State Machines تنظیم کنید Setup Multiple Files to Manage AWS s3 Objects using State Machines copy

• اشیاء AWS s3 را با استفاده از Map در State Machine پردازش کنید Process AWS s3 Objects using Map in State Machine

• کلید اشیاء AWS s3 را با استفاده از Step Functions Pass استخراج کنید Extract Key of AWS s3 Objects using Step Functions Pass

• افزودن حالت به AWS Step Function Delete s3 Object Add State to AWS Step Function Delete s3 Object

• AWS Lambda Function را برای سفارشی کردن داده های ماشین وضعیت توسعه دهید Develop AWS Lambda Function to customise State Machine Data

• برای حذف جزئیات s3، تابع AWS Lambda را به State Machine اضافه کنید Add AWS Lambda Function to State Machine to Pass s3 Details for delete

• برای جلوگیری از خطای کلیدی در اشیاء فهرست AWS s3، شرط را به State Machine اضافه کنید Add Condition to State Machine to avoid Key Error on AWS s3 List Objects

• بررسی اجمالی همزمانی نقشه در ماشین های حالت توابع مرحله ای AWS Overview of Map Concurrency in State Machines of AWS Step Functions

• فراخوانی ماشین حالت عملکرد مرحله ای AWS از ماشین های حالت دیگر Invoking AWS Step Function State Machine from Other State Machines

• بررسی اجمالی ادغام ماشین حالت مبتنی بر s3 با ماشین حالت EMR Overview of integration of s3 based State Machine with EMR State Machine

اضافه کردن s3 Validation Logic به ماشین حالت مبتنی بر AWS EMR Adding s3 Validation Logic to AWS EMR based State Machine

• پشتیبان‌گیری از ماشین‌های حالت توابع مرحله AWS Taking back up of AWS Step Functions State Machines

• اعطای مجوز بین ماشین‌های حالت عملکردهای مرحله AWS از طریق نقش IAM Grant Permissions between AWS Step Functions State Machines via IAM Role

• AWS Step Function State Machine را با EMR به‌روزرسانی کنید تا s3 تأیید شود Update AWS Step Function State Machine with EMR to validate s3

• جزئیات مرحله EMR را به وضعیت توابع مرحله AWS منتقل کنید Pass EMR Step Details to AWS Step Functions State

• اعتبار AWS Step Function بر اساس EMR State Machine Execution Validate AWS Step Function EMR based State Machine Execution

• AWS Step Function State Machine را برای اعتبارسنجی منطقی برای حذف اشیاء AWS s3 اجرا کنید Run AWS Step Function State Machine to validate logic to delete AWS s3 Objects

• برای افزودن اعتبارسنجی مکان منبع s3 در AWS Step Function StateMach تمرین کنید Exercise to add validation of source s3 location in AWS Step Function StateMach

• AWS Step Function State Machine را برای اعتبارسنجی محل منبع s3 به روز کنید Update AWS Step Function State Machine to Validate Source s3 Location

• AWS Step Function State Function را با Source s3 Validation Logic اجرا کنید Run AWS Step Function State Function with source s3 Validation Logic

• AWS Lambda Function را برای بررسی تعداد فایل ها در منبع s3 توسعه دهید Develop AWS Lambda Function to check number of files in source s3

• برای فراخوانی عملکرد AWS Lambda، خط مشی را به نقش ماشین حالت متصل کنید Attach Policy to State Machine Role to Invoke AWS Lambda Function

• برای اعتبارسنجی تعداد منبع، Updated State Machine را اجرا کنید Run Updated State Machine to validate source count

• بهترین روش‌ها برای اجرای ماشین‌های حالت عملکرد AWS Step Best Practices to Run AWS Step Functions State Machines

برنامه ها را با استفاده از Spark SQL در AWS EMR Cluster توسعه دهید Develop Applications using Spark SQL on AWS EMR Cluster

• AWS EMR Cluster را برای توسعه برنامه ها با استفاده از Spark SQL راه اندازی کنید Setup AWS EMR Cluster to develop applications using Spark SQL

• با استفاده از AWS EMR Master Node، فضای کاری کد ویژوال استودیو را راه اندازی کنید Setup Visual Studio Code Workspace using AWS EMR Master Node

• برای دسترسی به کتابخانه‌ها یا ماژول‌های Pyspark در AWS EMR Master Node، PYTHONPATH را به‌روزرسانی کنید. Update PYTHONPATH to access Pyspark Libraries or Modules on AWS EMR Master Node

• تنظیم مجموعه داده های مورد نیاز برای Spark SQL Setup Required Data Sets for Spark SQL

• فایل های Retail DB را با استفاده از دستورات AWS CLI در AWS s3 آپلود کنید Upload Retail DB Files to AWS s3 using AWS CLI commands

• شروع کار با Spark SQL و نماهای موقت با استفاده از Spark SQL در AWS EMR C Getting Started with Spark SQL and Temporary Views using Spark SQL on AWS EMR C

• نماهای موقت Spark SQL را برای سفارشات و موارد سفارش ایجاد کنید Create Spark SQL Temporary Views for Orders and Order Items

• با استفاده از Spark SQL در AWS EMR Cluster بپیوندید و جمع کنید Join and Aggregate using Spark SQL on AWS EMR Cluster

• با استفاده از Spark SQL در AWS EMR Cluster، نتایج پرس و جو را به AWS s3 برگردانید Write Query Results back to AWS s3 using Spark SQL on AWS EMR Cluster

• اسکریپت را با استفاده از Spark SQL Commands توسعه دهید Develop Script using Spark SQL Commands

• پارامترسازی نام سطل در اسکریپت Spark SQL Parameterize Bucket Name in Spark SQL Script

• استقرار Spark SQL Script در s3 و اجرا با استفاده از CLI در AWS EMR Master Node Deploy Spark SQL Script in s3 and Run using CLI on AWS EMR Master Node

• اسکریپت Spark SQL را به عنوان مرحله روی خوشه AWS EMR اجرا کنید Deploy Spark SQL Script as Step on AWS EMR Cluster

• نتیجه‌گیری برای توسعه برنامه‌های Spark SQL در کلاستر EMR Conclusion to Develop Spark SQL Applications on EMR Cluster

توسعه AWS Step Function برای استقرار Spark SQL Script در EMR Cluster Develop AWS Step Function to deploy Spark SQL Script on EMR Cluster

• ایجاد ماشین حالت برای استقرار اسکریپت Spark SQL در خوشه AWS EMR Create State Machine to Deploy Spark SQL Script on AWS EMR Cluster

• مروری بر مدیریت خوشه های AWS EMR با استفاده از Boto3 Overview of Managing AWS EMR Clusters using Boto3

• مروری بر AWS boto3 برای مدیریت خوشه های AWS EMR Overview of AWS boto3 to Manage AWS EMR Clusters

• خوشه جریان کار AWS EMR را با استفاده از Python Boto3 ایجاد کنید Create AWS EMR Job Flow Cluster using Python Boto3

• با استفاده از Boto3، اسکریپت Spark SQL را به عنوان مرحله به خوشه AWS EMR اضافه کنید Add Spark SQL Script as Step to AWS EMR Cluster using Boto3

• مروری بر AWS EMR Waiters با استفاده از Python Boto3 Overview of AWS EMR Waiters using Python Boto3

• AWS EMR Cluster را با استفاده از پیشخدمت و Python Boto3 خاتمه دهید Terminate AWS EMR Cluster using waiters and Python Boto3

• نمای کلی AWS Step Functions State Machine برای اجرای Spark SQL در EMR Overview of AWS Step Functions State Machine to execute Spark SQL on EMR

• برای ایجاد خوشه EMR با استفاده از AWS Step Function ماشین حالت ایجاد کنید Create State Machine using AWS Step Function to create EMR Cluster

• از طریق Role to Create AWS EMR Cluster به State Machine مجوز بدهید Grant Permissions to State Machine via Role to Create AWS EMR Cluster

• اضافه کردن اسکریپت Spark SQL به عنوان Step به خوشه AWS EMR با استفاده از توابع مرحله AWS Add Spark SQL Script as Step to AWS EMR Cluster using AWS Step Functions

• افزودن Terminate AWS EMR Cluster Step به AWS Step Functions State Machine Add Add Terminate AWS EMR Cluster Step to AWS Step Functions State Machine

• در زمان اجرا، جزئیات مرحله AWS EMR را به عنوان ورودی به ماشین حالت ارسال کنید Pass AWS EMR Step Details as Input to State Machine at Execution Time

• اعتبار سنجی اجرای اسکریپت Spark SQL به عنوان مرحله AWS EMR با استفاده از State Machine Validate Spark SQL Script Execution as AWS EMR Step using State Machine