آموزش بوت‌کمپ جامع MLOps در AWS: بازآموزی مداوم مدل‌ها - آخرین آپدیت

سرفصل ها و درس ها

مقدمه دوره Course Introduction

• سرفصل‌های دوره Course Syllabus

• دموی نحوه فعال شدن خط لوله بازآموزی How The Retrain Pipeline Gets Kicked Off Demo

• کدهای منبع در گیت‌هاب Github Source Codes

درک AWS، نقش‌های IAM، دامنه‌ها و نوت‌بوک‌ها Understanding AWS, IAM roles, Domains and Notebooks

• ورود به حساب AWS Signing In To AWS

• درک نقش‌ها و مجوزهای IAM Understanding IAM Roles and Permissions

• راه‌اندازی دامنه‌های Sagemaker Setting Up Sagemaker Domains

• درک نوت‌بوک‌های SageMaker Understanding SageMaker Notebooks

نصب بسته‌ها و وابستگی‌های مورد نیاز در نوت‌بوک Sagemaker Installing Required Packages and Dependencies to our Sagemaker Notebook

• نصب نسخه‌های Sagemaker Installing Sagemaker Versions

• وارد کردن کتابخانه‌ها و ابزارها Importing Libraries and Tools

• یادآوری مهم: خاموش کردن سرور AWS Important Reminder, Shut Down Your AWS Server

دسترسی به مجموعه‌داده و تحلیل اکتشافی داده‌ها (EDA) Accessing our Dataset and doing Exploratory Data Analysis

• دانلود داده‌ها از HuggingFace Downloading The Data From HuggingFace

• رفع خطاهای محدودیت نرخ (Rate Limit) Addressing Rate Limit Errors

• تحلیل اکتشافی داده‌ها Exploratory Data Analysis

• آپلود مجموعه‌داده در S3 Uploading Dataset To S3

• تایید مجموعه‌داده در S3 Verifying the Dataset in S3

راه‌اندازی عملیات آموزش Sagemaker با Vision Transformers Setting up our AWS Sagemaker Training Job with Vision Transformers

• پیکربندی تنظیمات آموزش Vision Transformer Configuring our Vision Transformer Train Setup

• ساخت توابع کمکی و ارزیابی‌ها برای اسکریپت آموزش Creating Helper Functions and Evaluations for the Train Script

• ساخت تابع اصلی آموزش در اسکریپت Creating Main Train Function in the Train Script

• تنظیم پیکربندی‌های مدل برای آموزش Setting Up Model Configurations for Training

• دریافت متریک‌ها در حین آموزش Getting Metrics During Training

• ذخیره آرتیفکت‌های مدل Saving Model Artifacts

• راه‌اندازی تخمین‌گر (Estimator) Sagemaker Setting up the Sagemaker Estimator

آموزش Vision Transformer روی GPUهای Nvidia در AWS Training our Vision Transformer on Nvidia GPUs in AWS

• شروع عملیات آموزش روی سرور GPU Starting the Training Job on a GPU Server

• عیب‌یابی خطاهای آموزش Debugging Training Errors

• ارزیابی عملیات آموزش Evaluating the Training Job

استقرار مدل در Sagemaker و راه‌اندازی داشبوردهای نظارتی Deploying our Model to Sagemaker and Setting up Monitoring Dashboards

• ساخت اسکریپت استنتاج - بخش اول Creating the Inference Script Part 1

• ساخت اسکریپت استنتاج - بخش دوم Creating Inference Script Part 2

• ساخت اسکریپت استنتاج - بخش سوم Creating the Inference Script Part 3

• استقرار یک نقطه اتصال زنده Deploying a Live Endpoint

• تست نقطه اتصال و پیکربندی ثبت داده‌ها Testing our Endpoint and our Data Capture Config

• راه‌اندازی داشبوردهای CloudWatch برای نظارت بر خط لوله Setting up CloudWatch Dashboards for Monitoring our Pipeline

• خاموش کردن سرور نوت‌بوک Shutting Down the Notebook Server

ساخت خط لوله بازآموزی Sagemaker Creating our Sagemaker Retrain Pipeline

• درک خط لوله بازآموزی Understanding the Re-Training Pipeline

• ساخت تابع Lambda برای به‌روزرسانی نقطه اتصال در خط لوله SageMaker Creating The Endpoint Update Lambda Function for the SageMaker Pipeline

• پیکربندی نقطه اتصال برای خط لوله Sagemaker و تنظیمات تست A/B Endpoint Configuration for Sagemaker Pipeline and A/B test Setup

• تکمیل تابع Lambda برای استقرار مدل Finishing The Lambda Deploy Model Function

• مقایسه متریک‌های مدل در خط لوله بازآموزی Comparing Model Metrics in the Re-Train Pipeline

• دریافت متریک‌های مدل کاندید Getting the Candidate Model's Metrics

• توضیحات تکمیلی درباره ویدیو قبلی Brief Clarification regarding the Previous Video

• تابع مقایسه متریک‌ها Compare Metrics Function

• ذخیره متریک‌های مقایسه‌ای در دایرکتوری Sagemaker Saving Comparison Metrics to the Sagemaker Directory

• وارد کردن ماژول‌ها برای خط لوله Sagemaker Importing Modules for the Sagemaker Pipeline

• ایجاد تعریف‌های خط لوله (Pipeline Definitions) Creating Pipeline Definitions

• تنظیم مراحل پردازش در خط لوله Sagemaker Setting Up the Processing Steps in the Sagemaker Pipeline

• افزودن مرحله مقایسه به خط لوله Sagemaker Adding The Comparison Step to the Sagemaker Pipeline

• افزودن استقرار شرطی Lambda به خط لوله Sagemaker Adding the Conditional Lambda Deployment to the Sagemaker Pipeline

• توضیحات درباره مرحله شرطی (Condition Step) Clarification on Condition Step

اتصال خط لوله Sagemaker به سایر سرویس‌های AWS Connecting the Sagemaker Pipeline with other AWS Services

• درک تابع Lambda که API Gateway را به خط لوله متصل می‌کند Understand the Lambda Function that Connects API Gateway with our Pipeline

• اتصال Bedrock، API Gateway، نقطه اتصال Sagemaker و خط لوله - بخش اول Connecting Bedrock, API Gateway, Sagemaker Endpoint, and the Pipeline Part 1

• اتصال Bedrock، API Gateway، نقطه اتصال Sagemaker و خط لوله - بخش دوم Connecting Bedrock, API Gateway, Sagemaker Endpoint, and the Pipeline Part 2

• توضیحات درباره تابع لیست نمونه‌های در انتظار Clarification Regarding the List Pending Examples Function

• اتصال Bedrock، API Gateway، نقطه اتصال Sagemaker و خط لوله - بخش سوم Connecting Bedrock, API Gateway, Sagemaker Endpoint, and the Pipeline Part 3

• اتصال Bedrock، API Gateway، نقطه اتصال Sagemaker و خط لوله - بخش چهارم Connecting Bedrock, API Gateway, Sagemaker Endpoint, and the Pipeline Part 4

• اتصال Bedrock، API Gateway، نقطه اتصال Sagemaker و خط لوله - بخش پنجم Connecting Bedrock, API Gateway, Sagemaker Endpoint, and the Pipeline Part 5

• به‌روزرسانی تابع آموزش برای داشتن متد بازآموزی Updating our Train Function to Have the Retrain Method

• راه‌اندازی API Gateway و یکپارچه‌سازی با Lambda Setting Up API Gateway and the Lambda Integration

• وارد کردن فایل تعریف خط لوله به نوت‌بوک Sagemaker Importing Pipeline Definition File to our Sagemaker Notebook

• ایجاد خط لوله Sagemaker و بصری‌سازی گراف آن Creating our Sagemaker Pipeline and Visualising the Graph

• راه‌اندازی نوت‌بوک استقرار برای استقرار حرفه‌ای Setting up Deployment Notebook For Professional Deployment

• تست API Gateway و داشبورد CloudWatch Testing API Gateway and our CloudWatch Dashboard

• بررسی خط لوله بازآموزی Checking the Retraining Pipeline

• به‌روزرسانی خط لوله Sagemaker با سرور GPU مناسب Updating the Sagemaker Pipeline with the Appropriate GPU Server

• به‌روزرسانی تابع Lambda با مجوزهای مناسب Updating Lambda Function with Appropriate Permissions

تست نهایی خط لوله Sagemaker Testing our Final Sagemaker Pipeline

• فعال‌سازی و تست خط لوله بازآموزی - بخش اول Triggering and Testing the Retrain Pipeline Part 1

• فعال‌سازی و تست خط لوله بازآموزی - بخش دوم Triggering and Testing the Retrain Pipeline Part 2

• فعال‌سازی و تست خط لوله بازآموزی - بخش سوم و پاک‌سازی منابع Triggering and Testing the Retrain Pipeline Part 3 AND Resource Cleanup

مقدمه‌ای اختیاری بر Bedrock Optional Introduction to Bedrock

• مقدمه اختیاری بر Bedrock Optional Bedrock Introduction

• آشنایی با مدل‌های پایه (Foundation Models) در Bedrock Introduction to Bedrock Foundation Models

• بررسی عمیق پیکربندی‌های استنتاج Deep Dive Into Inference Configurations

• پروفایل‌های استنتاج، کاتالوگ مدل‌ها، ظرفیت اختصاصی و موارد دیگر Inference Profiles, Model Catalog, Provisioned Throughput and More

• مدیریت پرامپت، بهینه‌سازی، BDA، هسته Agent و موارد دیگر Prompt Management, Optimization, BDA, Agent Core and more

• کاوش در محیط Playground در AWS Bedrock Exploring the Playground in AWS Bedrock

• بررسی ارائه‌دهندگان مدل، مودالیته‌ها، فراخوانی API و قیمت‌گذاری Exploring Modal Providers, Modalities, API Invocation and Pricing

• سهمیه‌ها، مقایسه مدل‌ها، Guardrails و موارد دیگر Quotas, Model Comparison, Guardrails, and More

• مدل‌های انتشار (Diffusion Models) در AWS Playground Diffusion Models in the AWS Playground