آموزش یک خط لوله یادگیری ماشین AWS برای تشخیص اشیا بسازید

سرفصل ها و درس ها

چیزی که ما می سازیم What we are Building

• بیایید به پروژه پایانی خود نگاه کنیم Let's look at our End Project

شروع با AWS و دریافت مجموعه داده ما Getting Started with AWS and Getting our Dataset

• کد منبع دوره Source Code for the Course

• راه اندازی IAM User Setting up IAM User

• توضیح در مورد AWS S3 Clarification about AWS S3

• دریافت داده برای پروژه ما Getting Data for our Project

• دریافت مجموعه داده قسمت 1 Getting dataset Part 1

• دریافت مجموعه داده قسمت 2 Getting dataset Part 2

• دریافت مجموعه داده قسمت 3 Getting dataset Part 3

• دریافت مجموعه داده قسمت 4 Getting dataset Part 4

راه اندازی AWS SageMaker Setting up AWS SageMaker

• دامنه SageMaker ایجاد کنید Create SageMaker Domain

• نوت بوک SageMaker Studio را ایجاد کنید Create SageMaker Studio Notebook

• آموزش توقف و راه اندازی نوت بوک های SageMaker Learning how to Stop and Start SageMaker Notebooks

• هسته نوت بوک SageMaker Studio ما را دوباره راه اندازی می کنیم Restarting our SageMaker Studio Notebook Kernel

• آپلود و استخراج داده ها در SageMaker Upload and Extract Data in SageMaker

• حذف فایل های استفاده نشده Deleting Unused Files

تجزیه و تحلیل داده های اکتشافی Exploratory Data Analysis

• بارگیری و درک داده های ما Loading and Understanding our Data

• شمارش کل تصاویر و گرفتن شناسه های تصویر Counting total Images and getting Image ids

• دریافت شناسه نام کلاس Getting Classname Identifier

• نگاهی به نمونه های تصادفی از Dataframe ما Looking at Random Samples from our Dataframe

• درک حاشیه نویسی Understanding Annotations

• تجسم تصاویر تصادفی قسمت 1 Visualize Random Images Part 1

• تجسم تصاویر تصادفی قسمت 2 Visualise Random Images Part 2

• تفاوت Matplotlib بین ()plt.show و ()plt.imshow Matplotlib difference between plt.show() and plt.imshow()

• تجسم چند تصویر همزمان Visualising Multiples Images at Once

• تصحیح عملکرد ما Correcting our Function

• تجسم جعبه های مرزی قسمت 1 Visualising Bounding Boxes Part 1

• تجسم جعبه های مرزی قسمت 2 (درس تئوری) Visualising Bounding Boxes Part 2 (Theory Lesson)

• تجسم تصاویر تصادفی با جعبه های محدود قسمت 1 Visualising Random Images with Bounding Boxes Part 1

• بیانیه چاپی اشتباه Wrong Print Statement

• تجسم تصاویر تصادفی با جعبه های محدود قسمت 2 Visualising Random Images with Bounding Boxes Part 2

• اگر با تجسم داده مشکل دارید، این درس را بخوانید Read this Lesson if you have issues with Data Visualization

تمیز کردن و تقسیم داده های ما Cleaning and Splitting our Data

• Train and Validation Dataframes را تمیز کنید Clean our Train and Validation Dataframes

• Dataframe را به Test و Train تقسیم کنید Split Dataframe into Test and Train

• دریافت شناسه تصاویر Get Images IDs

• درس تئوری تقسیم شناسه ها Splitting IDs Theory Lesson

• توضیح در مورد ویدیوی بعدی Explanation Regarding Next video

• انتقال تصاویر به پوشه های مناسب Moving Images to Appropriate Folders

• شمارش کنید که چند تصویر آموزشی و آزمایشی داریم Count how many Train and Test Images we have

• تأیید اینکه تصاویر ما به درستی منتقل شده اند، قسمت 1 Verifying that our Images have been moved Properly Part 1

• تأیید اینکه تصاویر ما به درستی منتقل شده اند، قسمت 2 Verifying that our Images have been moved Properly Part 2

مهندسی تاریخ Date Engineering

• با استفاده از Mxnet Using Mxnet

• اطلاعات اضافی در مورد فرمت RecordIO Additional Info regarding RecordIO format

• با استفاده از Mxnet RecordIO Using Mxnet RecordIO

• اصلاح با توجه به عرض برچسب Correction Regarding Label width

• آماده سازی Dataframe به فرمت RecordIO قسمت 1 Preparing Dataframes to RecordIO format Part 1

• آماده سازی Dataframe به فرمت RecordIO قسمت 2 Preparing Dataframes to RecordIO format Part 2

• انتقال تصاویر به دایرکتوری صحیح Moving Images To Correct Directory

• توضیح در مورد ویدیوی قبلی Explanation Regarding the Previous Video

• بررسی اینکه همه تصاویر به درستی جابجا شده اند Verifying that all Images have been Moved Properly

• قبل از رفتن به سخنرانی بعدی بخوانید Read Before Proceeding to the next Lecture

• ایجاد فایل های Production .lst (اختیاری) Creating Production .lst files (Optional)

افزایش داده ها Data Augmentation

• نظریه افزایش داده ها Data Augmentation Theory

• تقویت یک تصویر تصادفی Augmenting a Random Image

• انتقال تصاویر به ساختار پوشه جدید Moving Images to new Folder structure

• تجسم تصاویر تصادفی افزوده شده قسمت 1 Visualising Random Augmented Images Part 1

• تجسم تصاویر تصادفی افزوده شده قسمت 2 Visualising Random Augmented Images Part 2

• اگر در تجسم تصاویر خود مشکل دارید، این درس را بخوانید Read this Lesson if you have issues visualising your images

• ایجاد تابع افزایش داده قسمت 1 Creating Data Augmentation Function Part 1

• ایجاد تابع افزایش داده قسمت 2 Creating Data Augmentation Function Part 2

• بررسی تعداد تصاویر قبل از اجرای تابع Checking Image Counts Before running the Function

• ویدئوی اصلاحی در مورد عملکرد ما Correctional Video regarding our Function

• افزایش مجموعه داده های تست و ایجاد فایل های تست lst Augmenting Test Dataset and Creating test .lst Files

• تقویت مجموعه داده قطار و ایجاد فایل lst. قسمت 1 Augmenting Train Dataset and Creating .lst File Part 1

• افزایش مجموعه داده قطار و ایجاد فایل lst. قسمت 2 Augmenting Train Dataset and Creating .lst File Part 2

• تأیید اینکه افزایش داده کار کرده است Verifying that Data Augmentation has Worked

راه اندازی و ایجاد شغل آموزشی ما Setting up and Creating our Training Job

• افزایش سهمیه خدمات Increasing Service Quotas

• نصب وابستگی ها و بسته ها Installing dependencies and Packages

• ایجاد فایل های RecordIO ما Creating our RecordIO Files

• در حال آپلود اطلاعات RecordIO در سطل S3 ما Uploading our RecordIO data to our S3 bucket

• دانلود الگوریتم تشخیص شی از AWS ECR Downloading Object Detection Algorithm from AWS ECR

• تنظیم شی برآوردگر ما Setting up our Estimator Object

• راه اندازی Hyperparameters Setting up Hyperparameters

• اطلاعات اضافی برای تنظیم Hyperparameter در AWS Additional Information for Hyperparameter Tuning in AWS

• تنظیم محدوده هایپرپارامتر Setting up Hyperparameter Ranges

• تنظیم Hyperparameter Tuner Setting up Hyperparameter Tuner

• اطلاعات اضافی در مورد mAP (میانگین دقت متوسط) Additional Information about mAP( mean average precision)

• شروع کار آموزشی قسمت 1 Starting the Training Job Part 1

• شروع کار آموزشی قسمت 2 Starting the Training Job Part 2

• اطلاعات بیشتر در مورد امتیازات mAP More on mAP Scores

• نظارت بر کار آموزشی Monitoring the Training Job

• به کار تنظیم Hyperparameter Finished ما نگاه می کنیم Looking at our Finished Hyperparameter Tuning Job

تجزیه و تحلیل نتایج شغلی آموزشی Analysing Training Job Results

• استقرار مدل ما در یک نوت بوک Deploying our Model in a Notebook

• ایجاد تابع تجسم برای استنتاج Creating Visualization Function for Inferences

• تست نقطه پایانی ما قسمت 1 Testing our Endpoint Part 1

• تست نقطه پایانی قسمت 2 Testing out Endpoint Part 2

• تست نقطه پایانی ما از تصاویر تصادفی از اینترنت Testing our Endpoint from Random Images from the Internet

راه اندازی Batch Transformation Setting up Batch Transformation

• ابتدا Batch Transformation Job را به صورت محلی تنظیم کنید Setting up Batch Transformation Job locally first

• شروع کار تبدیل دسته ای ما Starting our Batch Transformation Job

• تجزیه و تحلیل کار تبدیل دسته ای ما Analysing our Batch Transformation Job

• تجسم نتایج تبدیل دسته ای Visualising Batch Transformation Results

• اگر با تجسم ها مشکل دارید به این درس نگاه کنید Look at this lesson if you have trouble with the Visualisations

راه اندازی خط لوله یادگیری ماشینی ما Setting Up Our Machine Learning Pipeline

• قبل از تماشای درس بعدی این را بخوانید Read this Before Watching the Next Lesson

• راه اندازی AWS Step Function Setting up AWS Step Function

• بررسی کنید که CloudFormation کار کرده است Verify that CloudFormation has worked

• پیکربندی Batch Transform Lambda Part 1 Configure Batch Transform Lambda Part 1

• پیکربندی Batch Transform Lambda Part 2 Configure Batch Transform Lambda Part 2

• ایجاد Check Batch Transform Job Lambda Create Check Batch Transform Job Lambda

• رفع اشتباهات تایپی و نحوی Fixing typos and Syntax Erros

• فرمت خروجی JSON JSON output Format

• ایجاد خروجی دسته تمیز کردن تابع لامبدا قسمت 1 Creating Cleaning Batch output Lambda Function Part 1

• ایجاد خروجی Cleaning Batch تابع لامبدا قسمت 2 Creating Cleaning Batch output Lambda Function Part 2

• پیکربندی تابع مرحله ما قسمت 1 Configuring our Step Function Part 1

• پیکربندی عملکرد مرحله ما قسمت 2 Configuring our Step Function Part 2

• پیکربندی تابع مرحله ما قسمت 3 Configuring our Step Function Part 3

• داده های تست را در S3 آپلود کنید Upload Test Data to S3

• تست تابع Step ما Testing our Step Function

• رفع خطاها Fixing Errors

• تست عملکرد مرحله ما با اصلاحات Testing our Step Function with the Corrections

• تأیید اینکه تابع Step ما با موفقیت اجرا شد Verifying that our Step Function Ran Successfully

• در حال بارگیری فایل JSON ما از S3 Donwloading our JSON file from S3

• استفاده از Event Bridge برای راه اندازی Cron Job برای خط لوله یادگیری ماشینی Using Event Bridge to set up Cron Job for our Machine Learning Pipeline

• بررسی کنید که Cron Job کار می کند Verify that the Cron Job works

• تأیید اینکه خط لوله ما با موفقیت اجرا شد Verifying that our Pipeline Ran Successfully

• راه اندازی دفترچه تولید Setting up Production Notebook

• توسعه خط لوله یادگیری ماشینی ما Extending Our Machine Learning Pipeline

• کدنویسی دفترچه کار فرآیندی ما قسمت 1 Coding our Process Job Notebook Part 1

• کدنویسی قسمت 2 دفترچه یادداشت کار فرآیندی ما Coding our Process Job Notebook Part 2

• کدنویسی قسمت 3 دفترچه یادداشت کار فرآیندی ما Coding our Process Job Notebook Part 3

• کدنویسی دفترچه کار فرآیندی ما قسمت 4 Coding our Process Job Notebook Part 4

• بررسی اینکه تصاویر به درستی ذخیره شده اند Verifying that the Images have been Saved Properly

• تولید نوت بوک ما قسمت 1 Productionizing our Notebook Part 1

• تولید نوت بوک ما قسمت 2 Productionizing our Notebook Part 2

• بررسی کنید که خط لوله یادگیری ماشین کامل کار می کند Verify that the Entire Machine Learning Pipeline works

• موارد استفاده نشده از Sagemaker EFS حذف شد Deleted Unused items from Sagemaker EFS

ایجاد برنامه وب ما Creating our Web Application

• برنامه وب را از Github کلون کنید Clone the Web Application from Github

• راه اندازی MongoDB Setup MongoDB

• به MongoDB متصل شوید و اعتبارنامه AWS را دریافت کنید Connect to MongoDB and get AWS Credentials

• پیکربندی فایل Env Configuring Env file

• ماژول های Node را نصب کنید Install Node modules

• بررسی برنامه MERN قسمت 1 MERN app Walkthrough Part 1

• برنامه MERN قسمت 2 MERN app Walkthrough Part 2

• مرور برنامه MERN قسمت 3 MERN app Walkthrough Part 3

• توضیح تصاویر خروجی Output Images Explanation

• برنامه MERN بررسی قسمت 4 MERN app Walkthrough Part 4

• قسمت 5 راهنمای برنامه MERN MERN app Walkthrough Part 5

Outro Outro

• پاکسازی منابع Clean Up Resources

• اگر هنوز شارژ دارید If you still have Charges

• تبریک می گویم Congratulations