آموزش طراحی سیستم AI و MLOps: از داده‌های خام تا AWS Kubernetes - آخرین آپدیت

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه Introduction

• معرفی تکنولوژی‌های مورد استفاده (TechStack) TechStack Introduction

• بررسی معماری سیستم Architecture Walkthrough

• استراتژی گیت‌هاب Github Strategy

• بررسی راهکار نهایی Solution Walkthrough

• دموی پروژه مراقبت‌های بهداشتی HealthCare Project Demo

ساخت لایه تحلیل SQL Building SQL Analysis Layer

• مقدمه Introduction

• درک مجموعه‌داده بیماران Understanding Patients Dataset

• درک مجموعه‌داده بازدیدها Understanding Visits Dataset

• درک مجموعه‌داده صورت‌حساب‌ها Understanding Billing Dataset

• رابطه بین مجموعه‌داده‌ها Relationship between the Datasets

• ایجاد راهکار Creating the Solution

• افزودن فایل Requirements.txt Adding Requirements.txt file

• نصب پیش‌نیازها با مدیریت بسته UV Installing Requirements using UV Package Manager

• بارگذاری فایل‌های CSV Loading CSV Files

• بارگذاری CSV در جداول SQLite Loading CSV into SQLite Tables

• استخراج داده‌های جداول Fetching Tables Data

• تحلیل حجم کاری بخش‌ها Department Workload Analysis

• تحلیل‌های عملیاتی و مالی Operational and Financial Analytics

• بررسی کیفیت داده‌ها Data Quality Check

• خروجی گرفتن از جدول مدل Exporting the Model Table

تحلیل اکتشافی داده‌ها Exploratory Data Analysis

• مقدمه Introduction

• وارد کردن و توصیف داده‌ها Importing and Describing the Data

• تحلیل توزیع Distribution Analysis

• اعتبارسنجی منطق کسب‌وکار Business Logic Validation

• تحلیل توزیع - بخش دوم Distribution Analysis - Part 2

• درک توزیع هیستوگرام Understanding Histogram Distribution

• شناسایی داده‌های پرت (Outliers) Detecting Outliers

• درک همبستگی ویژگی‌ها Understanding Feature Coorelations

• درک عدم توازن کلاس‌ها Understanding Class Imbalance

• داده‌های بد در مقابل داده‌های صحیح Bad Data Vs Correct Data

• درک مهندسی ویژگی‌ها (Feature Engineering) Understanding Feature Enginnering

• اصلاح مجموعه‌داده Correcting the Dataset

• چگونه مانند یک معمار ML فکر کنیم: انتخاب ویژگی‌های درست How to Think Like an ML Architect: Choosing the Right Features

مدل الف: طبقه‌بندی ریسک بازدید Model A: Visit Risk Classication

• مقدمه Introduction

• وارد کردن کتابخانه‌های مورد نیاز Importing Required Libraries

• انتخاب ویژگی‌ها Selecting the Features

• تقسیم آموزش/تست بر اساس زمان Doing Time Based Train/Test Split

• ساخت خط لوله پیش‌پردازش Building Preprocessing Pipeline

• ساخت مدل رگرسیون لجستیک Building the Logistic Regression Model

• ساخت مدل Random Forest Building the Random Forest Model

• ساخت Label Encoder Building Label Encoder

• درک خروجی مدل XGBoost Understanding XG Boost Model Outcome

• تنظیم هایپرپارامترها Hyper Parameter Tuning

مدل ب: طبقه‌بندی نتیجه درخواست بیمه Model B: Claim Outcome Classification

• مقدمه Introduction

• تعریف ویژگی‌های درخواست بیمه Defining Claim Features

• توزیع وضعیت درخواست‌ها Claim Status Distribution

• تقسیم‌بندی بر اساس زمان Time Based Splitting

• ایجاد خط لوله پیش‌پردازش Creating the PreProcessing Pipeline

• مدل پایه رگرسیون لجستیک Logistic Regression Baseline Model

• مقایسه مدل‌های LR، RF و XGBoost Comparing LR, RF and XGBoost Models

• ذخیره مدل و شمای ویژگی‌ها Saving the Model and Feature Schema

MLflow: ردیابی آزمایش‌ها و ثبت مدل MLflow: Experiment Tracking & Model Registry

• مقدمه Introduction

• نصب MLflow Installing ML FLow

• اجرای MLflow Running ML Flow

• راه‌اندازی آزمایش مراقبت‌های بهداشتی Setting up Healthcare Experiment

• بارگذاری مدل ذخیره شده Loading the Saved Model

• بارگذاری مجموعه‌داده Loading the DataSet

• بارگذاری شمای ویژگی‌ها Loading the Feature Schema

• تقسیم زمانی برای مدل‌های ریسک و درخواست Doing Time Based Split for Risk and Claim

• اجرای MLflow برای مدل ریسک و درخواست Running ML Flow for Risk and Claim Model

• ثبت مدل (Registering) Registering the Model

• ارتقای مدل به مرحله Staging Promoting the Model to Staging

• انتقال مدل به محیط تولید (Production) Moving the Model to Production

• دریافت آخرین نسخه تولید Fetching the Current Production Version

• پیش‌بینی ریسک با استفاده از نسخه تولید Predicting the Risk from Production Version

• ساخت خط لوله آموزش MLflow آماده تولید Building a Production Ready MLflow Training Pipeline

DVC: نسخه‌بندی داده‌ها و مدل‌ها DVC: Data & Model Versioning

• مقدمه Introduction

• مقداردهی اولیه DVC DVC Initialization

• افزودن جدول مدل در DVC Adding Model Table in DVC

• افزودن پوشه مدل‌ها در DVC Adding Models Folder in DVC

• افزودن فضای ذخیره‌سازی Remote Adding Remote Storage

• ایجاد خط لوله DVC برای ریسک Creating DVC Pipeline for Risk

• رفع مشکلات خط لوله Fixing the Pipeline Issue

• ایجاد خط لوله درخواست و تایید خط لوله‌ها Creating the Claim Pipe line and Verifying the Pipelines

• بررسی وضعیت خط لوله Checking Pipeline Status

• جمع‌بندی جریان DVC Wrapping up the DVC Flow

سرویس AI با FastAPI FastAPI AI Service

• مقدمه Introduction

• ایجاد فایل اصلی (Main) Creating the Main File

• ایجاد روترهای ریسک و درخواست Creating the Risk and Claim Routers

• اصلاح مسیر (Route) درخواست Fixing the Claim Route

• ایجاد شمای ریسک و درخواست Creating Risk and Claim Schema

• استفاده از شماها در روتر Using the Schemas inside Router

• اصلاح روتر Fixing the Router

• ایجاد سرویس‌ها Creating the Services

• استفاده از JobLib برای بارگذاری مدل‌ها Using the JobLib to load the Models

• اتصال پیش‌بینی‌کننده و تست Connecting the Predictor and Testing

• درباره رابط کاربری Gradio About Gradio UI

• نصب بسته‌های مورد نیاز Installing Required Packages

• پیاده‌سازی اپلیکیشن Gradio Implementing Gradio App

• اصلاح اپلیکیشن Gradio Fixing the Gradio App

لایه مانیتورینگ Monitoring Layer

• مقدمه Introduction

• ایجاد لاگر (Logger) Creating Logger

• اتصال لاگر به پیش‌بینی‌کننده Wiring up Logger in Predictor

• هش کردن ورودی‌ها قبل از ثبت لاگ Hashing the Input before Logging

• درک شاخص PSI Understanding PSI

• درک حلقه بازخورد MLOps Understanding MLOps Feedback Loop

• پیاده‌سازی مانیتور رانش (Drift Monitor) Implementing Drift Monitor

داکر و AWS ECR Docker & AWS ECR

• مقدمه Introduction

• تغییرات فایل Gradio برای تنظیمات داکر Gradio file changes for Docker Setup

• ساخت Dockerfile برای API Creating Docker File for API

• ساخت Dockerfile برای Gradio Creating Docker File for Gradio

• تغییر بارگذاری مدل برای خواندن فایل محلی Model Loader Change to load the Local File

• ساخت فایل Docker Compose Creating Docker Compose File

• دموی Docker Compose Docker Compose Demo

• ایجاد مخزن ECR و تنظیمات AWS Creating ECR Repo and Doing AWS Configuration

• تگ زدن و ارسال (Push) داکر Docker Tag & Push

CI/CD با GitHub Actions CI/CD with GitHub Actions

• مقدمه Introduction

• ایجاد تست‌های مسیر (Route Tests) Creating Routes Test

• ایجاد تست‌های شما (Schema Tests) Creating Schema Test

• ایجاد تست‌های آرتیفکت Creating Artifacts Test

• اجرای تست‌های پایتون به صورت محلی Running Python Test Locally

• ایجاد خط لوله CI Creating the CI Pipeline

• اصلاح خط لوله CI Fixing the CI Pipeline

• ایجاد S3 Bucket برای DVC Creating S3 Bucket for DVC

• تنظیم Remote DVC روی S3 Configuring DVC Remote on S3

• به‌روزرسانی GitHub Actions با S3 Remote Updating Github Actions with DVC S3 Remote

• نصب ابزار EKSCTL برای EKS Installing EKSCTL Tool for EKS

• ایجاد کلاستر EKS Creating EKS Cluster

• تایید کلاستر EKS Verifying the EKS Cluster

• ساخت فایل‌های استقرار K8s Creating K8s Deploy Files

• ایجاد خط لوله CD Creating the CD Pipeline

• جمع‌بندی Conclusion