آموزش LLMOps و استقرار ML: LLM و GenAI را به تولید بیاورید

سرفصل ها و درس ها

معرفی Introduction

• مقدمه و خوش آمدید Introduction & Welcome

شروع شدن Getting Started

• ساختار دوره: چگونه از این دوره بیشترین بهره را ببرید Course Structure: How to get the Most out of this Course

• تنظیم محیط: منبع این دوره را درست تهیه و استفاده کنید Environment Setup: Prepare and Use the Resource of this Course Right

استراتژی های پیش از استقرار Pre-Deployment Strategies

• اطمینان از صحت مدل: تکنیک های ارزیابی Ensuring Model Correctness: Evaluation Techniques

• بهینه سازی عملکرد: کاوش در ابعاد کلیدی Performance Optimization: Exploring Key Dimensions

• تعادل سرعت و دقت: بهترین روش ها Balancing Speed and Accuracy: Best Practices

مدیریت مدل پیشرفته با ML-Ops Advanced Model Management with ML-Ops

• مبانی مدیریت مدل ML و ML-Ops Fundamentals of ML Model Management and ML-Ops

• مروری بر چارچوب های موثر ML-Ops Overview of Effective ML-Ops Frameworks

• راه اندازی چارچوب ML-Ops: مقدمه ای بر MLflow (عملی) Setting up ML-Ops Framework: Introduction to MLflow (Practical)

• شروع کار با MLflow: یک رویکرد عملی (عملی) Getting Started with MLflow: A Practical Approach (Practical)

• مدل های آموزشی با MLflow: راهنمای عملی (عملی) Training Models with MLflow: A Hands-On Guide (Practical)

• MLflow برای استنتاج مدل: تکنیک ها و تمرین ها (عملی) MLflow for Model Inference: Techniques and Practices (Practical)

• تکنیک های پیشرفته در MLflow: گسترش عملکرد (عملی) Advanced Techniques in MLflow: Extending Functionality (Practical)

تکنیک های پیشرفته استقرار مدل Advanced Model Deployment Techniques

• کارایی از طریق بچینگ و بچ پویا Efficiency through Batching and Dynamic Batches

• کاربرد عملی تکنیک های بچینگ (عملی) Hands-on Application of Batching Techniques (Practical)

• نقش مرتب سازی در استقرار مدل (عملی) The Role of Sorting in Model Deployment (Practical)

• استفاده از کوانتیزاسیون برای کارایی مدل (عملی) Leveraging Quantization for Model Efficiency (Practical)

• استراتژی‌های استنتاج: موازی‌سازی، توجه فلش، GPTQ و AWQ، Inference Strategies: Parallelism, Flash Attention, GPTQ & AWQ,

• مقیاس بندی نسل بعدی: LoRa، توجه صفحه، صفر Next-Gen Scaling: LoRa, Paged Attention, ZeRO

استنتاج اقتصاد یادگیری ماشین The Economics of Machine Learning Inference

• زمینه وسیع‌تر هوش مصنوعی: چشم‌انداز وسیع‌تر The Broader Context of AI: A Wider Perspective

• اندازه‌گیری عملکرد: معیارهای کلیدی برای پروژه‌های بزرگ هوش مصنوعی Measuring Performance: Key Metrics for Large AI Projects

• ارزیابی استراتژی های استقرار برای هزینه و کارایی Evaluating Deployment Strategies for Cost & Efficiency

• معیارهای دنیای واقعی برای موفقیت: مطالعات موردی و بینش Real-World Benchmarks for Success: Case Studies and Insights

مدیریت خوشه موثر برای استقرار ML در مقیاس بزرگ Effective Cluster Management for Large Scale ML Deployments

• استنتاج پایه - اولین سطوح استقرار (عملی) Basic Inference - First Levels of Deployment (Practical)

• ورود به بهینه سازی ها - سطوح پیشرفته استقرار (عملی) Entering Optimisations - Advanced Levels of Deployment (Practical)

• راه اندازی دسترسی به داده ها در محیط های توزیع شده (عملی) Setting Up Data Access in Distributed Environments (Practical)

• توزیع داده ها در یک کلاستر با RabbitMQ (عملی) Distributing Data Across a Cluster with RabbitMQ (Practical)

• مبانی محاسبات توزیع شده با اشعه (عملی) Foundations of Distributed Computing with Ray (Practical)

• مقیاس بندی مدل های زبان بزرگ در یک خوشه (عملی) Scaling Large Language Models on a Cluster (Practical)