آموزش بهینه‌سازی هوش مصنوعی مولد روی پردازنده‌های Arm - آخرین آپدیت

ماژول ۱: چالش‌های استنتاج هوش مصنوعی مولد در ابر و لبه Module 1: Challenges Facing Cloud and Edge GenAI Inference

• خوش‌آمدگویی (۱) W (1) Welcome

• شناسایی روندهای هوش مصنوعی مولد KV1 (1) Recognizing Generative AI Trends

• درک تفاوت‌های معماری دستگاه‌ها KV2 (1) Understanding Device Architecture Differences

• درک محدودیت‌های حافظه KV3 (1) Understanding Memory Constraints

• درک محدودیت‌های محاسباتی KV4 (1) Understanding Computational Constraints

ماژول ۲: مدل‌های هوش مصنوعی مولد Module 2: Generative AI Models

• خوش‌آمدگویی (۲) W (2) Welcome

• درک معماری ترنسفورمر KV1 (2) Understanding the Transformer Architecture

• چگونه یک ترنسفورمر را به مدل زبان بزرگ (LLM) تبدیل کنیم KV2 (2) How to Turn a Transformer Into a Large Language Model (LLM)

• نحوه عملکرد استنتاج LLM KV3 (2) How LLM Inference works

• بهینه‌سازی حجم‌های کاری هوش مصنوعی مولد روی پردازنده‌های Arm SV (2) Optimizing Generative AI Workloads on Arm Processors

ماژول ۳: فریم‌ورک‌های یادگیری ماشین و کتابخانه‌های بهینه‌شده Module 3: ML Frameworks and Optimized Libraries

• خوش‌آمدگویی (۳) W (3) Welcome

• بهره‌وری هزینه و انرژی با CPUها KV1 (3) Cost and Energy Efficiency with CPUs.

• چالش‌های افزایش پیچیدگی مدل KV2 (3) Challenges of Increasing Model Complexity

• محاسبات مبتنی بر گراف KV3 (3) Graph-Based Computation

• حالت‌های اجرا و تکنیک‌های کامپایل KV4 (3) Execution Modes and Compilation Techniques

• اکوسیستم فریم‌ورک‌ها KV5 (3) Framework Ecosystem

• بهینه‌سازی حجم‌های کاری هوش مصنوعی مولد روی پردازنده‌های سرور Arm SV (3) Optimizing Generative AI Workloads on Arm Server Processors

ماژول ۴: بهینه‌سازی برای استنتاج CPU Module 4: Optimization for CPU Inference

• خوش‌آمدگویی (۴) W (4) Welcome

• به‌کارگیری بهینه‌سازی‌های الگوریتمی برای استنتاج CPU KV1 (4) Applying Algorithmic Optimizations for CPU Inference

• بهینه‌سازی ضرب ماتریسی KV2 (4) Optimizing Matrix Multiplication

• بهره‌گیری از فناوری‌های SIMD پردازنده‌های Arm برای استنتاج سریع‌تر KV3 (4) Leveraging Arm CPU SIMD Technologies for Faster Inference

• ترکیب این روش‌ها با Kleidi µ Kernel برای به حداکثر رساندن عملکرد KV4 (4) Combining these Methods with the Kleidi µ-Kernel to Maximize Performance

• بنچ‌مارک مقایسه‌ای استنتاج روی دستگاه‌های سرور و لبه Arm SV (4) Comparative Inference Benchmarking on Arm Server and Edge Devices