لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش مدلسازی و بهینهسازی عملکرد (Performance Modeling and Optimization)
- آخرین آپدیت
دانلود Performance Modeling and Optimization
نکته:
ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.
نمونه ویدیوها:
توضیحات دوره:
این دوره آموزشی به شما میآموزد که چگونه سرعت اجرای یک گام استنتاج (Inference) در مدلهای زبانی بزرگ (LLM) را روی سختافزارهای مختلف پیشبینی کنید، این پیشبینیها را با اندازهگیریهای واقعی بسنجید و از تفاوتهای بهدستآمده برای یافتن بهینهسازیهای کاربردی استفاده کنید.
شما با تعیین محدوده زمانی یک عملیات بر اساس FLOPs و بایتها شروع خواهید کرد و سپس از مدل Roofline و نقطه Ridge برای تشخیص اجرای محدود به محاسبات (Compute-limited) از اجرای محدود به حافظه (Memory-limited) استفاده میکنید. همچنین یاد میگیرید که ترافیک دادهها را در سطوح مختلف حافظه شمارش کنید و تحلیل کنید که تصمیمات کامپایلر در جایگذاری، چگونه جابهجایی دادههای خارج از تراشه را در معماریهای مبتنی بر Scratchpad تغییر میدهد.
سپس دوره از مدلهای تحلیلی به سمت اندازهگیریهای عملی حرکت میکند. شما از PyTorch Profiler برای خواندن ردپای اجرا (Execution Traces) و تفکیک زمانی که توسط محاسبات، جابهجایی حافظه، همگامسازی و سربارهای نرمافزاری اشغال شده است، استفاده خواهید کرد. در یک مثال عملی، یک حلقه Decode کند را از مرحله تشخیص تا رفع مشکل بررسی میکنیم. همچنین متدولوژی بنچمارک برای کدهای کامپایل شده، مدلهای هزینه کامپایلر، Shape Bucketing، پیشکامپایل گرمکردن (Warmup) و Decode دستهای را مطالعه خواهید کرد.
در بخش آزمایشگاه، شما محاسبات بهدستآمده و پهنای باند را روی یک GPU اندازهگیری میکنید، Prefill و Decode را روی مدل Roofline قرار میدهید، یک Batch Sweep اجرا میکنید، زمان رسیدن به اولین توکن (Time to First Token) و زمان هر توکن خروجی را گزارش میکنید و پیشبینی میکنید که یک هدف Scratchpad چگونه ترافیک خارج از تراشه را تغییر میدهد. در پایان، یک آزمون درجهبندی شده ۲۰ سوالی تمامی مباحث دوره را پوشش میدهد.
سرفصل ها و درس ها
آزمایشگاه ۶: تحلیل Roofline برای استنتاج LLM
Lab 6: Roofline Analysis for LLM Inference
آزمون درجهبندی شده مدلسازی و بهینهسازی عملکرد
Performance Modeling and Optimization Graded Quiz
نمایش نظرات