آموزش ارزیابی LLMها: تست و اثبات معناداری آماری - آخرین آپدیت

دانلود Evaluate LLMs: Test and Prove Significance

نکته: ممکن هست محتوای این صفحه بروز نباشد ولی دانلود دوره آخرین آپدیت می باشد.

نمونه ویدیوها: (صرفا برای مشاهده نمونه ویدیو، ممکن هست نیاز به شکن داشته باشید.)

توضیحات دوره: دوره «ارزیابی LLMها: تست و اثبات معناداری» یک دوره سطح متوسط برای مهندسان یادگیری ماشین (ML)، متخصصان هوش مصنوعی و دانشمندان داده است که مسئولیت اثبات ارزش به‌روزرسانی‌های مدل را بر عهده دارند. هنگام اتخاذ تصمیمات حساس برای استقرار مدل، یک امتیاز دقت ساده کافی نیست. این دوره شما را با روش‌های آماری برای اعتبارسنجی دقیق بهبودهای عملکرد مدل‌های زبانی بزرگ (LLM) آشنا می‌کند. شما یاد خواهید گرفت که با محاسبه و تفسیر فواصل اطمینان (Confidence Intervals)، عدم قطعیت را کمی‌سازی کنید و با اجرای آزمون‌های رسمی فرضیه مانند آزمون کای-دو (Chi-Square)، اثبات کنید که آیا تغییرات ایجاد شده معنادار هستند یا خیر. از طریق آزمایشگاه‌های عملی با استفاده از کتابخانه‌های پایتون مانند SciPy و Matplotlib، خروجی‌های مدل را تحلیل کرده، معناداری آماری را تست می‌کنید و بصری‌سازی‌های متقاعدکننده‌ای با نوارهای خطا (Error Bars) ایجاد می‌کنید تا یافته‌های خود را به طور شفاف به ذینفعان منتقل کنید. در پایان این دوره، شما قادر خواهید بود از ارزیابی‌های ذهنی مانند «به نظر می‌رسد بهتر شده است» فاصله بگیرید و با اطمینان بگویید «می‌توانیم ثابت کنیم که بهتر است»، تا هر تصمیم استقرار بر اساس شواهد آماری متقن باشد.

سرفصل ها و درس ها

اعتبارسنجی آماری و گزارش عملکرد LLM Statistical Validation and Communication of LLM Performance

چرا امتیازات تک‌عددی گمراه‌کننده هستند Why Single Scores Lie
آموزش تصویری: محاسبه فواصل ویلسون در پایتون Screencast: Calculating Wilson Intervals in Python
چرا شهود در تست‌های A/B شکست می‌خورند Why Gut Feelings Fail in A/B Testing
اجرای آزمون کای-دو در پایتون Running a Chi-Square Test in Python
بصری‌سازی فواصل اطمینان با Matplotlib Visualizing Confidence with Matplotlib