مقدمه ای بر تست مدل های هوش مصنوعی، LLM ها و چت بات ها

سرفصل ها و درس ها

مقدمه Introduction

• مقدمه ای بر مواد Introduction to Material

• در مورد مربی شما About your instructor

• مقدمه ای بر هوش مصنوعی مولد Introduction to Generative Artificial Intelligence

• نسخه ی نمایشی قابلیت های هوش مصنوعی Demo On AI Capabilities

• تاریخچه هوش مصنوعی از 1950 تا 2024 History of AI from 1950 to 2024

راه اندازی محیط Setting up Environment

• VS Code را نصب کنید Install VS Code

• نصب پایتون Installing Python

• پایتون Dependencies - PIP را نصب کنید Install Python Dependencies - PIP

• NodeJS و NPM را نصب کنید Install NodeJS and NPM

7 معیار تست LLM استفاده شده 7 Used LLM Testing Benchmarks

• مقدمه ای بر معیارسنجی برای LLM Introduction to Benchmarking for LLMs

• 7 مدل معیار 7 Benchmarking Models

• TruthfulQA - حقیقت TruthfulQA - Truthfulness

• Python - نسخه ی نمایشی - محک زدن Open AI CHAT GPT - TruthfulQA Python - Demo - Benchmarking Open AI CHAT GPT - TruthfulQA

• Python - نسخه ی نمایشی - محک زدن Open AI CHAT GPT - MMLU Python - Demo - Benchmarking Open AI CHAT GPT - MMLU

• Python - نسخه ی نمایشی - محک زدن Open AI CHAT GPT - HumanEval Python - Demo - Benchmarking Open AI CHAT GPT - HumanEval

مقدمه ای بر هوش مصنوعی Introduction to Artificial Intelligence

• چه چیزی هوش مصنوعی را تشکیل می دهد What makes up AI

• مدل‌های زبان بزرگ (LLM) در هوش مصنوعی کجا قرار می‌گیرند Where do Large Language Models(LLM) fit into AI

• پردازش زبان طبیعی Natural Language Processing

• انواع یادگیری ماشینی Types of Machine Learning

• اهمیت داده های آموزشی Importance of Training Data

• یادگیری ماشین - ML تحت نظارت Machine Learning - Supervised ML

• یادگیری ماشین - ML بدون نظارت Machine Learning - Unsupervised ML

• یادگیری ماشین - ML تقویت شده Machine Learning - Reinforced ML

• شبکه های عصبی و یادگیری عمیق Neural Networks and Deep Learning

• مدل زبان بزرگ چیست - LLM What is a Large Language Model - LLM

• مدل معماری ترانسفورماتور Transformer Architecture Model

تست عملکردی LLM - دیدگاه نرم افزار سنتی LLM Functional Testing - Traditional Software Perspective

• انواع تست در نرم افزار Types of Testing in Software

• انواع تست برای LLM | مدل های پایه Testing Types for LLMs | Foundation Models

• رویکرد تست کلی برای LLM Overall Testing Approach to LLMs

• تست تولید محتوا پایه برای LLM Basic Content Generation Testing for LLMs

• تست دما LLM Temperature Testing of LLMs

• کامل بودن عملکردی Functional Completeness

• صحت عملکردی Functional Correctness

• تست دقت Accuracy Testing

• تست تکرارپذیری Repeatability Testing

• تست چندوجهی Multimodal Testing

• اعتبارسنجی کارایی و سادگی Efficiency and Simplicity Validations

• توانایی یادگیری - چت GPT و Google Vertex AI Learning Ability- Chat GPT and Google Vertex AI

• صحت آماری Statistical Correctness

• تست هوش مصنوعی LLM - تست دریفت طولانی مدت LLM AI Testing - Long-Term Drift Testing

• بازیابی نسل افزوده | RAG | - نحوه تست کردن Retrieval Augmented Generation | RAG | - How to Test

• [دمو ] - توانایی یادگیری Vertex AI - آموزش مدل - راهنما [Demo ] - Vertex AI Learning Ability - Model Training - Manual

• [دمو ] - توانایی یادگیری Vertex AI - آموزش مدل - Json [Demo ] - Vertex AI Learning Ability - Model Training - Json

LLM AI Reasoning | تست هوش LLM AI Reasoning | Intelligence Testing

• توانایی های منطقی خلاق - کمی سرگرم کننده است Creative Logical Abilities - A bit of fun

• استدلال - استدلال علّی Reasoning - Causal Reasoning

• توانایی استدلال | قیاسی | آدم ربایی | منطق استقرایی Reasoning Ability | Deductive | Abductive | Inductive Logic

• استدلال معکوس Reverse Reasoning

• استدلال خلاف واقع Counterfactual Reasoning

• استدلال انتزاعی Abstract Reasoning

• استدلال زاینده Generative Reasoning

NLP - سبک و احساسات NLP - Style and Emotions

• قابلیت متن - شناسایی نهاد نامگذاری شده (NER) Text Capability - Named Entity Recognition (NER)

• قابلیت متن - انتقال سبک Text Capability - Style Transfer

• قابلیت متن - تشخیص طعنه و طنز Text Capability - Sarcasm and Humor Detection

• قابلیت متن - انسجام گفتمان Text Capability - Discourse Coherence

تست چت بات Chatbot Testing

• درک ربات‌های مبتنی بر وظیفه در مقابل ربات‌های چت مبتنی بر هوش مصنوعی Understand Task Based vs AI Based Chatbots

• درک چت بات های مبتنی بر LLM Understanding Chatbots based on LLM

• تست عملکردی برای چت بات ها Functional Testing for chatbots

• درک جریان گفتگو Understanding Conversational Flow

• انواع جریان های مکالمه Conversational Flows Types

• تست زمینه و حافظه Context and Memory Testing

• تست بلبر | اجبار زمینه Blabber Testing | Context forcing

• تست عوامل صوتی - تست ربات هایی که می توانند صحبت کنند Voice Agents Testing - Testing bots that can talk

• تست بازگشتی برای چت بات ها Fallback Testing for Chatbots

آزمایشگاه - آزمایش LLM با پستچی و تماس های API Laboratory - Testing a LLM with Postman and API Calls

• توکن در LLM چیست؟ What is a token in LLMs

• چت GPT-API - ایجاد اشتراک Chat GPT-API - Create Subscription

• چت GPT-API - قیمت گذاری Chat GPT-API - Pricing

• یک کلید OPENAI API دریافت کنید Get an OPENAI API Key

• Chat GPT-API - تکمیل تماس API Chat GPT-API - Completion API Call

• گپ GPT-API - تماس با API DALL-E Chat GPT-API - DALL-E API Call

• نصب Postman و اولین تست API Installing Postman and first API Test

• مجموعه های API و قطعی کردن نتایج API Collections and making Results Deterministic

• نصب نیومن و اجرا با CLI Installing Newman and Running with the CLI

• درک کنید که MLOPS چیست Understand what is MLOPS

• نسخه ی نمایشی - GitHub - افزودن تست ها در خط لوله ML OPS Demo - GitHub - Adding Tests in ML OPS Pipeline

LLM AI Adversial Testing - تست امنیتی LLM AI Adversial Testing - Security Testing

• حملات نامطلوب برای LLMS و Red Team Adversial attacks for LLMS and Red Team

• تست FUZZ FUZZ Testing

• نمونه های حمله نامطلوب Adversial Attack Examples

• حمله مسمومیت Poisoning attack

• تست نشت حریم خصوصی Privacy Leakage Testing

• حملات فرار Evasion Attacks

تست هوش مصنوعی اخلاقی - تست غیر عملکردی LLM Testing of Ethical AI - LLM Non functional Testing

• مقررات اتحادیه اروپا در مورد سیستم های هوش مصنوعی EU Regulation of AI Systems

• هوش مصنوعی و تعصبات AI and Biases

• GEN AI و حریم خصوصی GEN AI and Privacy

• GEN AI و مالکیت فکری GEN AI and Intellectual Property

• توهمات Hallucinations

• ژنرال هوش مصنوعی و اطلاعات نادرست یا اطلاعات نادرست Gen AI and Misinformation or Disinformation

• سرویس تعدیل گوگل Google Moderation Service

• سرویس تعدیل GPT OPENAI-CHAT OPENAI-CHAT GPT Moderation Service

• GEN AI و Deep Fake GEN AI and Deep Fake