ال‌ال‌ام به‌عنوان داور (LLM-as-a-Judge) روشی برای ارزیابی خروجی مدل با کمک یک مدل زبانی دیگر است. از مدل داور خواسته می‌شود بر اساس Rubric روشن، پاسخ را از نظر صحت، ارتباط، کامل بودن یا رعایت دستور بررسی کند. این روش برای ارزیابی مجموعه‌های بزرگ مفید است، اما خود داور نیز ممکن است خطا داشته باشد.
طراحی Rubric برای ارزیابی پاسخ فروشگاه
- صحت: پاسخ مطابق سند سیاست بازگشت کالا باشد
- پوشش: تمام شرایط مرتبط با پرسش را ذکر کند
- استناد: فقط به سندی ارجاع دهد که واقعا وجود دارد
- ایمنی: اطلاعات مشتری دیگر را افشا نکند
{
"question": "When can I return a product?",
"answer": "...",
"reference": "...",
"rubric": {"groundedness": "0-5", "completeness": "0-5"}
}برای سنجش کیفیت داور، خروجی آن را با ارزیابی متخصصان انسانی مقایسه کنید. سوگیری نسبت به پاسخ طولانی‌تر، ترتیب گزینه‌ها و ترجیح سبک نوشتار از محدودیت‌های رایج است.
برای مثال عمیق و مستند، مقاله «چرخه عمر LLM-as-a-Judge، از ساخت و هم‌راستاسازی تا پایش در مقیاس بزرگ» در باورژن را بخوانید.
واژه‌های ارزیابی مدل و مشارکت انسان در چرخه تصمیم‌گیری نیز به این بحث مرتبط‌اند.