LLM juge
Aussi : LLM-as-a-judge
Emploi d’un modèle de langage pour noter les sorties d’un autre modèle, à la place ou en complément d’une évaluation humaine.
On fournit au juge la question, la réponse à évaluer, une grille de critères, parfois une réponse de référence ; il rend une note ou un verdict motivé. La méthode permet d’évaluer en série ce qu’une relecture humaine ne traiterait que par échantillon. L’article de Zheng et ses coauteurs, en 2023, lui trouve un bon accord avec les préférences humaines et recense ses biais : la position des réponses comparées, la prime à la verbosité, la complaisance d’un modèle envers ses propres sorties.
Les outils de suivi de visibilité y recourent pour classer les réponses collectées : la marque est-elle mentionnée, recommandée, citée comme source, sur quel ton. Ce sont des jugements de modèle, pas des comptages. Avant de s’y fier, on en contrôle un échantillon à la main, et on vérifie que la grille du juge correspond à la règle de comptage qu’on s’est donnée.
Source Zheng et al. — Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena (arXiv 2306.05685)