Benchmark
Aussi : banc d’essai
Jeu d’épreuves standardisé, assorti d’une méthode de notation, qui sert à comparer des modèles sur une même tâche.
Chaque benchmark mesure une compétence délimitée : répondre à des questions, résoudre des problèmes de code, raisonner sur des documents. Les éditeurs publient leurs scores à la sortie d’un modèle, et des classements publics les agrègent. Trois réserves : un modèle peut avoir rencontré les épreuves pendant son entraînement ; un benchmark connu finit par être saturé ; et une bonne note sur une tâche générale ne prédit pas le résultat sur la vôtre.
Le mot a un second sens en marketing — la comparaison avec des concurrents — qu’il faut tenir à l’écart du premier. Le rapprochement utile est ailleurs : l’article qui a donné son nom au GEO repose sur un banc d’essai construit par ses auteurs, et ses résultats valent pour ce banc. Avant de reprendre un chiffre tiré d’un benchmark, regardez ce qu’il mesurait, sur quelles données et à quelle date.
Source Aggarwal et al. — GEO: Generative Engine Optimization (arXiv 2311.09735)