Demander un devis Devis

Combien de prompts faut-il suivre pour un relevé fiable ?

Réponse courte

Aucun nombre n’est une norme du métier. La taille se déduit de deux choses : l’écart que vous voulez pouvoir affirmer, et le nombre de segments à lire séparément. Sur 100 exécutions, un taux de 30 % se lit entre 22 % et 40 % environ ; en dessous de vingt-cinq exécutions par segment, un décompte vaut mieux qu’un pourcentage.

Ce qui fixe la précision n’est pas le nombre de questions mais le nombre d’exécutions — une question, posée une fois, sur un moteur — et leur répartition. Vingt questions répétées cinq fois font 100 exécutions par moteur : ce total fixe la marge, la répartition fixe ce que vous pourrez comparer.

Raisonner en marge d’erreur

Un taux de citation est une proportion mesurée sur des réponses qui varient : il a un intervalle de confiance. Calculés par nos soins avec la méthode de Wilson, à 95 %, sur des effectifs fictifs :

  • 3 réponses sur 5 : entre 23 % et 88 % environ. On distingue « jamais », « parfois » et « presque toujours », rien de plus fin ;
  • 30 sur 100 : entre 22 % et 40 % ;
  • 120 sur 400 : entre 26 % et 35 %.

Quadrupler le relevé divise à peu près la marge par deux. La question utile est donc : quel écart devez-vous pouvoir affirmer ? Pour dire qu’un taux est passé de 30 sur 100 à 38 sur 100, 100 exécutions ne suffisent pas : les deux intervalles se chevauchent.

Ces intervalles sont un minimum. Ils supposent des observations indépendantes, or cinq exécutions de la même question se ressemblent plus que cinq questions différentes. Pour resserrer la mesure, ajoutez des questions avant d’ajouter des répétitions.

Compter par segment, pas en tout

Un chiffre global mélange des situations sans rapport. Le relevé se lit par moteur, par thème, par intention, et en séparant les questions qui contiennent votre nom des autres. Chaque segment a sa propre marge : quarante questions réparties sur huit thèmes laissent cinq questions par thème, soit vingt-cinq exécutions à cinq répétitions. De quoi dire « souvent » ou « rarement », pas de quoi suivre une courbe.

La démarche part donc de la fin. Listez les segments sur lesquels une décision sera prise, donnez à chacun au moins cinq questions, puis regardez si le total reste tenable. S’il ne l’est pas, retirez des segments plutôt que de les amaigrir tous.

Ce qui borne le nombre par le haut

Le relevé à la main ne tient plus au-delà de quelques dizaines de questions sur deux ou trois moteurs ; un outil lève cette limite, et facture chaque exécution. Vingt à quarante questions forment un point de départ raisonnable pour un relevé manuel : c’est un choix pratique, pas un seuil statistique.

Un corpus modeste, tenu sans changement d’un relevé à l’autre, vaut mieux qu’un grand corpus remanié à chaque fois : toute question ajoutée, retirée ou reformulée rompt la série.

Le sujet, traité en entier

Sources

  1. NIST/SEMATECH e-Handbook of Statistical Methods — 7.2.4.1, Confidence intervals Ouverte le 20 novembre 2026. Référence de méthode pour l’intervalle de Wilson et les limites de l’approximation normale sur petits effectifs. Les intervalles de cette page sont calculés par nous, à 95 %, sur des effectifs fictifs.
  2. Anthropic — Glossary, entrée « Temperature » Ouverte le 20 novembre 2026. Résultats non entièrement déterministes même à température 0. Vaut pour l’API d’Anthropic, pas pour le réglage des produits grand public.

Réponse revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.