Demander un devis Devis

Pourquoi la même question donne-t-elle des réponses différentes d’une fois sur l’autre ?

Réponse courte

Parce que trois choses varient d’une exécution à l’autre : le texte, que le modèle génère avec une part d’aléa ; les recherches qu’il lance et les pages qu’il récupère ; le contexte de l’utilisateur, mémoire et localisation comprises. Conséquence : un seul essai ne dit pas si une marque est citée. Il faut répéter, et compter.

Trois sources de variation

  • La génération. Un modèle de langage choisit chaque mot parmi plusieurs candidats probables. Le réglage appelé température module cet aléa ; la documentation d’Anthropic précise que, même à température 0, les résultats ne sont pas entièrement déterministes. Elle décrit une API : le réglage des produits grand public n’est pas documenté.
  • La recherche. Quand la réponse s’appuie sur le web, le système réécrit la question en requêtes. Rien n’oblige ces requêtes, ni les pages qu’elles ramènent, à être identiques d’une fois sur l’autre.
  • Le contexte. OpenAI écrit que ChatGPT peut utiliser des souvenirs enregistrés pour réécrire une requête, ainsi qu’une localisation approximative déduite de l’adresse IP. Deux personnes qui posent la même question ne lancent donc pas forcément la même recherche.

S’y ajoutent les changements de modèle et d’index, que l’utilisateur ne voit pas. Aucun éditeur ne chiffre l’ampleur de ces variations.

Une réponse est un tirage, pas une position

« ChatGPT ne nous cite pas », constaté une fois, ne vaut pas plus que « ChatGPT nous cite », constaté une fois. La mesure demande un protocole.

  1. Fixer une liste de questions, et ne plus la modifier.
  2. Poser chaque question plusieurs fois, en session neuve, mémoire et personnalisation désactivées quand le produit le permet.
  3. Compter en fréquence : « cité trois fois sur cinq », et non « présent ».
  4. Noter la date, la surface et le nom du modèle quand l’interface l’affiche.

Ce qui reste hors de portée

Un relevé en session neuve ne reproduit pas ce que voit une personne dont l’assistant connaît l’historique. Et sur de petits effectifs, un écart ne signifie rien : passer de trois citations sur cinq à quatre sur cinq n’est pas une hausse. Une variation ne compte que si elle se confirme au relevé suivant.

Le sujet, traité en entier

Sources

  1. Anthropic — Glossary, entrée « Temperature » Documentation de l’API Claude : résultats non entièrement déterministes même à température 0. Vaut pour l’API d’un éditeur, pas pour le réglage des produits grand public. Reprise du manuel.
  2. OpenAI Help Center — Searching the web with ChatGPT Usage de la mémoire et de la localisation approximative dans la réécriture des requêtes. Ouverte le 20 novembre 2026.

Réponse revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.