Faux
« Poser la question une fois suffit pour savoir si l’on est cité »
Verdict : faux
Faux. Une réponse d’assistant est un tirage : le texte généré, les recherches lancées en coulisse et le contexte de l’utilisateur varient d’une exécution à l’autre. Anthropic écrit que, même à température 0, les résultats de son API ne sont pas entièrement déterministes. Savoir si l’on est cité demande de répéter la question, et de compter.
Un réflexe hérité de la recherche classique
Dans un moteur, taper une requête et regarder où l’on se trouve donne une information assez stable pour qu’on s’y fie. On applique le même geste à un assistant : on pose la question, on lit la réponse, on conclut « ChatGPT nous cite » ou « ChatGPT nous ignore ». Le geste est naturel, et la capture d’écran qui en sort circule bien en réunion.
Elle montre pourtant une réponse, pas la réponse.
Trois choses varient, d’après les éditeurs
- Le texte. Un modèle de langage choisit chaque mot parmi plusieurs candidats probables. La documentation d’Anthropic précise que, même avec une température réglée à 0, les résultats ne sont pas entièrement déterministes : des entrées identiques peuvent produire des sorties différentes. Elle décrit une API ; le réglage des produits grand public n’est pas documenté.
- La recherche. Quand la réponse s’appuie sur le web, le système réécrit la question en une ou plusieurs requêtes. Rien n’oblige ces requêtes, ni les pages qu’elles ramènent, à être les mêmes d’une fois sur l’autre.
- Le contexte. OpenAI écrit que ChatGPT peut utiliser des souvenirs enregistrés pour réécrire une requête, ainsi qu’une localisation approximative déduite de l’adresse IP. Deux personnes qui posent la même question ne lancent donc pas forcément la même recherche.
Aucun éditeur ne chiffre l’ampleur de ces variations. Chacune suffit pourtant à ce qu’un essai unique ne prouve rien, dans un sens comme dans l’autre : « cité une fois » ne vaut pas plus que « absent une fois ».
Répéter, et compter
- Fixer une liste de questions, et ne plus la modifier.
- Poser chaque question plusieurs fois, en conversation neuve, mémoire et personnalisation désactivées quand le produit le permet.
- Noter à chaque fois la date, la surface et les sources affichées.
- Écrire le résultat en fréquence — « cité 3 fois sur 5 » — et non en oui ou non.
Deux limites demeurent. Sur de petits effectifs, un écart ne signifie rien : passer de trois citations sur cinq à quatre sur cinq n’est pas une hausse, et seule une variation confirmée au relevé suivant compte. Et un relevé en session neuve ne reproduit pas ce que voit une personne dont l’assistant connaît l’historique.
Le sujet, traité en entier
Sources
- Anthropic — Glossary, entrée « Temperature » Documentation de l’API Claude : résultats non entièrement déterministes même à température 0. Vaut pour l’API d’un éditeur, pas pour le réglage des produits grand public. Reprise du site et relue le 20 novembre 2026.
- OpenAI Help Center — Searching the web with ChatGPT Requêtes réécrites ; usage de la mémoire et d’une localisation approximative dans la réécriture. Reprise du site et relue le 20 novembre 2026.
Page revue le