Non-déterminisme
Aussi : variabilité des réponses
Propriété d’un modèle génératif de pouvoir donner des réponses différentes à une même question posée plusieurs fois.
La cause première est le tirage : le modèle choisit chaque token dans une distribution de probabilité. La documentation d’Anthropic indique que, même à température 0, des entrées identiques peuvent produire des sorties différentes. Dans un assistant, d’autres sources de variation s’ajoutent : la recherche lancée en coulisse, la mémoire, l’historique de conversation, les mises à jour du modèle.
Une réponse unique n’est donc pas une mesure. « L’assistant nous cite » ou « ne nous cite pas », constaté une fois, ne vaut rien. On répète chaque prompt plusieurs fois, sur chaque surface, et on exprime le résultat en proportion : c’est le principe de la part de citations. La même prudence vaut pour les captures d’écran brandies comme preuve, dans un sens ou dans l’autre.