Demander un devis Devis

Modèle autorégressif

Aussi : prédiction du token suivant · next-token prediction

Modèle qui génère une séquence élément par élément, chaque nouveau token étant prédit à partir de tous ceux qui le précèdent.

C’est le fonctionnement des LLM qui rédigent : le modèle calcule une distribution de probabilité sur le token suivant, en retient un, l’ajoute au texte et recommence. La documentation d’Anthropic décrit ainsi le pré-entraînement de ses modèles : prédire le mot suivant à partir du contexte qui précède. La réponse n’est donc pas extraite d’une base ; elle est construite pas à pas.

Deux conséquences. Le modèle ne revient pas sur ce qu’il a déjà écrit : une erreur en début de réponse oriente la suite. Et une phrase fluide n’est pas un indice d’exactitude, puisque le critère de génération est la vraisemblance du texte. Vérifier une réponse générée qui parle de vous revient à contrôler les faits un par un, pas le ton.

Source Anthropic — Glossary, entrée « Pretraining »

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.