Token
Aussi : jeton
Unité de texte que manipule un modèle de langage : un mot, un fragment de mot, un signe de ponctuation ou quelques caractères.
Un modèle ne lit ni lettres ni mots : le texte est converti en une suite de tokens tirés d’un vocabulaire fixe. Un mot courant tient souvent en un token, un mot rare ou un nom de marque inhabituel en plusieurs. Le découpage est propre à chaque modèle, et le rapport entre caractères et tokens varie avec la langue : un même texte ne « pèse » pas pareil d’un modèle à l’autre.
Le token est l’unité de compte de tout le reste : la fenêtre de contexte se mesure en tokens, la facturation des API aussi, de même que les fragments qu’un système de récupération découpe dans vos pages. Aucune équivalence fixe en mots ne vaut d’un modèle à l’autre : quand la précision importe, comptez avec l’outil de l’éditeur.