Top-p
Aussi : nucleus sampling
Paramètre d’échantillonnage qui limite le choix du token suivant aux candidats les plus probables, jusqu’à un seuil de probabilité cumulée.
Avec un seuil de 0,9, le modèle ne retient que les tokens les plus probables dont les probabilités additionnées atteignent ce seuil, et écarte les autres. Le nombre de candidats varie donc à chaque pas : peu quand la suite est évidente, beaucoup quand elle est ouverte. Le top-k, réglage voisin, garde un nombre fixe de candidats, les k plus probables.
Top-p et top-k se combinent avec la température et poursuivent le même but : doser la variété de la sortie. Ils ne concernent que ceux qui appellent un modèle par API, pour produire du contenu, classer des requêtes ou relever des réponses. Dans ce dernier cas, la règle est de consigner les réglages utilisés avec chaque relevé : deux séries faites avec des réglages différents ne se comparent pas.