RLHF
Aussi : apprentissage par renforcement avec retour humain
Méthode d’entraînement qui affine un modèle à partir de jugements humains sur ses réponses, pour qu’il préfère les sorties les mieux notées.
Le sigle signifie « reinforcement learning from human feedback ». Selon la documentation d’Anthropic, des personnes classent deux exemples de texte ou plus, et l’apprentissage par renforcement pousse le modèle à préférer les sorties proches des mieux classées. C’est une des étapes qui transforment un modèle pré-entraîné, qui ne fait que prolonger du texte, en assistant qui suit des consignes.
Cette étape façonne le comportement, pas les connaissances : la prudence sur les sujets sensibles, le refus de certaines demandes, la manière de nuancer. Elle contribue à ce que deux assistants bâtis sur des techniques voisines répondent différemment à la même question. Elle n’offre aucune prise à un site : les préférences ainsi apprises sont générales, et rien ne permet d’y inscrire une marque.