Pré-entraînement
Aussi : pretraining
Première phase d’entraînement d’un modèle, sur un très grand corpus non étiqueté, où il acquiert ses capacités générales.
La documentation d’Anthropic le décrit ainsi pour ses modèles : un modèle autorégressif est pré-entraîné à prédire le mot suivant à partir du contexte qui précède, sur un grand corpus de texte non étiqueté. Aucune annotation humaine n’est nécessaire, puisque le texte fournit lui-même la bonne réponse. C’est à cette étape que le modèle acquiert la langue, les faits courants et les associations entre les mots.
Un modèle seulement pré-entraîné répond mal aux questions : il prolonge du texte. Le fine-tuning et le RLHF en font ensuite un assistant. Ce qui compte pour une marque se joue pourtant ici : la façon dont un modèle en parle sans recherche reflète les textes où elle figurait dans ce corpus, leur concordance et leur date. On n’agit pas sur un pré-entraînement passé ; on agit sur ce que le prochain lira.