Connaissance paramétrique
Aussi : mémoire paramétrique · parametric knowledge
Ce qu’un modèle restitue à partir de ses seuls paramètres, sans document fourni ni recherche, par opposition à ce qu’il lit dans son contexte.
Elle vient de l’entraînement et s’arrête à la date de coupure. Elle n’est pas stockée sous forme de fiches : c’est une tendance statistique à produire certains énoncés. Elle est donc solide sur ce qui a été beaucoup écrit, fragile sur le reste, et impossible à consulter ou à corriger directement. L’article qui a donné son nom au RAG l’oppose à une source non paramétrique : l’index que l’on interroge.
Un assistant répond tantôt sans recherche, tantôt après recherche. Pour savoir ce qu’un modèle restitue de votre marque sans aide, interrogez-le recherche désactivée : une confusion avec un homonyme, une activité périmée ou une absence signalent une présence faible dans ses données. Cette présence se construit lentement, par des textes concordants publiés sur votre site et ailleurs, en vue des entraînements à venir.
Le sujet, traité en entier
Source Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401)