BERT
Aussi : Bidirectional Encoder Representations from Transformers
Modèle de langage que Google applique à sa recherche depuis 2019 pour comprendre comment une combinaison de mots exprime un sens et une intention.
BERT lit les mots d’une requête dans leur séquence, chacun à la lumière de ceux qui l’entourent. Les petits mots y prennent leur poids : dans l’exemple de Google, une question sur la possibilité de retirer un médicament en pharmacie « pour quelqu’un » n’était pas comprise tant que la préposition était négligée. Google indique que BERT intervient à la fois dans la récupération des documents et dans leur classement.
BERT est aussi un modèle publié par la recherche, de la famille des transformers. C’est un encodeur : il représente le texte pour le comprendre, il ne rédige pas, à la différence des modèles génératifs. Pour un site, il ne se « travaille » pas. Il retire en revanche tout intérêt aux tournures télégraphiques calquées sur des mots-clés : une phrase naturelle, où les prépositions disent qui fait quoi pour qui, est mieux interprétée.
Source Google — How AI powers great search results (3 février 2022)