Mécanisme d’attention
Aussi : attention · self-attention
Calcul par lequel un modèle pondère, pour chaque token, l’influence de tous les autres tokens du texte qu’il traite.
Pour représenter le mot « avocat », le modèle regarde le reste de la phrase : « plaider » tire le sens d’un côté, « mûr » de l’autre. Le mécanisme attribue à chaque paire de tokens un score, recalculé à chaque couche. C’est la brique centrale de l’architecture Transformer, et ce qui permet de résoudre un pronom ou une ambiguïté à partir du contexte.
Ce calcul ne porte que sur ce qui se trouve dans la fenêtre de contexte. Si un passage est récupéré seul, les indices restés dans le reste de la page n’existent plus pour le modèle : le pronom sans antécédent, le « ce produit » sans nom de produit, le chiffre sans unité ni date restent indéterminés. C’est la raison technique de la règle d’écriture du passage autonome.
Le sujet, traité en entier
Source Vaswani et al. — Attention Is All You Need (arXiv 1706.03762)