Demander un devis Devis

Transformer

Aussi : architecture Transformer

Architecture de réseau de neurones fondée sur le mécanisme d’attention, sur laquelle reposent les modèles de langage actuels.

Elle a été présentée en 2017 dans l’article « Attention Is All You Need », de Vaswani et ses coauteurs : un réseau fondé uniquement sur des mécanismes d’attention, sans récurrence ni convolution. Au lieu de lire un texte mot après mot, le modèle met chaque token en relation avec tous les autres en même temps, ce qui se prête au calcul parallèle et à l’entraînement sur de très grands corpus.

BERT, que Google emploie dans son classement, et les modèles de type GPT en sont deux déclinaisons : le premier encode un texte pour le représenter, les seconds en génèrent la suite. Pour qui publie, l’architecture explique une chose : le modèle pondère les mots d’un passage les uns par rapport aux autres. Une phrase dont le sujet est explicite lui donne de quoi travailler ; un pronom dont l’antécédent est resté hors du passage, non.

Source Vaswani et al. — Attention Is All You Need (arXiv 1706.03762)

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.