Demander un devis Devis

User-agent

Aussi : agent utilisateur · UA

Chaîne par laquelle un navigateur ou un robot s’identifie dans une requête HTTP ; par extension, le nom qui le désigne dans robots.txt.

Le mot recouvre deux choses. L’en-tête HTTP User-Agent porte une chaîne libre décrivant le logiciel qui émet la requête ; c’est elle qu’enregistrent les journaux du serveur. La ligne User-agent de robots.txt, elle, attend un jeton court — Googlebot, bingbot, GPTBot —, où la RFC n’admet que des lettres, le tiret et le tiret bas, et que le robot compare à son propre nom sans tenir compte de la casse, pour savoir quel groupe de règles lui revient.

Les deux ne coïncident pas toujours. Certains jetons n’ont aucune chaîne propre : Google-Extended ne figure dans aucune requête, il se lit seulement dans robots.txt. Et l’en-tête se falsifie avec une simple option de curl : il déclare une identité, il ne la prouve pas. La preuve passe par l’adresse IP, que l’éditeur du robot publie ou permet de vérifier par DNS inversé.

Le sujet, traité en entier

Source RFC 9309 — Robots Exclusion Protocol

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.