Vérification de Googlebot
Aussi : recherche DNS inversée · reverse DNS
Contrôle qui établit qu’une requête se réclamant de Googlebot vient bien de Google, par DNS inversé ou par plages d’adresses IP.
N’importe qui peut envoyer une requête avec l’agent utilisateur de Googlebot. Google documente deux façons de trancher. À la main : une recherche DNS inversée sur l’adresse IP relevée dans les journaux, avec la commande host, dont le résultat doit se terminer par googlebot.com, google.com ou googleusercontent.com ; puis une recherche directe sur ce nom, qui doit redonner l’adresse de départ. En masse : comparer les adresses aux fichiers JSON de plages que Google publie par famille — robots communs, robots à usage particulier, récupérateurs et agents déclenchés par des utilisateurs (user-triggered-agents.json). Google décrit aussi, à titre expérimental, une authentification cryptographique des requêtes, Web Bot Auth.
Les trois domaines ne désignent pas la même chose : googlebot.com correspond aux robots communs, google.com aux robots à usage particulier et aux récupérateurs que Google contrôle, googleusercontent.com aux récupérations déclenchées par des utilisateurs. La vérification sert avant de bloquer un faux robot, et avant de conclure d’un journal que Google ne passe plus.
Le sujet, traité en entier
Source Google — Verify requests from Google crawlers and fetchers