Googlebot
Nom générique des deux robots d’exploration de la recherche Google, l’un simulant un mobile, l’autre un ordinateur.
Googlebot Smartphone et Googlebot Desktop partagent le même jeton dans robots.txt : Googlebot. Une règle écrite pour ce jeton vaut pour les deux, et ce fichier ne permet pas d’en viser un seul. Ce que Googlebot explore alimente la recherche Google, Discover compris ; les fonctions génératives de la recherche passent par lui, non par Google-Extended. Pour la recherche, il lit les 2 premiers mégaoctets d’un fichier pris en charge, 64 pour un PDF.
Bloquer Googlebot dans robots.txt empêche l’exploration, pas l’apparition de l’URL dans les résultats : pour cela, il faut un noindex. Et comme son agent utilisateur est souvent usurpé, une requête qui se dit Googlebot se vérifie par recherche DNS inversée ou par les plages d’adresses que Google publie.
Le sujet, traité en entier
La fiche pratique de Googlebot dans le répertoire des robots →
Source Google — Googlebot