Demander un devis Devis

Google · Exploration pour un moteur

Googlebot

Ce qu’il fait

Googlebot est le nom générique des deux robots d’exploration de la recherche Google, l’un simulant un mobile, l’autre un ordinateur. Ce qu’il explore alimente la recherche, Discover et les réponses génératives compris. Il obéit à robots.txt sous un seul jeton, Googlebot, commun aux deux robots.

Jeton robots.txt
Googlebot
Obéit à robots.txt
Oui, d’après son éditeur
Signature
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Le reconnaître
Par recherche DNS inversée sur l’adresse IP relevée dans les journaux : le nom obtenu doit être de la forme crawl-66-249-66-1.googlebot.com ou geo-crawl-35-247-243-240.geo.googlebot.com, et la recherche directe sur ce nom doit redonner l’adresse de départ. En masse : comparer l’adresse aux plages de common-crawlers.json, publiées au format CIDR.
Pour le refuser
User-agent: Googlebot
Disallow: /

Deux robots sous un seul nom

Googlebot recouvre Googlebot Smartphone et Googlebot Desktop. Google indexe, pour la plupart des sites, la version mobile du contenu : la majorité des requêtes vient donc du robot mobile, une minorité du robot ordinateur. On les distingue par l’en-tête User-Agent de la requête, pas dans robots.txt, où ils partagent le jeton Googlebot.

Ce qu’il explore sert la recherche Google, Discover et toutes ses fonctions comprises, ainsi que Google Images, le mode Vidéo et Google Actualités. Les Aperçus IA (AI Overviews) et le Mode IA (AI Mode) en font partie : Google écrit que l’IA est intégrée à la recherche et que les règles de robots.txt adressées à Googlebot sont le contrôle prévu pour ces fonctions.

Ce qu’une règle adressée à Googlebot ferme, et ce qu’elle laisse

Un Disallow sous User-agent: Googlebot ferme l’exploration pour tous ces produits à la fois. Il vaut aussi pour les robots dont Google donne Googlebot comme second jeton — Googlebot-Image, Googlebot-Video, Googlebot-News, Google-InspectionTool, Google-CloudVertexBot — tant qu’aucun groupe plus précis ne les nomme. Il ne vaut pas pour AdsBot, que Google Ads emploie et qui se nomme à part.

Fermer l’exploration n’est pas sortir des résultats : Google précise que l’URL d’une page interdite à Googlebot peut encore y apparaître, et renvoie à noindex pour qui ne veut pas d’une page dans l’index. À l’inverse, refuser le jeton Google-Extended ne ferme rien à Googlebot.

Le reconnaître dans les journaux

Les deux signatures contiennent Googlebot/2.1. Celle du robot mobile imite Chrome sur un téléphone Android ; celle du robot ordinateur, reproduite sur cette fiche, s’en passe. Chrome/W.X.Y.Z y tient la place d’un numéro de version qui change : Google conseille de filtrer avec un joker plutôt que sur une version exacte. Deux formes courtes, sans mention de Chrome, existent encore mais sont rares.

L’agent utilisateur de Googlebot est souvent usurpé, prévient Google : une requête qui s’en réclame se vérifie avant d’être comptée, et avant d’être bloquée. Deux repères pour lire le volume : pour la plupart des sites, Googlebot ne devrait pas passer plus d’une fois toutes les quelques secondes en moyenne ; et, pour la recherche, il s’arrête aux 2 premiers mégaoctets d’un fichier pris en charge, 64 pour un PDF.

Le sujet, traité en entier

Sources

  1. Google Search Central — Googlebot Deux robots sous un même jeton, part du robot mobile, fréquence de passage, limites de 2 Mo et de 64 Mo, différence entre exploration et indexation. Ouverte le 20 novembre 2026.
  2. Google — List of Google’s common crawlers Chaînes d’agent utilisateur, jeton, produits touchés, seconds jetons des autres robots, note sur Chrome/W.X.Y.Z. Ouverte le 20 novembre 2026.
  3. Google — Verify requests from Google crawlers and fetchers Recherche DNS inversée puis directe, noms d’hôte par famille de robots, fichiers JSON de plages d’adresses. Ouverte le 20 novembre 2026 ; l’ancienne adresse, sous /search/docs/crawling-indexing/verifying-googlebot, y redirige.
  4. Google Search Central — AI features and your website Les règles robots.txt adressées à Googlebot comme contrôle de l’exploration pour les fonctions d’IA de la recherche. Ouverte le 20 novembre 2026.
  5. Google — How Google interprets the robots.txt specification Un seul groupe s’applique à un robot donné : le plus précis. Ouverte le 20 novembre 2026.

Page revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.