À quoi servent les journaux serveur en référencement ?
Réponse courte
À voir ce que l’outil d’audience ne montre pas : le passage des robots. Chaque ligne donne l’adresse demandée, la date, le code de réponse et l’agent utilisateur. On y lit quels robots viennent, sur quelles URL, et ce que le serveur leur répond — à condition de vérifier que le robot est bien celui qu’il déclare être.
Ce qu’eux seuls montrent
La Search Console ne décrit que les robots de Google, sous forme agrégée. L’outil d’audience ne voit pas les requêtes des robots. Le journal du serveur, lui, enregistre chaque requête reçue, robot ou non. Trois lectures en sortent.
- Quels robots passent.
Googlebotetbingbot, mais aussi les robots des assistants, que leurs éditeurs nomment par usage :GPTBotetClaudeBotpour l’entraînement,OAI-SearchBot,Claude-SearchBotetPerplexityBotpour l’index de recherche,ChatGPT-User,Claude-UseretPerplexity-Userquand un utilisateur déclenche la récupération. Cette dernière famille signale une page récupérée à la demande d’un utilisateur. - Sur quelles URL. Les pages importantes que personne ne demande, et à l’inverse les filtres et paramètres qui absorbent les requêtes. Une URL demandée par les robots mais absente du sitemap et des liens internes est souvent une facette, un paramètre ou une ancienne adresse.
- Avec quels codes. Des 200 sur les pages qui comptent ; des 301 là où une redirection est prévue ; des 404, des 5xx, ou les 403 et 429 d’un pare-feu que rien d’autre ne révèle.
Une commande pour commencer
Sur un journal au format « combined » d’Apache, le code de statut est le neuvième champ. grep -E 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User' access.log | awk '{print $9}' | sort | uniq -c compte les réponses par code pour ces robots. On refait ensuite le compte par jour, par robot et par URL.
Deux angles morts. Google-Extended n’apparaît jamais : c’est un jeton de robots.txt, sans agent utilisateur propre. Et si un CDN sert ou filtre les pages en amont, le serveur d’origine ne voit pas tout : ce sont les journaux du CDN qu’il faut lire.
Ne pas croire l’agent déclaré
L’agent utilisateur est un texte libre : n’importe quel programme peut écrire « Googlebot » dans sa requête, et Google avertit lui-même que cette chaîne se falsifie. Un comptage par robot qui s’arrête au nom mêle donc les vrais robots et leurs imitateurs.
- Pour Google : la commande
hostappliquée à l’adresse IP doit rendre un nom engooglebot.com,google.comougoogleusercontent.com; la même commande appliquée à ce nom doit redonner l’adresse de départ. Google publie aussi ses plages d’adresses. - Pour OpenAI et Perplexity : chaque robot a son fichier d’adresses IP publié, à croiser avec celles du journal.
- Pour Anthropic : sa page renvoie à une liste d’adresses dont viennent ses robots.
Sans ce croisement, on peut conclure à tort qu’un robot explore beaucoup, ou bloquer un imitateur en croyant bloquer l’original.
Le sujet, traité en entier
Sources
- Google — Verify requests from Google crawlers and fetchers Vérification par DNS inverse puis direct, domaines attendus, plages d’adresses publiées. Ouverte le 20 novembre 2026.
- Google — List of Google’s common crawlers Avertissement sur la falsification de l’agent utilisateur ; Google-Extended sans agent propre. Ouverte le 20 novembre 2026.
- OpenAI — Overview of OpenAI Crawlers Noms des robots par usage et fichiers d’adresses IP. Ouverte le 20 novembre 2026.
- Perplexity — Perplexity Crawlers Noms des robots et fichiers d’adresses IP. Ouverte le 20 novembre 2026.
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? Noms des robots ; mention d’une liste d’adresses IP. Ouverte le 20 novembre 2026.
- Apache HTTP Server — Log Files Format « combined » et position du code de statut. Reprise du manuel.
Réponse revue le