Demander un devis Devis

Décompte des robots d’IA dans un extrait de journaux

Compte, dans des lignes de journaux collées, les passages de chaque robot documenté, par jour et par code de réponse.

Tout se calcule dans votre navigateur : rien de ce que vous saisissez n’est envoyé.

Vous pouvez aussi déposer le fichier sur le champ de texte. Il est lu sur place, par morceaux ; s’il y a à la fois un fichier et du texte, c’est le fichier qui est lu. Limites : 5 Mo de texte collé, 50 Mo pour un fichier.

Formats reconnus : le format « combined » d’Apache et celui de Nginx, qui est son format par défaut. Les deux écrivent la même ligne : adresse, date entre crochets, requête entre guillemets, code de réponse, taille, referer, agent utilisateur. Un nom d’hôte en tête ou des champs ajoutés en fin de ligne ne gênent pas. Une ligne d’une autre forme — JSON, journal IIS, export de CDN — est comptée comme illisible et laissée de côté. Le format « common », sans agent utilisateur, se lit mais ne permet d’attribuer aucune ligne.

Un journal contient les adresses IP de vos visiteurs. Elles restent dans votre navigateur : l’outil ne les extrait pas et n’en affiche aucune.

Les 41 signatures cherchées, prises dans le répertoire des robots

La signature d’un robot est son jeton robots.txt, cherché dans l’agent utilisateur sans tenir compte de la casse ; pour un robot qui n’a pas de jeton, c’est son nom. Si deux signatures se trouvent dans le même agent, la plus longue l’emporte : Googlebot-Image avant Googlebot. Une variante non répertoriée dont le nom commence par une signature connue est comptée avec elle.

  • Amazonbot — Amazon, collecte pour l’entraînement
  • Amzn-SearchBot — Amazon, exploration pour un moteur
  • Amzn-User — Amazon, récupération à la demande
  • Claude-SearchBot — Anthropic, exploration pour un moteur
  • Claude-User — Anthropic, récupération à la demande
  • ClaudeBot — Anthropic, collecte pour l’entraînement
  • Applebot — Apple, exploration pour un moteur
  • Applebot-Extended — Apple, collecte pour l’entraînement
  • Bytespider — ByteDance, exploration pour un moteur
  • CCBot — Common Crawl, autre usage
  • DuckAssistBot — DuckDuckGo, récupération à la demande
  • DuckDuckBot — DuckDuckGo, exploration pour un moteur
  • AdsBot-Google — Google, contrôle publicitaire
  • AdsBot-Google-Mobile — Google, contrôle publicitaire
  • Google-Agent — Google, récupération à la demande
  • Google-CloudVertexBot — Google, autre usage
  • Google-Extended — Google, collecte pour l’entraînement
  • Google-GeminiNotebook — Google, récupération à la demande
  • Google-InspectionTool — Google, autre usage
  • Googlebot — Google, exploration pour un moteur
  • Googlebot — Googlebot Smartphone, Google, exploration pour un moteur
  • Googlebot-Image — Google, exploration pour un moteur
  • Googlebot-News — Google, exploration pour un moteur
  • Googlebot-Video — Google, exploration pour un moteur
  • GoogleOther — Google, autre usage
  • Mediapartners-Google — Google, contrôle publicitaire
  • Storebot-Google — Google, exploration pour un moteur
  • facebookexternalhit — Meta, autre usage
  • meta-externalads — Meta-ExternalAds, Meta, contrôle publicitaire
  • meta-externalagent — Meta-ExternalAgent, Meta, collecte pour l’entraînement
  • meta-externalfetcher — Meta-ExternalFetcher, Meta, récupération à la demande
  • meta-webindexer — Meta-WebIndexer, Meta, exploration pour un moteur
  • bingbot — Microsoft, exploration pour un moteur
  • MistralAI-Index — Mistral AI, exploration pour un moteur
  • MistralAI-Training — Mistral AI, collecte pour l’entraînement
  • MistralAI-User — Mistral AI, récupération à la demande
  • ChatGPT-User — OpenAI, récupération à la demande
  • GPTBot — OpenAI, collecte pour l’entraînement
  • OAI-AdsBot — OpenAI, contrôle publicitaire
  • OAI-SearchBot — OpenAI, exploration pour un moteur
  • Perplexity-User — Perplexity, récupération à la demande
  • PerplexityBot — Perplexity, exploration pour un moteur

Résultat

Le décompte s’affiche ici. Sans JavaScript, l’outil ne compte rien.

Ce que l’outil ne fait pas

Lit l’agent utilisateur déclaré, sans vérifier l’adresse IP : un robot usurpé est compté comme vrai. Ne voit pas ce qu’un CDN a bloqué en amont.

La règle appliquée, expliquée

Au-delà de l’outil

Et sur l’ensemble de votre site ?

Un outil répond sur un cas. Pour le site entier, décrivez votre situation : nous répondons par écrit, avec ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.