Anthropic · Exploration pour un moteur
Claude-SearchBot
Ce qu’il fait
Claude-SearchBot est le robot avec lequel Anthropic parcourt le web pour améliorer les résultats de recherche de Claude. Il respecte robots.txt. Le désactiver empêche l’indexation des contenus du site pour la recherche, ce qui peut réduire sa visibilité dans les résultats, écrit l’éditeur.
- Jeton
robots.txt Claude-SearchBot- Obéit à
robots.txt - Oui, d’après son éditeur
- Le reconnaître
- Anthropic publie une liste d’adresses IP : claude.com/crawling/bots.json. Une requête dont l’adresse source y figure vient d’Anthropic, écrit l’éditeur. La liste est commune à ses robots : elle ne dit pas lequel.
- Pour le refuser
User-agent: Claude-SearchBot Disallow: /
Ce qu’il fait, et pour quel produit
Anthropic le décrit comme le robot qui analyse les contenus en ligne pour rendre les réponses de recherche plus pertinentes et plus exactes. C’est l’usage « recherche » de l’éditeur, distinct de la collecte pour l’entraînement, confiée à ClaudeBot, et de la récupération à la demande, confiée à Claude-User.
Une limite de la documentation : la page d’aide de Claude sur la recherche web ne nomme pas le fournisseur de la recherche générale ; elle indique seulement que la recherche d’images repose sur Bing. On ne peut donc pas affirmer que ce robot est la seule source des réponses de Claude.
Ce que le refuser change, et ne change pas
Anthropic écrit que désactiver Claude-SearchBot empêche son système d’indexer les contenus du site pour la recherche, ce qui « peut réduire » sa visibilité et son exactitude dans les résultats. L’éditeur annonce une baisse possible, pas une disparition. Ce refus ne dit rien de l’entraînement, qui se règle sous ClaudeBot.
L’erreur courante est inverse. Un Disallow sous User-agent: ClaudeBot ne bloque pas Claude-SearchBot ; une règle de pare-feu qui rejette tout agent contenant « Claude », si. Qui veut refuser l’entraînement sans quitter la recherche de Claude écrit un groupe pour ClaudeBot et ne touche pas à celui-ci.
Le lire dans les journaux
Anthropic ne publie pas de chaîne user-agent complète pour ce robot : on cherche le jeton Claude-SearchBot, puis on croise l’adresse IP avec la liste publiée, commune aux robots de l’éditeur. Sa présence dit qu’une page peut être indexée pour la recherche, pas qu’elle est citée.
Le sujet, traité en entier
Sources
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? Centre d’aide de Claude, page lue dans un navigateur le 20 novembre 2026. Rôle de Claude-SearchBot et effet de sa désactivation, respect de robots.txt, lien vers la liste d’adresses. La page ne donne aucune chaîne user-agent.
- Centre d’aide de Claude — Enable and use web search Ouverte le 20 novembre 2026. Ne nomme pas le fournisseur de la recherche web générale ; indique que la recherche d’images repose sur Bing.
Page revue le