Claude-SearchBot
Robot d’Anthropic qui parcourt le web pour indexer des contenus et améliorer les résultats de recherche de Claude.
Anthropic le décrit comme le robot qui analyse les contenus en ligne pour rendre les réponses de recherche plus pertinentes et plus exactes. Si un site le désactive, ses contenus ne sont pas indexés pour la recherche, ce qui peut réduire sa visibilité dans les résultats, écrit l’éditeur. Il respecte robots.txt.
C’est l’équivalent, chez Anthropic, de OAI-SearchBot chez OpenAI : un jeton distinct du robot d’entraînement, à traiter à part. Un site qui a posé un Disallow sous User-agent: ClaudeBot n’a pas bloqué Claude-SearchBot ; un site qui rejette au pare-feu tout agent contenant « Claude », si. La page d’aide de Claude ne nomme pas le fournisseur de sa recherche web générale : ce robot n’en est pas forcément la seule source.
Le sujet, traité en entier
La fiche pratique de Claude-SearchBot dans le répertoire des robots →
Source Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler?