Anthropic · Collecte pour l’entraînement
ClaudeBot
Ce qu’il fait
ClaudeBot est le robot avec lequel Anthropic collecte des contenus web susceptibles de contribuer à l’entraînement de ses modèles. Il respecte robots.txt : le restreindre signale que les contenus futurs du site doivent être exclus des jeux de données d’entraînement. La recherche de Claude dépend d’autres robots.
- Jeton
robots.txt ClaudeBot- Obéit à
robots.txt - Oui, d’après son éditeur
- Le reconnaître
- Anthropic publie une liste d’adresses IP : claude.com/crawling/bots.json. Une requête dont l’adresse source y figure vient d’Anthropic, écrit l’éditeur. La liste est commune à ses robots : elle ne dit pas lequel.
- Pour le refuser
User-agent: ClaudeBot Disallow: /
Ce qu’il fait, et pour quel produit
Anthropic sépare trois usages et leur donne trois robots : ClaudeBot pour le développement des modèles, Claude-SearchBot pour la recherche, Claude-User pour les pages récupérées à la demande d’un utilisateur. ClaudeBot collecte des contenus web qui pourraient contribuer à l’entraînement des modèles d’IA générative de l’éditeur. Anthropic écrit que ses robots suivent les directives de robots.txt et ne cherchent pas à contourner les CAPTCHA.
Ce que le refuser change, et ne change pas
Selon Anthropic, restreindre l’accès de ClaudeBot signale que les contenus futurs du site doivent être exclus de ses jeux de données d’entraînement. Le mot qui compte est « futurs » : le refus vaut pour la suite. Il ne touche ni l’indexation pour la recherche, ni la récupération à la demande, que la page règle par leurs propres jetons.
Le refus s’écrit dans robots.txt, sur chaque sous-domaine à exclure. Anthropic prévient que bloquer ses adresses IP n’est pas une méthode fiable : cela l’empêche de lire le fichier. Pour ralentir le robot sans l’interdire, l’éditeur déclare prendre en charge Crawl-delay, extension non standard.
Depuis le 30 octobre 2026, selon la même page, Anthropic a commencé à reconnaître un signal générique « pas d’entraînement d’IA », qui suit un brouillon fondé sur les travaux du groupe AIPREF de l’IETF, et le déploie progressivement. Une règle qui nomme ClaudeBot l’emporte sur ce signal.
Le lire dans les journaux
La page ne donne pas de chaîne user-agent complète : on cherche le jeton ClaudeBot. Pour écarter les imitations, croiser l’adresse IP avec la liste publiée, qui vaut pour l’ensemble des robots d’Anthropic et ne les distingue pas.
Le sujet, traité en entier
Sources
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? Centre d’aide de Claude, page lue dans un navigateur le 20 novembre 2026. Rôle de ClaudeBot et effet de sa restriction, respect de robots.txt et de Crawl-delay, refus à écrire par sous-domaine, mise en garde sur le blocage par adresse IP, signal de préférence d’entraînement reconnu depuis le 30 octobre 2026, lien vers la liste d’adresses (ouverte le même jour). La page ne donne aucune chaîne user-agent.
Page revue le