robots
Le répertoire des robots
42 robots nommés, chez 12 éditeurs : ce que fait chacun, s’il obéit à robots.txt, et comment le reconnaître.
| Robot | Éditeur | Usage | Obéit à robots.txt |
|---|---|---|---|
Amazonbot | Amazon | Collecte pour l’entraînement | Oui |
Amzn-SearchBot | Amazon | Exploration pour un moteur | Oui |
Amzn-User | Amazon | Récupération à la demande | Sans engagement écrit |
Claude-SearchBot | Anthropic | Exploration pour un moteur | Oui |
Claude-User | Anthropic | Récupération à la demande | Oui |
ClaudeBot | Anthropic | Collecte pour l’entraînement | Oui |
Applebot | Apple | Exploration pour un moteur | Oui |
Applebot-Extended | Apple | Collecte pour l’entraînement | Oui |
Bytespider | ByteDance | Exploration pour un moteur | Sans engagement écrit |
CCBot | Common Crawl | Autre usage | Oui |
DuckAssistBot | DuckDuckGo | Récupération à la demande | Oui |
DuckDuckBot | DuckDuckGo | Exploration pour un moteur | Oui |
AdsBot-Google | Contrôle publicitaire | Oui | |
AdsBot-Google-Mobile | Contrôle publicitaire | Oui | |
Google-Agent | Récupération à la demande | Non | |
Google-CloudVertexBot | Autre usage | Oui | |
Google-Extended | Collecte pour l’entraînement | Oui | |
Google-GeminiNotebook | Récupération à la demande | Non | |
Google-InspectionTool | Autre usage | Oui | |
Googlebot | Exploration pour un moteur | Oui | |
Googlebot Smartphone | Exploration pour un moteur | Oui | |
Googlebot-Image | Exploration pour un moteur | Oui | |
Googlebot-News | Exploration pour un moteur | Oui | |
Googlebot-Video | Exploration pour un moteur | Oui | |
GoogleOther | Autre usage | Oui | |
Mediapartners-Google | Contrôle publicitaire | Oui | |
Storebot-Google | Exploration pour un moteur | Oui | |
facebookexternalhit | Meta | Autre usage | Oui |
Meta-ExternalAds | Meta | Contrôle publicitaire | Oui |
Meta-ExternalAgent | Meta | Collecte pour l’entraînement | Oui |
Meta-ExternalFetcher | Meta | Récupération à la demande | Sans engagement écrit |
Meta-WebIndexer | Meta | Exploration pour un moteur | Oui |
bingbot | Microsoft | Exploration pour un moteur | Oui |
MistralAI-Index | Mistral AI | Exploration pour un moteur | Sans engagement écrit |
MistralAI-Training | Mistral AI | Collecte pour l’entraînement | Oui |
MistralAI-User | Mistral AI | Récupération à la demande | Sans engagement écrit |
ChatGPT-User | OpenAI | Récupération à la demande | Sans engagement écrit |
GPTBot | OpenAI | Collecte pour l’entraînement | Oui |
OAI-AdsBot | OpenAI | Contrôle publicitaire | Sans engagement écrit |
OAI-SearchBot | OpenAI | Exploration pour un moteur | Oui |
Perplexity-User | Perplexity | Récupération à la demande | Non |
PerplexityBot | Perplexity | Exploration pour un moteur | Oui |
« Obéit à robots.txt » rapporte ce que l’éditeur écrit dans sa documentation, relue le jour indiqué sur chaque fiche. « Sans engagement écrit » veut dire que l’éditeur ne le dit pas, ou qu’il écrit que ses règles peuvent ne pas s’appliquer : cela ne veut pas dire que le robot désobéit.
À identifier
Un robot inconnu dans vos journaux ? Envoyez-nous sa signature.
Voir le diagnostic
Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.