Demander un devis Devis

Robot d’entraînement

Aussi : training crawler

Robot qui collecte des pages web pour constituer les données d’entraînement d’un modèle d’IA, sans lien avec une recherche en cours.

GPTBot chez OpenAI, ClaudeBot chez Anthropic, MistralAI-Training chez Mistral, Meta-ExternalAgent chez Meta en sont des exemples documentés. Google et Apple procèdent autrement : Google-Extended et Applebot-Extended ne sont pas des robots mais des jetons de robots.txt, qui disent si les pages explorées par le robot habituel peuvent servir à l’entraînement.

L’expression est descriptive : aucun texte ne la normalise, et chaque éditeur a sa formulation. Interdire un tel robot dans robots.txt est sans effet sur la présence dans les réponses de recherche du même éditeur, qui passent par d’autres agents. C’est un choix de principe ou de négociation, pas un réglage de visibilité ; il vaut pour les collectes à venir, pas pour les modèles déjà entraînés.

Le sujet, traité en entier

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.