Demander un devis Devis

Robot d’IA

Aussi : AI crawler · crawler IA

Programme par lequel un éditeur d’IA télécharge des pages web, pour entraîner un modèle, bâtir un index ou répondre à un utilisateur.

Le terme recouvre trois usages que les éditeurs séparent et confient à des agents distincts. OpenAI, par exemple, documente GPTBot pour l’entraînement, OAI-SearchBot pour la recherche de ChatGPT et ChatGPT-User pour les pages ouvertes à la demande d’un utilisateur. Anthropic, Mistral, Meta ou Amazon suivent un découpage voisin, chacun avec ses noms.

« Bloquer les robots d’IA » ne veut donc rien dire tant qu’on n’a pas dit lesquels : refuser un robot d’entraînement ne retire pas un site des réponses, refuser un robot de recherche le fait. Chaque jeton se règle séparément dans robots.txt, et se vérifie dans les journaux du serveur ou du CDN. Les noms changent : la liste à jour est celle de la documentation de chaque éditeur, pas celle d’un article.

Le sujet, traité en entier

Source OpenAI — Overview of OpenAI Crawlers

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.