Demander un devis Devis

Quel robot d’OpenAI bloquer, et lequel laisser passer ?

Ce qui départage

Cela dépend de ce que vous refusez. GPTBot collecte des contenus pouvant servir à entraîner les modèles d’OpenAI : l’interdire signale un refus d’entraînement. OAI-SearchBot fait apparaître les sites dans la recherche de ChatGPT : l’interdire vous en retire. OpenAI écrit que les deux réglages sont indépendants ; bloquer le premier et laisser passer le second est une configuration cohérente.

CritèreGPTBotOAI-SearchBot
À quoi il sert Collecter des contenus pouvant servir à entraîner les modèles de fondation d’OpenAI. Faire apparaître les sites dans les résultats de recherche de ChatGPT.
Ce que l’interdire signale Que le contenu ne doit pas servir à l’entraînement. Que le site ne doit plus être montré dans les réponses de recherche ; il peut encore apparaître comme lien de navigation.
Règle type dans robots.txt User-agent: GPTBot puis Disallow: / User-agent: OAI-SearchBot puis Allow: /
Dans les journaux GPTBot/1.4; +https://openai.com/gptbot dans l’agent utilisateur ; le numéro de version peut changer. OAI-SearchBot/1.4; +https://openai.com/searchbot ; le numéro de version peut changer.
Adresses IP publiées https://openai.com/gptbot.json https://openai.com/searchbot.json
Délai de prise en compte Non précisé par OpenAI. Environ 24 heures après la modification de robots.txt, pour les résultats de recherche.

Bloquer GPTBot : refuser l’entraînement

OpenAI décrit GPTBot comme le robot qui explore des contenus pouvant servir à entraîner ses modèles de fondation, et écrit que l’interdire indique que le contenu du site ne doit pas servir à cet entraînement. Le groupe tient en deux lignes de robots.txt : User-agent: GPTBot, puis Disallow: /. Ce refus ne retire rien de la recherche de ChatGPT. La page ne dit rien des contenus déjà collectés.

Laisser passer OAI-SearchBot : rester dans la recherche de ChatGPT

OAI-SearchBot sert à faire apparaître les sites dans les résultats de recherche de ChatGPT. Un site qui l’exclut n’est plus montré dans les réponses de recherche, même s’il peut encore apparaître comme lien de navigation. OpenAI recommande de l’autoriser dans robots.txt et de laisser passer les requêtes venues des plages d’adresses qu’il publie : le second point se règle dans le pare-feu ou le CDN, pas dans le fichier. Un changement de robots.txt met environ 24 heures à se répercuter sur les résultats de recherche.

Les cas où il faut regarder les deux

  • Refuser l’entraînement sans quitter les réponses. C’est l’exemple que donne OpenAI : autoriser OAI-SearchBot, interdire GPTBot. Chaque réglage est indépendant des autres.
  • Autoriser les deux. OpenAI indique pouvoir alors n’utiliser qu’une seule exploration pour les deux usages, afin d’éviter les doublons. L’absence de l’un des deux noms dans les journaux ne suffit donc pas à conclure à un blocage.
  • Un groupe nommé remplace le groupe général. D’après la RFC 9309, un robot applique le groupe qui le nomme et ne suit User-agent: * qu’à défaut. Les règles générales à conserver pour OAI-SearchBot doivent être recopiées dans son groupe.
  • Le troisième agent. ChatGPT-User ouvre une page à la demande d’un utilisateur. OpenAI écrit que les règles de robots.txt peuvent ne pas s’appliquer à lui, et qu’il ne décide pas de l’apparition dans la recherche.

Le sujet, traité en entier

Sources

  1. OpenAI — Overview of OpenAI Crawlers Rôle de GPTBot et de OAI-SearchBot, indépendance des réglages, exploration unique quand les deux sont autorisés, délai d’environ 24 heures pour la recherche, chaînes d’agent utilisateur et fichiers d’adresses IP, cas de ChatGPT-User. Reprise du lexique, relue le 20 novembre 2026.
  2. RFC 9309 — Robots Exclusion Protocol IETF, septembre 2022. Choix du groupe : le groupe général ne s’applique qu’à défaut de groupe nommant le robot. Reprise du manuel, relue le 20 novembre 2026.

Page revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.