Demander un devis Devis

Mon pare-feu ou mon CDN peut-il bloquer les robots d’IA à mon insu ?

Réponse courte

Oui. Un pare-feu applicatif, un CDN ou un hébergeur peut rejeter un robot avant que la requête n’atteigne votre serveur, alors que robots.txt l’autorise. Ce blocage ne figure dans aucun de vos fichiers : il se lit dans les réglages anti-robots du fournisseur, dans ses journaux et dans les codes 403 ou 429 renvoyés.

Pourquoi un robots.txt permissif ne prouve rien

robots.txt est une consigne que le robot lit ; le pare-feu, lui, décide avant, sans rien demander au fichier. Google nomme les deux niveaux dans ses recommandations pour les fonctions IA de sa recherche : l’exploration doit être autorisée dans robots.txt, et par le CDN ou l’infrastructure d’hébergement. Perplexity publie de son côté une procédure d’autorisation pour Cloudflare et pour AWS WAF.

Où regarder, dans l’ordre

  1. Les réglages anti-robots du fournisseur. Ouvrez l’écran ; ne vous fiez ni à un souvenir ni à un article, les noms et les valeurs par défaut changent. Exemple daté : la documentation de Cloudflare, relue le 20 novembre 2026, décrit sous Security > Settings des politiques réglables par comportement — Search, Agent, Training —, chacune pouvant bloquer ou laisser passer, les nouveaux domaines démarrant sur « Allow ». Ce que porte un domaine plus ancien, seul l’écran le dit.
  2. Le fichier réellement servi : curl -s https://www.example.com/robots.txt. Un CDN peut y avoir ajouté ses propres règles en tête.
  3. La requête rejouée avec l’agent du robot : curl -s -o /dev/null -w '%{http_code}' -A 'Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot' https://www.example.com/page. Un 403, un 429 ou une page de défi là où un navigateur reçoit 200 désigne une règle fondée sur l’agent utilisateur.
  4. Les journaux, ceux du CDN s’il filtre en amont : les requêtes qu’il rejette n’arrivent jamais au serveur d’origine. Des 403 en série sur OAI-SearchBot ou PerplexityBot signent le blocage.

Deux limites à garder en tête. Un 200 obtenu avec curl ne prouve pas l’accès : la requête part de votre adresse, pas de celle de l’éditeur, et un filtrage par adresse IP ne se reproduit pas ainsi. Et un robot absent des journaux n’est pas forcément bloqué ; il peut ne pas être venu.

Autoriser sans ouvrir à tout le monde

L’agent utilisateur s’imite : une règle qui laisse passer tout ce qui se déclare GPTBot laisse aussi passer les imitateurs. OpenAI et Perplexity publient un fichier d’adresses IP par robot, et Perplexity recommande de combiner dans la règle l’agent utilisateur et l’adresse. Le même éditeur signale que le mode Bot Fight de Cloudflare ne se contourne pas par une règle personnalisée.

L’inverse existe : bloquer par adresse IP pour refuser un robot. Anthropic prévient que ce blocage peut empêcher ses robots de lire robots.txt et ne garantit pas l’exclusion ; le refus se déclare dans le fichier. Tout ce contrôle est à refaire après un changement de CDN, d’hébergeur ou de formule de sécurité : la nouvelle pile arrive avec ses propres réglages.

Le sujet, traité en entier

Sources

  1. Google Search Central — AI features and your website Exploration à autoriser dans robots.txt et par le CDN ou l’infrastructure d’hébergement. Ouverte le 20 novembre 2026.
  2. Cloudflare — AI Crawler and Agent access policies Comportements Search, Agent et Training, actions disponibles, valeurs par défaut des nouveaux domaines. Page datée du 2 novembre 2026, ouverte le 20 novembre 2026.
  3. Cloudflare — robots.txt setting Règles ajoutées en tête du robots.txt servi. Reprise du manuel.
  4. Perplexity — Perplexity Crawlers Procédures pour Cloudflare et AWS WAF, combinaison agent utilisateur et adresse IP, limite du mode Bot Fight. Ouverte le 20 novembre 2026.
  5. OpenAI — Overview of OpenAI Crawlers Chaîne d’agent utilisateur de GPTBot, dont le numéro de version peut changer ; fichiers d’adresses IP. Ouverte le 20 novembre 2026.
  6. Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? Mise en garde sur le blocage par adresse IP. Ouverte le 20 novembre 2026.

Réponse revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.