Faux
« La directive Crawl-delay ralentit le passage de Googlebot »
Verdict : faux
Faux. Google écrit que ses robots ne traitent pas la règle Crawl-delay, absente du standard robots.txt : seuls user-agent, allow, disallow et sitemap sont lus. D’autres robots la suivent : Anthropic le déclare pour les siens, Bing l’a écrit en 2012. Pour freiner Googlebot en urgence, la voie documentée passe par des réponses 500, 503 ou 429.
D’où vient l’idée
La directive existe, et elle fonctionne — ailleurs. Crawl-delay est une extension de robots.txt que plusieurs robots ont adoptée sans qu’elle entre dans le standard : la RFC 9309 ne la mentionne pas. Un billet de Bing du 3 mai 2012 indique que son robot la respecte, et la lit comme une fenêtre de 1 à 30 secondes pendant laquelle il n’explore le site qu’une fois. Anthropic déclare prendre en charge cette extension non standard pour limiter l’activité de ses robots. Une ligne qui freine deux robots, on la suppose valable pour tous.
Ce que Google écrit
Sa lecture de la spécification robots.txt liste les champs pris en charge : user-agent, allow, disallow, sitemap. Elle précise entre parenthèses que les autres, crawl-delay par exemple, ne le sont pas. Sa page « Myths and facts about crawling » répond « faux » à l’affirmation « je peux contrôler les robots de Google avec la règle crawl-delay » : cette règle non standard n’est pas traitée par ses robots. La ligne ne provoque pas d’erreur ; elle est sautée.
Ce qu’on en fait
Garder la ligne pour les robots qui la lisent ne coûte rien. Pour Google, la procédure d’urgence documentée consiste à répondre 500, 503 ou 429 aux requêtes d’exploration pendant quelques heures, un à deux jours au plus. Google en donne le prix : le rythme baisse sur tout le nom d’hôte, moins de pages sont découvertes, et une URL qui renvoie ces codes plusieurs jours de suite peut sortir de l’index. Les codes 401 et 403 ne doivent pas servir à cela.
Avant de freiner, lire les journaux du serveur : quelles URL Googlebot demande-t-il ? La même page cite, parmi les causes habituelles d’un pic, la navigation à facettes et les calendriers aux dates sans fin. Cela se traite par un Disallow sur ces chemins, pas par un délai. Quant aux autres robots d’IA, les pages qu’OpenAI et Perplexity leur consacrent ne décrivent aucun réglage de cadence.
Le sujet, traité en entier
Sources
- Google — How Google interprets the robots.txt specification Champs pris en charge ; crawl-delay cité parmi ceux qui ne le sont pas. Ouverte le 20 novembre 2026.
- Google — Myths and facts about crawling Affirmation sur crawl-delay notée « False » : la règle n’est pas traitée par les robots de Google. Ouverte le 20 novembre 2026.
- Google — Reduce Google crawl rate Réponses 500, 503 ou 429 en urgence, durée, effets ; causes habituelles d’un pic d’exploration. Ouverte le 20 novembre 2026.
- Bing Webmaster Blog — To crawl or not to crawl, that is BingBot’s question 3 mai 2012. Bingbot respecte Crawl-delay, lu comme une fenêtre de 1 à 30 secondes. Position ancienne : la documentation actuelle de Bing n’a pas été consultée. Ouverte le 20 novembre 2026.
- Anthropic — Does Anthropic crawl data from the web, and how can site owners block the crawler? Prise en charge de l’extension non standard Crawl-delay. Ouverte le 20 novembre 2026.
- RFC 9309 — Robots Exclusion Protocol IETF, septembre 2022. Citée pour ce qu’elle ne contient pas : aucune mention de crawl-delay. Ouverte le 20 novembre 2026.
Page revue le