Crawl-delay
Directive non standard de robots.txt qui demande à un robot d’espacer ses requêtes ; Google l’ignore, d’autres robots la respectent.
La directive n’apparaît pas dans la RFC 9309, et chaque éditeur en fait ce qu’il veut. Google ne la prend pas en charge : ses robots ne lisent que user-agent, allow, disallow et sitemap. Un billet de Bing du 3 mai 2012 indique que son robot la respecte et la lit comme une fenêtre de temps pendant laquelle il n’explore le site qu’une fois. Anthropic déclare la respecter ; Apple écrit qu’Applebot ne la suit pas.
Pour ralentir Google, la directive ne sert donc à rien. Sa documentation propose autre chose en cas d’urgence : répondre 500, 503 ou 429 pendant une courte période, en sachant que la découverte et le rafraîchissement des pages en pâtissent. Avant de freiner un robot, mieux vaut chercher dans les journaux ce qu’il demande : un pic vient souvent d’URL de filtres ou de calendriers que le site engendre lui-même.
Le sujet, traité en entier
Source Google — How Google interprets the robots.txt specification