Demander un devis Devis

Crawl-delay

Directive non standard de robots.txt qui demande à un robot d’espacer ses requêtes ; Google l’ignore, d’autres robots la respectent.

La directive n’apparaît pas dans la RFC 9309, et chaque éditeur en fait ce qu’il veut. Google ne la prend pas en charge : ses robots ne lisent que user-agent, allow, disallow et sitemap. Un billet de Bing du 3 mai 2012 indique que son robot la respecte et la lit comme une fenêtre de temps pendant laquelle il n’explore le site qu’une fois. Anthropic déclare la respecter ; Apple écrit qu’Applebot ne la suit pas.

Pour ralentir Google, la directive ne sert donc à rien. Sa documentation propose autre chose en cas d’urgence : répondre 500, 503 ou 429 pendant une courte période, en sachant que la découverte et le rafraîchissement des pages en pâtissent. Avant de freiner un robot, mieux vaut chercher dans les journaux ce qu’il demande : un pic vient souvent d’URL de filtres ou de calendriers que le site engendre lui-même.

Le sujet, traité en entier

Source Google — How Google interprets the robots.txt specification

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.