Demander un devis Devis

Limitation de débit

Aussi : rate limiting

Plafond imposé au nombre de requêtes qu’un même client peut adresser à un serveur pendant une durée donnée.

Au-delà du plafond, le serveur, le CDN ou le pare-feu refuse les requêtes suivantes, en principe par un code 429, « trop de requêtes », accompagné si possible d’un en-tête Retry-After qui indique quand revenir. La règle s’applique par adresse IP, par agent utilisateur ou par clé d’API. Elle protège le site des pics de charge et de la collecte massive.

Appliquée à un robot d’exploration, elle a des conséquences que Google documente : les 429, comme les 5xx, lui font ralentir son rythme, et des URL durablement en erreur finissent par sortir de l’index. Google admet l’usage du 429, du 500 ou du 503 pour freiner en urgence, sur un à deux jours au plus, et demande de ne pas employer 401 ou 403 à cette fin. Un plafond trop bas se voit dans les journaux, à la part de 429 reçue par chaque robot.

Le sujet, traité en entier

Source Google — Reduce the Google crawl rate

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.