Budget de crawl
Aussi : crawl budget · budget d’exploration
Ensemble des URL d’un site que Google peut et veut explorer, compte tenu de la capacité du serveur et de l’intérêt qu’il porte au site.
La définition est celle de Google, et elle a deux moitiés. « Peut » renvoie à la limite de capacité d’exploration : ce que le serveur supporte sans ralentir. « Veut » renvoie à la demande d’exploration : l’inventaire d’URL connu, leur popularité, le besoin de les rafraîchir. Si la demande est faible, Google explore peu, même quand la capacité n’est pas atteinte.
Google réserve explicitement le sujet aux très grands sites — plus d’un million de pages dont le contenu change chaque semaine, ou plus de 10 000 dont il change chaque jour — et à ceux dont une grande part des URL reste « Détectée, actuellement non indexée ». Pour ces sites, la prise la plus forte est l’inventaire : regrouper les doublons, fermer dans robots.txt les URL sans intérêt, répondre 404 ou 410 pour ce qui est supprimé, éliminer les soft 404, raccourcir les chaînes de redirections.