Demander un devis Devis

Mon site est-il concerné par le budget de crawl ?

Réponse courte

Probablement pas. Google réserve le sujet aux sites de plus d’un million de pages modifiées chaque semaine, à ceux de plus de 10 000 pages modifiées chaque jour, et à ceux dont une grande part des URL reste « Détectée, actuellement non indexée ». En dessous, un sitemap à jour et le rapport d’indexation des pages suffisent.

Le critère que Google donne

Le guide de Google sur le budget de crawl s’ouvre par un avertissement : si votre site n’a pas un grand nombre de pages qui changent vite, ou si vos pages sont explorées le jour de leur publication, vous n’avez pas besoin de le lire. Les trois cas cités plus haut sont donnés comme des ordres de grandeur, pas comme des seuils exacts.

Google définit ce budget comme l’ensemble des URL qu’il peut et veut explorer sur un nom d’hôte. Le « peut » est une limite de capacité, qui baisse quand le serveur ralentit ou renvoie des erreurs 5xx ou des 429. Le « veut » est une demande, qui dépend des URL connues, de leur popularité et du besoin de les rafraîchir.

Les signes à lire dans les statistiques d’exploration

Le rapport « Statistiques sur l’exploration » de la Search Console n’existe que pour une propriété de niveau racine, et son aide prévient qu’un site de moins de mille pages ne devrait pas en avoir besoin. Pour les autres, quatre lectures :

  • L’état de l’hôte : récupération de robots.txt, résolution DNS, connectivité du serveur. Un incident de disponibilité y figure.
  • Les réponses : la grande majorité doit être des 200. Une part visible de 5xx ou de 429 est ce qui fait baisser la limite de capacité.
  • Le temps de réponse moyen, s’il monte durablement.
  • L’objectif des requêtes : découverte ou actualisation. Après une vague de publications, l’aide indique qu’on devrait voir monter les requêtes de découverte ; leur absence est un signe.

Deux recoupements complètent le rapport : dans le rapport d’indexation des pages, le volume du motif « Détectée, actuellement non indexée », que l’aide explique par une exploration reportée pour ne pas surcharger le site ; dans les journaux serveur, la liste des URL que Googlebot demande réellement. Des filtres et des paramètres en tête de cette liste signalent un inventaire gonflé.

Selon la réponse

Le site est concerné. L’inventaire d’URL est le facteur sur lequel Google dit que vous avez le plus de prise : regrouper les doublons, interdire par Disallow les URL sans intérêt plutôt que d’y poser un noindex, répondre 404 ou 410 pour ce qui est supprimé, éliminer les fausses 404, raccourcir les chaînes de redirections, tenir le sitemap à jour. Google précise qu’un blocage ne reporte pas l’exploration sur d’autres pages, sauf si le site atteignait déjà sa limite de capacité.

Le site ne l’est pas. Une page absente de l’index sur un site de trois cents pages ne manque pas de budget : il lui manque un lien interne, ou elle porte un noindex, ou Google la tient pour un doublon, ou il a choisi de ne pas la retenir. Le diagnostic pas à pas part de là. Ce guide ne décrit que Google ; aucun éditeur d’assistant ne publie d’équivalent.

Le sujet, traité en entier

Sources

  1. Google — Optimize your crawl budget Sites visés, définition, limite de capacité, demande, bonnes pratiques. Ne décrit que les robots de Google. Reprise du manuel.
  2. Aide Search Console — Crawl Stats report Disponibilité du rapport, public visé, état de l’hôte, répartition par réponse et par objectif. Reprise du manuel.
  3. Aide Search Console — Rapport sur l’indexation des pages Explication du motif « Détectée, actuellement non indexée ». Ouverte le 20 novembre 2026.

Réponse revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.