Demander un devis Devis

Crawl

Aussi : exploration

Parcours automatique des pages du web par le robot d’un moteur, qui télécharge leur contenu en suivant les liens et les sitemaps.

Le crawl est la première étape du travail d’un moteur : avant de classer une page, il faut l’avoir téléchargée. Google décrit trois temps — exploration, indexation, diffusion des résultats — et précise qu’il n’existe aucun registre central des pages. Son robot part des URL déjà connues, en extrait les liens, lit les sitemaps qu’on lui soumet, puis décide par algorithme quels sites visiter, à quelle fréquence et combien de pages y prendre.

Explorer n’est pas indexer : une page téléchargée peut ne jamais entrer dans l’index. Le mot désigne aussi, dans le métier, le parcours d’un site par un outil d’audit qui imite un moteur. Les deux sens se croisent quand on compare ce que l’outil atteint par les liens à ce que le moteur demande réellement, d’après les journaux du serveur.

Le sujet, traité en entier

Source Google Search Central — In-depth guide to how Google Search works

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.