Crawl
Aussi : exploration
Parcours automatique des pages du web par le robot d’un moteur, qui télécharge leur contenu en suivant les liens et les sitemaps.
Le crawl est la première étape du travail d’un moteur : avant de classer une page, il faut l’avoir téléchargée. Google décrit trois temps — exploration, indexation, diffusion des résultats — et précise qu’il n’existe aucun registre central des pages. Son robot part des URL déjà connues, en extrait les liens, lit les sitemaps qu’on lui soumet, puis décide par algorithme quels sites visiter, à quelle fréquence et combien de pages y prendre.
Explorer n’est pas indexer : une page téléchargée peut ne jamais entrer dans l’index. Le mot désigne aussi, dans le métier, le parcours d’un site par un outil d’audit qui imite un moteur. Les deux sens se croisent quand on compare ce que l’outil atteint par les liens à ce que le moteur demande réellement, d’après les journaux du serveur.
Le sujet, traité en entier
Source Google Search Central — In-depth guide to how Google Search works