Demander un devis Devis

lexique

Exploration et indexation

Robots, directives, plans de site, codes de réponse. 90 termes, par ordre alphabétique.

AdsBot-Google
Robot de Google Ads qui visite les pages de destination des annonces pour en contrôler la qualité.
Allow
Règle de robots.txt qui autorise l’exploration d’un chemin, le plus souvent pour ouvrir une exception dans un répertoire interdit.
Analyse de logs
Étude des journaux d’un serveur web pour savoir quelles URL les robots ont réellement demandées, quand, et avec quelle réponse.
API Indexing
API de Google qui permet de signaler directement l’ajout ou le retrait de pages d’offres d’emploi ou de vidéos diffusées en direct.
Applebot
Robot d’exploration d’Apple, dont les données alimentent la recherche de Spotlight, de Siri et de Safari.
Balise meta robots
Balise placée dans l’en-tête HTML d’une page pour dire aux moteurs s’ils peuvent l’indexer, suivre ses liens et en afficher un extrait.
Bingbot
Robot d’exploration de Microsoft Bing, qui télécharge les pages destinées à l’index de ce moteur.
Budget de crawl
Ensemble des URL d’un site que Google peut et veut explorer, compte tenu de la capacité du serveur et de l’intérêt qu’il porte au site.
Cache Google
Copie d’une page que Google conservait et rendait consultable depuis ses résultats ; la fonction a été retirée en 2024.
Canonicalisation
Processus par lequel un moteur choisit, parmi plusieurs URL au contenu identique ou très proche, celle qui représentera le groupe.
Code 200
Code de réponse HTTP indiquant que la requête a abouti et que le serveur renvoie le contenu demandé.
Code 304
Code de réponse HTTP indiquant que la ressource n’a pas changé depuis la dernière visite, et que le serveur ne la renvoie donc pas.
Code 410
Code de réponse HTTP indiquant qu’une ressource a été retirée du serveur, et que ce retrait est vraisemblablement définitif.
Code de réponse HTTP
Nombre à trois chiffres par lequel un serveur indique le résultat d’une requête : succès, redirection, erreur du client ou du serveur.
Contrôles d’extrait
Ensemble des règles par lesquelles un éditeur limite ce qu’un moteur peut afficher d’une page : texte, image ou aperçu vidéo.
Crawl
Parcours automatique des pages du web par le robot d’un moteur, qui télécharge leur contenu en suivant les liens et les sitemaps.
Crawl-delay
Directive non standard de robots.txt qui demande à un robot d’espacer ses requêtes ; Google l’ignore, d’autres robots la respectent.
data-nosnippet
Attribut HTML qui exclut un passage précis d’une page des extraits affichés par Google, sans toucher au reste du contenu.
Découverte d’URL
Étape par laquelle un moteur apprend l’existence d’une adresse, avant même de l’explorer : par un lien, un sitemap ou une soumission.
Demande d’exploration
Intérêt qu’un moteur porte à l’exploration d’un site, fonction des URL qu’il lui connaît, de leur popularité et de leur ancienneté.
Demande d’indexation
Action par laquelle le propriétaire d’un site demande à Google, depuis Search Console, d’explorer à nouveau une URL précise.
Désindexation
Sortie d’une page de l’index d’un moteur, voulue par l’éditeur du site ou subie à la suite d’une erreur ou d’une décision du moteur.
Détectée, actuellement non indexée
Statut de Search Console pour une URL que Google connaît mais qu’il n’a pas encore explorée.
Disallow
Règle de robots.txt qui interdit aux robots du groupe concerné d’explorer les URL dont le chemin commence par la valeur indiquée.
En-tête HTTP
Ligne d’information qui accompagne une requête ou une réponse HTTP, sous la forme d’un nom et d’une valeur.
Erreur 401
Code de réponse HTTP indiquant que la ressource demandée exige une authentification que la requête n’a pas fournie.
Erreur 403
Code de réponse HTTP indiquant que le serveur a compris la requête mais refuse d’y donner suite.
Erreur 404
Code de réponse HTTP indiquant que le serveur n’a rien trouvé à l’adresse demandée, sans dire si cette absence est durable.
Erreur 429
Code de réponse HTTP indiquant que le client a envoyé trop de requêtes dans un intervalle de temps donné.
Erreur 500
Code de réponse HTTP indiquant que le serveur a rencontré une situation imprévue qui l’a empêché de traiter la requête.
Erreur 502
Code de réponse HTTP renvoyé par un serveur intermédiaire qui a reçu une réponse invalide du serveur situé derrière lui.
Erreur 503
Code de réponse HTTP indiquant que le serveur est momentanément incapable de traiter la requête, pour surcharge ou maintenance.
Erreur 504
Code de réponse HTTP renvoyé par un serveur intermédiaire qui n’a pas reçu à temps la réponse du serveur situé derrière lui.
Erreur 522
Code d’erreur propre à Cloudflare, renvoyé quand son réseau n’obtient pas de réponse du serveur d’origine dans le délai imparti.
Erreur d’exploration
Échec d’un robot à obtenir une page qu’il a demandée, quelle qu’en soit la cause : réseau, serveur, code d’erreur ou interdiction.
Erreur DNS
Échec de la résolution du nom de domaine d’un site : le robot ne parvient pas à obtenir l’adresse IP du serveur à contacter.
Erreurs 4xx
Famille de codes HTTP par lesquels un serveur signale que la requête ne peut pas être satisfaite telle qu’elle a été formulée.
Erreurs 5xx
Famille de codes HTTP par lesquels un serveur signale qu’il n’a pas su traiter une requête pourtant valide.
Explorabilité
Aptitude d’un site à être parcouru par les robots : ses pages sont accessibles, reliées par des liens et servies sans erreur.
Explorée, actuellement non indexée
Statut de Search Console pour une page que Google a téléchargée mais qu’il n’a pas retenue dans son index.
Fichier de logs
Fichier dans lequel un serveur web consigne chaque requête reçue : adresse IP, date, URL demandée, code de réponse, agent utilisateur.
File d’attente de rendu
File dans laquelle Google place les pages explorées en attendant que ses ressources permettent d’en exécuter le JavaScript.
Fréquence de crawl
Rythme auquel un robot revient demander une même URL ou un même groupe de pages, mesuré dans les journaux du serveur.
Google-InspectionTool
Robot employé par les outils de test de Google, dont l’inspection d’URL de Search Console et le test des résultats enrichis.
Googlebot
Nom générique des deux robots d’exploration de la recherche Google, l’un simulant un mobile, l’autre un ordinateur.
Googlebot Smartphone
Robot de Google qui explore le web en simulant un utilisateur sur mobile, et d’où vient l’essentiel de ses requêtes d’exploration.
Googlebot-Image
Robot de Google qui explore les images pour Google Images, Discover et les fonctions de recherche qui affichent des visuels.
If-Modified-Since
En-tête de requête HTTP par lequel un client demande une ressource seulement si elle a changé depuis une date donnée.
Index
Base de données dans laquelle un moteur de recherche enregistre les pages qu’il a retenues, et d’où il tire ses résultats.
Index bloat
Situation d’un site dont le moteur a indexé un grand nombre de pages sans valeur de recherche, en plus de ses pages utiles.
Index de sitemaps
Fichier XML qui regroupe les adresses de plusieurs sitemaps afin de les déclarer aux moteurs en une seule fois.
Index inversé
Structure de données qui associe à chaque mot la liste des documents où il apparaît, et qui permet à un moteur de répondre vite.
Index mobile-first
Principe selon lequel Google indexe et classe un site d’après sa version mobile, explorée avec son robot pour smartphone.
Indexabilité
Aptitude d’une page à entrer dans l’index d’un moteur : rien, dans sa réponse ni dans son code, ne s’y oppose.
Indexation
Étape où un moteur analyse une page explorée et décide de l’enregistrer dans son index pour pouvoir l’afficher dans ses résultats.
Indexation en deux vagues
Expression de praticiens pour dire que Google indexe d’abord le HTML reçu, puis le contenu produit par JavaScript, après le rendu.
IndexNow
Protocole ouvert par lequel un site signale aux moteurs participants qu’une URL vient d’être ajoutée, modifiée ou supprimée.
Inspection d’URL
Outil de Search Console qui montre ce que Google sait d’une URL : son état d’indexation, sa dernière exploration, sa version canonique.
Last-Modified
En-tête de réponse HTTP par lequel un serveur indique la date à laquelle la ressource renvoyée a été modifiée pour la dernière fois.
lastmod
Champ facultatif d’un sitemap qui indique la date de dernière modification de la page ou du fichier qu’il accompagne.
Limite de capacité d’exploration
Plafond que Google se fixe pour explorer un site sans le surcharger, calculé d’après la façon dont le serveur répond.
max-image-preview
Règle de la balise robots qui fixe la taille maximale de l’aperçu d’image qu’un moteur peut afficher pour une page.
max-snippet
Règle de la balise robots qui plafonne, en nombre de caractères, la longueur de l’extrait de texte qu’un moteur peut afficher.
Noarchive
Règle de la balise robots qui interdisait l’affichage d’une copie en cache ; Google ne s’en sert plus, Bing lui donne un autre rôle.
Noindex
Règle qui demande aux moteurs de ne pas afficher une page dans leurs résultats, posée par balise meta robots ou par en-tête HTTP.
Nosnippet
Règle de la balise robots qui interdit aux moteurs d’afficher un extrait de texte ou un aperçu vidéo de la page dans leurs résultats.
Outil de suppression d’URL
Outil de Search Console qui masque temporairement des URL d’un site dans les résultats de Google, pour six mois environ.
Page active
Page qui a reçu au moins une visite venue d’un moteur de recherche sur une période donnée, souvent trente jours.
Page orpheline
Page qu’aucun lien interne ne permet d’atteindre : elle existe, mais la navigation du site n’y mène pas.
Piège à robots
Partie d’un site qui engendre un nombre pratiquement illimité d’URL, dans lesquelles un robot peut s’enfermer sans rien trouver d’utile.
Plan du site HTML
Page d’un site, destinée d’abord aux visiteurs, qui présente des liens vers ses rubriques et ses principales pages.
Rapport d’indexation des pages
Rapport de Search Console qui répartit les URL connues de Google entre pages indexées et non indexées, avec le motif de chaque exclusion.
Rendu
Opération par laquelle un moteur exécute le JavaScript d’une page, comme le ferait un navigateur, pour obtenir son contenu final.
Ressources bloquées
Fichiers nécessaires à l’affichage d’une page — scripts, feuilles de style, images — que robots.txt interdit aux robots de charger.
Retry-After
En-tête de réponse HTTP qui indique au client combien de temps attendre avant de renouveler sa requête.
Robot d’exploration
Programme qui télécharge automatiquement des pages web pour le compte d’un moteur de recherche, d’un outil ou d’un éditeur de modèle d’IA.
robots.txt
Fichier texte placé à la racine d’un site, qui indique aux robots les chemins qu’ils peuvent ou non explorer.
Scraping
Extraction automatisée du contenu de pages web par un programme, pour le réutiliser ou l’analyser ailleurs.
Sitemap d’images
Sitemap enrichi de balises qui signalent à Google les images présentes sur chaque page, y compris celles qu’il trouverait mal seul.
Sitemap Google Actualités
Sitemap réservé aux articles d’actualité récents, qui indique à Google le nom de la publication, la langue, la date et le titre de chacun.
Sitemap vidéo
Sitemap enrichi de balises qui décrivent les vidéos hébergées sur les pages d’un site : titre, description, vignette, emplacement du fichier.
Sitemap XML
Fichier qui liste les URL d’un site à l’intention des moteurs, avec pour chacune des informations facultatives comme la date de modification.
Soft 404
Page qui affiche un message d’erreur ou un contenu vide tout en répondant par un code de succès, et que Google traite comme une erreur.
Statistiques sur l’exploration
Rapport de Search Console qui décrit l’activité des robots de Google sur un site : volume de requêtes, réponses reçues, état de l’hôte.
Taux de crawl
Part des pages d’un site qu’un robot de moteur a effectivement explorées sur une période, d’après les journaux du serveur.
User-agent
Chaîne par laquelle un navigateur ou un robot s’identifie dans une requête HTTP ; par extension, le nom qui le désigne dans robots.txt.
Vérification de Googlebot
Contrôle qui établit qu’une requête se réclamant de Googlebot vient bien de Google, par DNS inversé ou par plages d’adresses IP.
Web invisible
Partie du web que les moteurs de recherche n’indexent pas, parce que leurs robots ne peuvent pas ou ne doivent pas y accéder.
Web Rendering Service
Composant de Googlebot qui charge les pages dans un Chromium sans interface et en exécute le JavaScript avant l’indexation.
X-Robots-Tag
En-tête de réponse HTTP qui porte les mêmes règles que la balise meta robots, utile pour les fichiers qui ne sont pas du HTML.

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.