Disallow
Aussi : directive Disallow
Règle de robots.txt qui interdit aux robots du groupe concerné d’explorer les URL dont le chemin commence par la valeur indiquée.
Disallow: /recherche/ interdit toutes les URL dont le chemin commence par /recherche/ ; Disallow: / interdit tout le site ; une règle sans chemin est ignorée. Les chemins sont sensibles à la casse. Google reconnaît deux caractères spéciaux : * remplace n’importe quelle suite de caractères, $ marque la fin de l’URL — Disallow: /*.pdf$ vise les adresses qui se terminent par .pdf.
Deux erreurs reviennent. Croire que la règle retire une page de Google : elle empêche de la lire, et l’URL peut rester dans les résultats sans description. Et laisser en production le Disallow: / d’un site de préproduction. Pour les URL sans intérêt et très nombreuses — filtres, tris, recherche interne —, c’est en revanche le moyen que Google recommande, de préférence au noindex, qui oblige le robot à demander la page avant de l’écarter.
Source Google — How Google interprets the robots.txt specification