Allow
Aussi : directive Allow
Règle de robots.txt qui autorise l’exploration d’un chemin, le plus souvent pour ouvrir une exception dans un répertoire interdit.
Tout ce qui n’est pas interdit est autorisé : Allow ne sert donc qu’à côté d’un Disallow. Exemple : Disallow: /compte/ suivi de Allow: /compte/aide/ ferme le répertoire sauf sa rubrique d’aide. Entre plusieurs règles qui correspondent à une URL, la plus spécifique l’emporte : celle qui compte le plus d’octets, écrit la RFC 9309. Google précise ce qu’il compte : la longueur du chemin écrit dans la règle, jokers compris, pas la portion d’URL couverte. Pour /page.htm, Disallow: /*.htm l’emporte ainsi sur Allow: /page. En cas d’égalité, la RFC recommande d’appliquer Allow, et Google indique retenir la règle la moins restrictive.
L’usage le plus courant : rouvrir les fichiers JavaScript et CSS d’un répertoire interdit, sans lesquels le rendu de la page échoue. Un piège : un groupe nommé remplace le groupe général, il ne s’y ajoute pas. Un Allow écrit sous User-agent: * ne vaut donc rien pour un robot qui dispose de son propre groupe.