Meta · Récupération à la demande
Meta-ExternalFetcher
Ce qu’il fait
Agent de Meta qui va chercher un lien précis à la demande d’un utilisateur, et qui sert aussi à évaluer et à améliorer les capacités agentiques de ses IA. Parce que ces récupérations sont demandées par un utilisateur, Meta écrit qu’il peut passer outre les règles de robots.txt.
- Jeton
robots.txt meta-externalfetcher- Obéit à
robots.txt - L’éditeur ne s’y engage pas par écrit
- Signature
meta-externalfetcher/1.1- Le reconnaître
- Meta ne documente aucun moyen de le vérifier : sa page ne publie ni plages d’adresses ni méthode par DNS inverse pour ce robot.
Un lien à la fois, pour le compte d’un utilisateur
Meta le décrit comme un robot qui récupère des liens individuels à la demande d’un utilisateur. La même phrase lui attribue un second emploi : soutenir des fonctions de produit telles que l’évaluation et l’amélioration des capacités agentiques de ses IA, notamment aider une IA à naviguer sur des sites pour accomplir une tâche à la place de quelqu’un. Il n’explore donc pas le web de proche en proche : il vient pour une adresse donnée.
Pourquoi robots.txt ne suffit pas
Meta l’écrit deux fois sur la même page : ce robot peut passer outre robots.txt, parce qu’il exécute des récupérations demandées par l’utilisateur. L’éditeur ne dit pas qu’il l’ignore toujours, ni dans quels cas il le suit. La consigne générale — ajouter un Disallow au groupe du robot — s’applique donc sans garantie : un groupe User-agent: meta-externalfetcher peut s’écrire, rien n’engage Meta à le respecter.
Un refus qui doit tenir se pose plus bas, au niveau du serveur ou du pare-feu, sur la chaîne d’agent utilisateur. Sa limite : Meta ne publie aucune adresse qui permette de confirmer l’origine d’une requête.
Ce que le bloquer change
Aucun rapport avec l’entraînement, qui relève de Meta-ExternalAgent, ni avec l’aperçu d’un lien partagé, que fabrique facebookexternalhit. Bloquer ce récupérateur empêche qu’une page soit ouverte au moment où un utilisateur la demande, ou qu’un agent tente d’y accomplir une tâche. Meta ne précise pas dans quels produits ces demandes naissent.
Le reconnaître dans les journaux
Signature : meta-externalfetcher/1.1, en minuscules, seule ou suivie de l’adresse de la documentation. Par construction, ses passages portent sur des URL isolées plutôt que sur un parcours de liens.
Le sujet, traité en entier
Sources
- Meta for Developers — Meta Web Crawlers Rôle de Meta-ExternalFetcher, mention « may bypass robots.txt » (deux occurrences), chaînes d’agent utilisateur. Page datée du 21 mai 2026. Elle répond par une erreur à une requête sans en-têtes de navigateur ; lue en texte brut, avec ces en-têtes, le 20 novembre 2026.
Page revue le