Demander un devis Devis

Meta · Récupération à la demande

Meta-ExternalFetcher

Ce qu’il fait

Agent de Meta qui va chercher un lien précis à la demande d’un utilisateur, et qui sert aussi à évaluer et à améliorer les capacités agentiques de ses IA. Parce que ces récupérations sont demandées par un utilisateur, Meta écrit qu’il peut passer outre les règles de robots.txt.

Jeton robots.txt
meta-externalfetcher
Obéit à robots.txt
L’éditeur ne s’y engage pas par écrit
Signature
meta-externalfetcher/1.1
Le reconnaître
Meta ne documente aucun moyen de le vérifier : sa page ne publie ni plages d’adresses ni méthode par DNS inverse pour ce robot.

Un lien à la fois, pour le compte d’un utilisateur

Meta le décrit comme un robot qui récupère des liens individuels à la demande d’un utilisateur. La même phrase lui attribue un second emploi : soutenir des fonctions de produit telles que l’évaluation et l’amélioration des capacités agentiques de ses IA, notamment aider une IA à naviguer sur des sites pour accomplir une tâche à la place de quelqu’un. Il n’explore donc pas le web de proche en proche : il vient pour une adresse donnée.

Pourquoi robots.txt ne suffit pas

Meta l’écrit deux fois sur la même page : ce robot peut passer outre robots.txt, parce qu’il exécute des récupérations demandées par l’utilisateur. L’éditeur ne dit pas qu’il l’ignore toujours, ni dans quels cas il le suit. La consigne générale — ajouter un Disallow au groupe du robot — s’applique donc sans garantie : un groupe User-agent: meta-externalfetcher peut s’écrire, rien n’engage Meta à le respecter.

Un refus qui doit tenir se pose plus bas, au niveau du serveur ou du pare-feu, sur la chaîne d’agent utilisateur. Sa limite : Meta ne publie aucune adresse qui permette de confirmer l’origine d’une requête.

Ce que le bloquer change

Aucun rapport avec l’entraînement, qui relève de Meta-ExternalAgent, ni avec l’aperçu d’un lien partagé, que fabrique facebookexternalhit. Bloquer ce récupérateur empêche qu’une page soit ouverte au moment où un utilisateur la demande, ou qu’un agent tente d’y accomplir une tâche. Meta ne précise pas dans quels produits ces demandes naissent.

Le reconnaître dans les journaux

Signature : meta-externalfetcher/1.1, en minuscules, seule ou suivie de l’adresse de la documentation. Par construction, ses passages portent sur des URL isolées plutôt que sur un parcours de liens.

Le sujet, traité en entier

Sources

  1. Meta for Developers — Meta Web Crawlers Rôle de Meta-ExternalFetcher, mention « may bypass robots.txt » (deux occurrences), chaînes d’agent utilisateur. Page datée du 21 mai 2026. Elle répond par une erreur à une requête sans en-têtes de navigateur ; lue en texte brut, avec ces en-têtes, le 20 novembre 2026.

Page revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.