Meta · Exploration pour un moteur
Meta-WebIndexer
Ce qu’il fait
Robot de Meta qui parcourt le web pour améliorer la qualité des résultats de recherche de Meta AI. Meta écrit que l’autoriser dans robots.txt l’aide à citer un site et à y renvoyer dans les réponses de son assistant. Il est distinct du robot d’entraînement, Meta-ExternalAgent.
- Jeton
robots.txt meta-webindexer- Obéit à
robots.txt - Oui, d’après son éditeur
- Signature
meta-webindexer/1.1- Le reconnaître
- Meta ne documente aucun moyen de le vérifier : sa page ne publie ni plages d’adresses ni méthode par DNS inverse pour ce robot.
- Pour le refuser
User-agent: meta-webindexer Disallow: /
Le robot que Meta rattache aux réponses de Meta AI
D’après la page de Meta, Meta-WebIndexer parcourt le web pour améliorer la qualité des résultats de recherche de Meta AI : l’éditeur dit analyser les contenus en ligne pour rendre son assistant plus pertinent et plus exact. Une phrase s’adresse directement aux sites : l’autoriser dans robots.txt aide Meta à citer leurs contenus et à y renvoyer dans les réponses de Meta AI. La page ne décrit ni l’index constitué, ni la fréquence de passage, ni le rendu du JavaScript.
Ce que le refuser change
Meta ne formule que le versant positif. La lecture inverse se fait avec prudence : un site qui interdit ce robot renonce à ce que Meta présente comme une aide à sa citation, sans que l’éditeur écrive qu’il disparaît pour autant des réponses. Ce refus ne dit rien de l’entraînement, qui relève de Meta-ExternalAgent : les deux décisions se prennent séparément, et une règle écrite pour l’un ne vaut pas pour l’autre.
Un point reste flou. La description de Meta-ExternalAgent mentionne elle aussi une indexation directe de contenus, et Meta n’explique pas ce qui la sépare de celle-ci.
Le reconnaître dans les journaux
La signature publiée est meta-webindexer/1.1, en minuscules, seule ou suivie de l’adresse de la documentation entre parenthèses. L’exemple de robots.txt donné par Meta ne le nomme pas, mais la règle s’écrit comme pour les autres : un groupe User-agent: meta-webindexer, lu avec un cache qui peut durer 24 heures. Meta ne publie pas d’adresses IP pour ce robot : la chaîne, falsifiable, est le seul indice.
Le sujet, traité en entier
Sources
- Meta for Developers — Meta Web Crawlers Rôle de Meta-WebIndexer, phrase sur la citation et les liens dans les réponses de Meta AI, chaînes d’agent utilisateur, cache de 24 heures. Page datée du 21 mai 2026. Elle répond par une erreur à une requête sans en-têtes de navigateur ; lue en texte brut, avec ces en-têtes, le 20 novembre 2026.
Page revue le