Demander un devis Devis

ByteDance · Exploration pour un moteur

Bytespider

Ce qu’il fait

Robot de ByteDance. La page officielle, en chinois, le présente comme le robot d’exploration du moteur de recherche Toutiao : il explore, indexe et sert des résultats. Elle ne mentionne aucun usage pour l’entraînement de modèles d’IA ; ce classement, courant dans les listes de blocage, vient de sources tierces.

Jeton robots.txt
Bytespider
Obéit à robots.txt
L’éditeur ne s’y engage pas par écrit
Signature
Mozilla/5.0 (compatible; Bytespider; https://zhanzhang.toutiao.com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36
Le reconnaître
Résolution DNS inverse : d’après la page de Toutiao, le nom d’hôte d’un vrai passage appartient au domaine bytedance.com (l’exemple donné se termine par crawl.bytedance.com) ; tout autre nom signale une usurpation. La page liste aussi dix plages d’adresses IPv4.
Pour le refuser
User-agent: Bytespider
Disallow: /

Ce que dit la documentation officielle

La plateforme pour webmasters de Toutiao, le moteur de recherche de ByteDance, consacre une page à Bytespider. Elle le présente comme le robot de ce moteur et en décrit le fonctionnement en trois étapes classiques : explorer les pages en suivant les liens, les traiter pour construire un index, servir des résultats à une requête. Elle donne trois chaînes d’agent utilisateur (ordinateur, Android, iOS), dix plages d’adresses et la méthode de vérification par DNS inverse.

Ce qu’elle ne dit pas

Deux silences comptent. Le premier porte sur l’IA : la page, lue le 20 novembre 2026, ne mentionne aucun usage pour l’entraînement de modèles. Ranger Bytespider parmi les robots d’entraînement, comme le font des listes de blocage, repose sur des sources tierces, pas sur l’éditeur.

Le second porte sur robots.txt : cette page n’en parle pas. Une page voisine de la même documentation détaille la façon dont le moteur fait correspondre les règles du fichier à une URL, ce qui suppose qu’il les lit. Mais aucune des deux n’écrit en toutes lettres que Bytespider s’y conforme, ni quel jeton employer.

Ce que le refuser change

Le groupe à écrire reprend le nom que le robot annonce : User-agent: Bytespider. Son effet attendu est celui d’un refus adressé à un moteur de recherche : sortir de l’exploration de Toutiao. Faute d’engagement écrit de l’éditeur, il se contrôle dans les journaux. Si des requêtes continuent d’arriver, vérifier d’abord qu’elles viennent bien de ByteDance, puis, si c’est le cas, bloquer par adresse au niveau du serveur ou du pare-feu.

Pour un site qui subit seulement un volume excessif, l’éditeur renvoie à un réglage de fréquence d’exploration dans son espace pour webmasters, pris en compte sous un jour.

Le reconnaître dans les journaux

Les trois chaînes contiennent Bytespider, avec une majuscule, et l’adresse https://zhanzhang.toutiao.com/. La documentation envisage elle-même l’usurpation du nom : le contrôle par DNS inverse précède toute conclusion sur le comportement du robot.

Le sujet, traité en entier

Sources

  1. Toutiao Search (ByteDance) — À propos de Bytespider, page en chinois Chaînes d’agent utilisateur, dix plages d’adresses, vérification par DNS inverse, réglage de fréquence d’exploration. Aucune mention de l’entraînement de modèles ni de robots.txt. La page se construit en JavaScript : son texte a été lu dans les données qu’elle embarque, le 20 novembre 2026 ; ces données indiquent une dernière modification le 2 avril 2024.
  2. Toutiao Search (ByteDance) — Règles de correspondance de robots.txt, page en chinois Syntaxe de correspondance des règles (jokers, chemins, paramètres) appliquée par le moteur. Ne nomme pas Bytespider et ne donne pas de jeton. Lue dans les mêmes conditions le 20 novembre 2026.

Page revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.