Demander un devis Devis

CCBot

Aussi : Common Crawl

Robot de Common Crawl, fondation à but non lucratif qui constitue et publie une archive ouverte de pages web.

Il s’identifie par la chaîne CCBot/2.0 et alimente un dépôt de données d’exploration que chacun peut consulter et analyser. Common Crawl indique la règle de robots.txt qui empêche l’exploration d’un site, et signale que d’autres robots usurpent parfois son nom : les vrais passages viennent de plages d’adresses dédiées, vérifiables par DNS inverse.

Ce n’est pas le robot d’un éditeur de modèles, et c’est ce qui rend la décision particulière. Une fois une page versée dans l’archive, un tiers peut la réutiliser, y compris pour entraîner un modèle, sans jamais visiter le site. Autoriser ou bloquer CCBot revient donc à se prononcer sur des usages qu’on ne verra pas dans ses journaux.

La fiche pratique de CCBot dans le répertoire des robots →

Source Common Crawl — CCBot

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.