Demander un devis Devis

Common Crawl · Autre usage

CCBot

Ce qu’il fait

Robot de Common Crawl, organisation à but non lucratif qui publie une archive ouverte de pages web. Common Crawl ne se présente pas comme un éditeur de modèles : il fournit des données que d’autres exploitent. Le robot suit robots.txt et se vérifie par DNS inverse.

Jeton robots.txt
CCBot
Obéit à robots.txt
Oui, d’après son éditeur
Signature
CCBot/2.0 (https://commoncrawl.org/faq/)
Le reconnaître
Résolution DNS inverse, pour les adresses IPv4 : le nom d’hôte se termine par crawl.commoncrawl.org et sa résolution directe redonne la même adresse. Les plages, IPv4 et IPv6, sont publiées dans un fichier JSON. Common Crawl prévient que d’autres robots usurpent son nom.
Pour le refuser
User-agent: CCBot
Disallow: /

Une archive ouverte, ni moteur ni modèle

Common Crawl est une organisation à but non lucratif qui constitue et tient à jour un dépôt ouvert de données d’exploration, que chacun peut consulter et analyser. CCBot est le robot qui l’alimente. Sa FAQ le décrit : il consulte d’abord robots.txt, télécharge les pages par des requêtes GET, n’exécute pas le JavaScript et n’utilise pas de cookies. L’archive est un échantillon du web : Common Crawl écrit ne pas archiver, en général, un site entier.

Ce que le refuser change, et ce qu’il ne rattrape pas

La règle est donnée par l’éditeur : un groupe User-agent: CCBot avec Disallow: /, et le robot cesse d’explorer le site. Il obéit aussi à Crawl-delay, pour qui veut seulement le ralentir, et respecte l’attribut nofollow. Ce refus vaut pour les passages à venir. Les pages consultées ne disent pas ce qu’il advient des copies déjà versées dans les archives publiées ; Common Crawl tient par ailleurs un registre public des demandes de retrait reçues par voie légale.

La particularité est là : l’usage ne se joue pas chez Common Crawl. L’archive étant ouverte à tous, un tiers peut y puiser, y compris pour entraîner un modèle, sans jamais visiter le site. Common Crawl cite lui-même le traitement automatique des langues parmi les recherches que ses données soutiennent. Autoriser ou bloquer CCBot, c’est donc se prononcer sur des réutilisations qu’aucun journal ne montrera.

Le reconnaître dans les journaux

La chaîne est CCBot/2.0 (https://commoncrawl.org/faq/). Common Crawl signale que des robots se font passer pour lui et recommande de vérifier : le vrai CCBot part de plages d’adresses dédiées, contrôlables par DNS inverse en IPv4. En IPv6, le DNS inverse n’est pas encore pris en charge : seule la plage publiée permet de trancher.

Le sujet, traité en entier

Sources

  1. Common Crawl — CCBot Mission de Common Crawl, chaîne d’agent utilisateur, règle de refus, mise en garde sur l’usurpation, vérification par DNS inverse (sauf IPv6), adresse du fichier ccbot.json. Lue en texte brut le 20 novembre 2026.
  2. Common Crawl — Frequently Asked Questions Statut de l’organisation, fonctionnement du robot (robots.txt lu d’abord, pas de JavaScript ni de cookies), Crawl-delay, nofollow, archive par échantillon, plages d’adresses au 11 août 2026. Lue en texte brut le 20 novembre 2026.
  3. Common Crawl — Common Crawl Foundation Opt-Out Registry (17 septembre 2025) Registre public des demandes de retrait reçues par voie légale ; champs de recherche que les données soutiennent, dont le traitement automatique des langues. Ne dit rien de l’entraînement de modèles par des tiers : cette conséquence est déduite du caractère ouvert de l’archive. Lu en texte brut le 20 novembre 2026.

Page revue le

Et sur votre site ?

Cette question se pose chez vous ?

Décrivez votre situation : nous répondons par écrit, avec une première lecture de ce qu’il faudrait regarder d’abord.

Voir le diagnostic

Vous recevez un premier avis écrit et le prix du diagnostic.
4,9/5 sur 34 avis Google. Réponse écrite, sans relance commerciale. Vos données ne servent qu’à vous répondre.