Applebot
Robot d’exploration d’Apple, dont les données alimentent la recherche de Spotlight, de Siri et de Safari.
Apple le documente sur une page d’assistance : sa chaîne d’agent utilisateur contient Applebot, ses requêtes se vérifient par DNS inversé dans le domaine applebot.apple.com, et une liste de plages d’adresses est publiée. Apple indique qu’il peut rendre les pages dans un navigateur, et que bloquer JavaScript ou CSS dans robots.txt peut gêner ce rendu.
Deux particularités dans robots.txt : si le fichier ne mentionne pas Applebot mais contient des règles pour Googlebot, Applebot suit ces dernières ; et il ne tient pas compte de Crawl-delay. Apple écrit aussi que les données explorées peuvent servir à entraîner ses modèles génératifs. Le refus de cet usage passe par un second jeton, Applebot-Extended, qui n’explore rien : il règle seulement l’emploi de ce qu’Applebot a déjà collecté. Troisième usage : servir de contexte aux réponses générées dans les produits d’Apple. On s’y oppose page par page, par nosnippet en balise meta ou en en-tête X-Robots-Tag, ou par la propriété isAccessibleForFree à false.
La fiche pratique de Applebot dans le répertoire des robots →
Source Apple — About Applebot