Les agents d'Anthropic
Trois agents se distinguent : ClaudeBot pour l'indexation, Claude-User lorsqu'un utilisateur déclenche la consultation d'une page, et Claude-SearchBot pour la fonction de recherche. Un quatrième nom, Claude-Web, subsiste dans d'anciennes configurations.
Comme ailleurs, la confusion la plus coûteuse consiste à tout bloquer par principe. Un robots.txt qui écarte l'ensemble des agents d'IA vous retire des réponses sans rien protéger de plus qu'un blocage ciblé de l'entraînement.
Un usage professionnel qui change les attentes
Les questions posées à Claude portent souvent sur des sujets techniques, réglementaires ou méthodologiques, avec une exigence de précision élevée. Les contenus repris sont en conséquence ceux qui documentent, chiffrent et sourcent, plutôt que ceux qui affirment.
Cette caractéristique favorise les éditeurs qui publient de la documentation, des méthodes détaillées ou des retours d'expérience circonstanciés, au détriment des pages purement promotionnelles.
Ce que je vérifie
L'accessibilité agent par agent, ce que voit un robot qui n'exécute pas le JavaScript, la clarté des passages susceptibles d'être extraits, et la présence des signaux qui rendent une source fiable : auteur, date, références externes.