Agente de IA · agosto 2026
anthropic-ai en robots.txt: quién lo bloquea
3.2% de las 15.009 webs del censo nombran a anthropic-ai en su robots.txt, y 89.7% de ellas lo bloquean.
Webs que lo nombran
- Sample
- n=15.009
- Coverage
- 100.0%
El rastreo de agosto 2026, analizado buscando una regla de robots.txt que nombre a este user-agent, sobre la misma muestra del 0.1% del corpus que cualquier otra cifra de esta web: 15.009 webs. Antes se medía sobre el corpus entero y esta nota lo decía; pasó a la muestra mensual cuando el eje ganó una serie, así que ahora lleva el mismo margen que todo lo demás.
Webs que lo bloquean
- Sample
- n=15.009
- Coverage
- 100.0%
Qué hace anthropic-ai en realidad
Lo lleva Anthropic. Un token más antiguo para el mismo rastreo. Todavía se escribe mucho en los robots.txt, así que sigue mereciendo la pena contarlo. Bloquearlo no te cuesta tráfico: este rastreador no te manda a nadie.
Qué escribir en tu robots.txt
Pon la regla en su propio grupo. Un Disallow bajo User-agent: * es anterior a estos agentes y varios de ellos no lo consideran aplicable, que es también por lo que este censo no lo cuenta.
User-agent: anthropic-ai
Disallow: /User-agent: anthropic-ai
Allow: /