Agent d’IA · agost 2026
Claude-Web en robots.txt: qui el bloqueja
1.0% dels 15.009 webs del cens anomenen Claude-Web al seu robots.txt, i 71.9% d’ells el bloquegen.
Webs que l’anomenen
- Sample
- n=15.009
- Coverage
- 100.0%
El rastreig de agost 2026, analitzat buscant una regla de robots.txt que anomeni aquest user-agent, sobre la mateixa mostra del 0.1% del corpus que qualsevol altra xifra d’aquest web: 15.009 webs. Abans es mesurava sobre el corpus sencer i aquesta nota ho deia; va passar a la mostra mensual quan l’eix va guanyar una sèrie, així que ara porta el mateix marge que tota la resta.
Webs que el bloquegen
- Sample
- n=15.009
- Coverage
- 100.0%
Què fa Claude-Web realment
El porta Anthropic. Un token més antic per descarregar una pàgina en nom d’un usuari. Bloquejar-lo vol dir que quan algú pregunti per la teva pàgina, l’assistent no la podrà obrir.
Què escriure al teu robots.txt
Posa la regla al seu propi grup. Un Disallow sota User-agent: * és anterior a aquests agents i uns quants no el consideren aplicable, que és també per què aquest cens no el compta.
User-agent: Claude-Web
Disallow: /User-agent: Claude-Web
Allow: /