Agents d’IA · agost 2026
A quins agents d’IA bloqueja el web
Anomenar un rastrejador d’IA al robots.txt gairebé sempre vol dir bloquejar-lo: entre 58.1% i 97.3% dels webs que n’anomenen un l’estan rebutjant. Però aquests agents fan feines diferents —uns entrenen models, altres t’indexen per poder-te citar, altres descarreguen una pàgina perquè algú acaba de preguntar—, així que bloquejar-los costa coses molt diferents. Mesurat sobre la mateixa mostra del 0.1% que la resta del cens, 15.009 webs.
| Agent | Què fa | Webs que l’anomenen | Webs que el bloquegen | Bloqueig, mes a mes |
|---|---|---|---|---|
| GPTBot GPTBot
Rastreja per entrenar els models d’OpenAI. Bloquejar-lo no et treu de les respostes de ChatGPT: això són OAI-SearchBot i ChatGPT-User, que són tokens diferents. | Entrena models | 8.6% | 7.6% | = +0.1 pp |
| ClaudeBot ClaudeBot
Rastreja per entrenar els models d’Anthropic. | Entrena models | 7.6% | 6.8% | = +0.1 pp |
| CCBot CCBot
Construeix el corpus públic de Common Crawl, que fan servir molts entrenadors de models. Bloquejar-lo és una manera indirecta de sortir de diversos models de cop. | Entrena models | 7.4% | 7.1% | = +0.2 pp |
| Bytespider Bytespider
Rastreja per entrenar els models de ByteDance. | Entrena models | 7.0% | 6.8% | = +0.1 pp |
| Google-Extended Google-Extended
Controla si el teu contingut es fa servir per entrenar els models generatius de Google. NO afecta Google Search: bloquejar-lo deixa el teu posicionament en pau. | Entrena models | 7.0% | 6.5% | = +0.1 pp |
| Amazonbot Amazonbot
Rastreja per a les respostes de l’assistent d’Amazon. | Indexa per a respostes | 6.9% | 6.7% | = −0.2 pp |
| meta-externalagent meta-externalagent
Rastreja per entrenar els models de Meta. | Entrena models | 6.7% | 6.4% | = +0.4 pp |
| Applebot-Extended Applebot-Extended
Controla si el teu contingut entrena els models generatius d’Apple. És diferent d’Applebot, que indexa per a Siri i Spotlight i no queda afectat. | Entrena models | 6.4% | 6.1% | = +0.1 pp |
| anthropic-ai anthropic-ai
Un token més antic per al mateix rastreig. Encara s’escriu molt als robots.txt, així que continua valent la pena comptar-lo. | Entrena models | 3.2% | 2.9% | ▲ +0.5 pp |
| cohere-ai cohere-ai
Rastreja per entrenar els models de Cohere. | Entrena models | 2.7% | 2.5% | ▲ +0.6 pp |
| YouBot YouBot
Indexa pàgines perquè You.com les pugui citar. | Indexa per a respostes | 2.5% | 2.4% | = +0.4 pp |
| PerplexityBot PerplexityBot
Indexa pàgines perquè Perplexity les pugui citar amb un enllaç de tornada. | Indexa per a respostes | 2.3% | 1.4% | = +0.1 pp |
| ChatGPT-User ChatGPT-User
Descarrega una pàgina perquè algú ha preguntat a ChatGPT per ella. Bloquejar-lo trenca aquest enllaç per a un lector que ja hi estava interessat. | Descarrega quan se li demana | 2.0% | 1.4% | = +0.2 pp |
| OAI-SearchBot OAI-SearchBot
Indexa pàgines perquè ChatGPT les pugui citar. Aquest és el que cal deixar obert si vols sortir a les seves respostes. | Indexa per a respostes | 1.8% | 1.0% | = +0.3 pp |
| Claude-Web Claude-Web
Un token més antic per descarregar una pàgina en nom d’un usuari. | Descarrega quan se li demana | 1.0% | 0.7% | = −0.3 pp |
| Claude-User Claude-User
Descarrega una pàgina perquè algú ha preguntat a Claude per ella. | Descarrega quan se li demana | 0.7% | 0.5% | = +0.2 pp |
| Perplexity-User Perplexity-User
Descarrega una pàgina perquè algú ha preguntat per ella. | Descarrega quan se li demana | 0.6% | 0.4% | = +0.2 pp |