Agentes de IA · agosto 2026

A qué agentes de IA bloquea la web

Nombrar a un rastreador de IA en el robots.txt casi siempre quiere decir bloquearlo: entre 58.1% y 97.3% de las webs que nombran a uno lo están rechazando. Pero estos agentes hacen trabajos distintos —unos entrenan modelos, otros te indexan para poder citarte, otros descargan una página porque alguien acaba de preguntar—, así que bloquearlos cuesta cosas muy diferentes. Medido sobre la misma muestra del 0.1% que el resto del censo, 15.009 webs.

Agente	Qué hace	Webs que lo nombran	Webs que lo bloquean	Bloqueo, mes a mes
GPTBot GPTBot Operador OpenAI De las que lo nombran, lo bloquean 88.7% Muestra n=15.009 Rastrea para entrenar los modelos de OpenAI. Bloquearlo no te quita de las respuestas de ChatGPT: eso son OAI-SearchBot y ChatGPT-User, que son tokens distintos.	Entrena modelos	8.6%	7.6%	= +0.1 pp
ClaudeBot ClaudeBot Operador Anthropic De las que lo nombran, lo bloquean 89.5% Muestra n=15.009 Rastrea para entrenar los modelos de Anthropic.	Entrena modelos	7.6%	6.8%	= +0.1 pp
CCBot CCBot Operador Common Crawl De las que lo nombran, lo bloquean 95.5% Muestra n=15.009 Construye el corpus público de Common Crawl, que usan muchos entrenadores de modelos. Bloquearlo es una forma indirecta de salirse de varios modelos a la vez.	Entrena modelos	7.4%	7.1%	= +0.2 pp
Bytespider Bytespider Operador ByteDance De las que lo nombran, lo bloquean 97.3% Muestra n=15.009 Rastrea para entrenar los modelos de ByteDance.	Entrena modelos	7.0%	6.8%	= +0.1 pp
Google-Extended Google-Extended Operador Google De las que lo nombran, lo bloquean 92.6% Muestra n=15.009 Controla si tu contenido se usa para entrenar los modelos generativos de Google. NO afecta a Google Search: bloquearlo deja tu posicionamiento en paz.	Entrena modelos	7.0%	6.5%	= +0.1 pp
Amazonbot Amazonbot Operador Amazon De las que lo nombran, lo bloquean 97.3% Muestra n=15.009 Rastrea para las respuestas del asistente de Amazon.	Indexa para respuestas	6.9%	6.7%	= −0.2 pp
meta-externalagent meta-externalagent Operador Meta De las que lo nombran, lo bloquean 94.9% Muestra n=15.009 Rastrea para entrenar los modelos de Meta.	Entrena modelos	6.7%	6.4%	= +0.4 pp
Applebot-Extended Applebot-Extended Operador Apple De las que lo nombran, lo bloquean 95.4% Muestra n=15.009 Controla si tu contenido entrena los modelos generativos de Apple. Es distinto de Applebot, que indexa para Siri y Spotlight y no se ve afectado.	Entrena modelos	6.4%	6.1%	= +0.1 pp
anthropic-ai anthropic-ai Operador Anthropic De las que lo nombran, lo bloquean 89.7% Muestra n=15.009 Un token más antiguo para el mismo rastreo. Todavía se escribe mucho en los robots.txt, así que sigue mereciendo la pena contarlo.	Entrena modelos	3.2%	2.9%	▲ +0.5 pp
cohere-ai cohere-ai Operador Cohere De las que lo nombran, lo bloquean 92.3% Muestra n=15.009 Rastrea para entrenar los modelos de Cohere.	Entrena modelos	2.7%	2.5%	▲ +0.6 pp
YouBot YouBot Operador You.com De las que lo nombran, lo bloquean 95.5% Muestra n=15.009 Indexa páginas para que You.com pueda citarlas.	Indexa para respuestas	2.5%	2.4%	= +0.4 pp
PerplexityBot PerplexityBot Operador Perplexity De las que lo nombran, lo bloquean 59.4% Muestra n=15.009 Indexa páginas para que Perplexity pueda citarlas con un enlace de vuelta.	Indexa para respuestas	2.3%	1.4%	= +0.1 pp
ChatGPT-User ChatGPT-User Operador OpenAI De las que lo nombran, lo bloquean 71.0% Muestra n=15.009 Descarga una página porque alguien le ha preguntado a ChatGPT por ella. Bloquearlo rompe ese enlace para un lector que ya estaba interesado.	Descarga cuando se le pide	2.0%	1.4%	= +0.2 pp
OAI-SearchBot OAI-SearchBot Operador OpenAI De las que lo nombran, lo bloquean 58.1% Muestra n=15.009 Indexa páginas para que ChatGPT pueda citarlas. Este es el que hay que dejar abierto si quieres salir en sus respuestas.	Indexa para respuestas	1.8%	1.0%	= +0.3 pp
Claude-Web Claude-Web Operador Anthropic De las que lo nombran, lo bloquean 71.9% Muestra n=15.009 Un token más antiguo para descargar una página en nombre de un usuario.	Descarga cuando se le pide	1.0%	0.7%	= −0.3 pp
Claude-User Claude-User Operador Anthropic De las que lo nombran, lo bloquean 78.0% Muestra n=15.009 Descarga una página porque alguien le ha preguntado a Claude por ella.	Descarga cuando se le pide	0.7%	0.5%	= +0.2 pp
Perplexity-User Perplexity-User Operador Perplexity De las que lo nombran, lo bloquean 70.5% Muestra n=15.009 Descarga una página porque alguien ha preguntado por ella.	Descarga cuando se le pide	0.6%	0.4%	= +0.2 pp