Agent d’IA · agost 2026
OAI-SearchBot en robots.txt: qui el bloqueja
1.8% dels 15.009 webs del cens anomenen OAI-SearchBot al seu robots.txt, i 58.1% d’ells el bloquegen.
Webs que l’anomenen
- Sample
- n=15.009
- Coverage
- 100.0%
El rastreig de agost 2026, analitzat buscant una regla de robots.txt que anomeni aquest user-agent, sobre la mateixa mostra del 0.1% del corpus que qualsevol altra xifra d’aquest web: 15.009 webs. Abans es mesurava sobre el corpus sencer i aquesta nota ho deia; va passar a la mostra mensual quan l’eix va guanyar una sèrie, així que ara porta el mateix marge que tota la resta.
Webs que el bloquegen
- Sample
- n=15.009
- Coverage
- 100.0%
Què fa OAI-SearchBot realment
El porta OpenAI. Indexa pàgines perquè ChatGPT les pugui citar. Aquest és el que cal deixar obert si vols sortir a les seves respostes. Bloquejar-lo et treu de les respostes d’aquest producte, i amb elles de l’enllaç de tornada cap a tu.
Què escriure al teu robots.txt
Posa la regla al seu propi grup. Un Disallow sota User-agent: * és anterior a aquests agents i uns quants no el consideren aplicable, que és també per què aquest cens no el compta.
User-agent: OAI-SearchBot
Disallow: /User-agent: OAI-SearchBot
Allow: /