Búsqueda con IA

Bloquear bots de IA y SEO: qué rastreadores permitir

El acceso de los bots de IA decide si los asistentes pueden citar tus páginas. Bloquear los bots de entrenamiento no afecta a tus posiciones en Google; bloquear OAI-SearchBot te saca de la búsqueda de ChatGPT.

Por Equipo de investigación de SEORecheck, auditores SEOPublicado 12 min de lectura

Un panel controla el acceso de rastreadores de IA: dos rutas azules abiertas y una ámbar desconectada del sitio.
Elige qué rastreadores de IA pueden acceder a tu sitio

El acceso de los rastreadores de IA es el conjunto de reglas (en el robots.txt, el firewall y la CDN) que decide qué bots de IA pueden descargar tus páginas. Antes de bloquear bots de IA conviene saber por qué importa para el SEO: las herramientas de búsqueda con IA solo pueden citar las páginas a las que llegan sus rastreadores. Bloquear los bots de entrenamiento no perjudica tus posiciones en Google. Bloquear los bots de búsqueda con IA te saca de las respuestas de esa herramienta.

Lo complicado es que una misma empresa suele tener varios bots con funciones distintas. Si bloqueas el que no debías, pierdes citas en IA que te interesaban. Si dejas abierto el que no debías, tu contenido acaba en datos de entrenamiento que querías proteger. Esta guía ordena los bots por función, explica qué implica cada decisión y muestra cómo comprobar qué deja pasar realmente tu sitio.

¿Qué son los rastreadores de IA y son todos iguales?

No. Los rastreadores de IA se dividen en tres grupos: bots de búsqueda, que indexan páginas para que una herramienta de IA pueda citarlas; fetchers activados por el usuario, que cargan una página cuando alguien pregunta por ella a un asistente; y bots de entrenamiento, que recopilan contenido para futuros modelos. Cada grupo requiere su propia decisión, y cada proveedor documenta sus propios tokens de user-agent.

La documentación de los propios proveedores marca estas diferencias con claridad:

  • OpenAI. La documentación de rastreadores de OpenAI describe OAI-SearchBot como el bot que muestra sitios web en las funciones de búsqueda de ChatGPT y GPTBot como el rastreador para entrenar modelos fundacionales. ChatGPT-User se encarga de las acciones iniciadas por un usuario, y OpenAI indica que las reglas de robots.txt «pueden no aplicarse» a él.
  • Anthropic. La página de ayuda de Anthropic enumera ClaudeBot (entrenamiento de modelos), Claude-User (descarga páginas cuando los usuarios de Claude hacen preguntas) y Claude-SearchBot (indexación para mejorar los resultados de búsqueda).
  • Perplexity. La guía de bots de Perplexity describe PerplexityBot como el bot que muestra y enlaza sitios web en los resultados de búsqueda, no uno usado para entrenar modelos. Perplexity-User da soporte a las acciones de los usuarios y «generalmente ignora las reglas de robots.txt».
  • Google. En la lista de rastreadores comunes de Google, Google-Extended es un token de robots.txt que controla si Google puede usar tu contenido para entrenar los modelos Gemini y para fundamentar respuestas en las apps de Gemini y en Vertex AI. No tiene una cadena de user-agent propia.

¿Qué bots de IA deberías permitir o bloquear en el robots.txt?

Para la mayoría de los negocios que quieren que sus clientes los encuentren, lo razonable por defecto es permitir los bots de búsqueda con IA y los fetchers de usuario, y tomar aparte una decisión de negocio sobre los bots de entrenamiento. Bloquear un bot de entrenamiento no te saca de la búsqueda con IA. Bloquear un bot de búsqueda, sí.

Bot (token de robots.txt) Operador Función Si lo bloqueas ¿Respeta robots.txt?
Googlebot Google Búsqueda de Google, incluidas las AI Overviews y el AI Mode Pierdes la Búsqueda de Google y las funciones de IA de Google Sí
Google-Extended Google Entrenamiento y fundamentación de Gemini fuera de la Búsqueda Sin efecto en el posicionamiento ni la visibilidad en la Búsqueda de Google Sí (solo token)
OAI-SearchBot OpenAI Resultados de búsqueda de ChatGPT Las páginas dejan de mostrarse en la búsqueda de ChatGPT Sí
GPTBot OpenAI Entrenamiento de modelos El contenido futuro queda fuera del entrenamiento Sí
ChatGPT-User OpenAI Descargas iniciadas por el usuario Es posible que robots.txt no se aplique No siempre
Claude-SearchBot Anthropic Indexación para búsqueda Puede reducir la visibilidad en los resultados de búsqueda de Claude Sí
Claude-User Anthropic Descargas iniciadas por el usuario Puede reducir la visibilidad cuando los usuarios preguntan por ti Sí
ClaudeBot Anthropic Entrenamiento de modelos El contenido futuro queda fuera del entrenamiento Sí
PerplexityBot Perplexity Resultados de búsqueda de Perplexity Perplexity no muestra ni enlaza tus páginas Sí
Perplexity-User Perplexity Descargas iniciadas por el usuario Generalmente ignora robots.txt No

Microsoft Copilot es la excepción. Se basa sobre todo en el índice de Bing, así que el acceso depende de Bingbot y de los controles propios de Bing. Nuestra guía de optimización para la búsqueda de Microsoft Copilot lo explica en detalle.

Un ejemplo de robots.txt que separa búsqueda y entrenamiento

Este archivo deja entrar a la búsqueda con IA y a los fetchers de usuario, pero excluye el entrenamiento. Copia la idea, no el archivo a ciegas: contrástalo antes con tus propias reglas.

# AI search and user fetchers: allowed
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# Model training: opted out
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

# Everyone else, including Googlebot
User-agent: *
Disallow: /cart/
Disallow: /account/

Recuerda que un rastreador solo sigue el grupo más específico que coincide con él. Un bot que tiene su propio grupo ignora tus reglas de User-agent: *, así que repite en ese grupo cualquier disallow de zonas privadas. Nuestra guía de robots.txt para SEO explica cómo funcionan los grupos y las coincidencias.

¿Bloquear los rastreadores de IA perjudica tu posicionamiento en Google?

Bloquear Google-Extended, GPTBot, ClaudeBot u otros bots que no son de Google no cambia tus posiciones en Google. Google afirma que Google-Extended no es un factor de posicionamiento y no afecta a la visibilidad en la Búsqueda. El único bloqueo relacionado con la IA que perjudica en Google es bloquear Googlebot, porque las funciones de IA de Google se construyen sobre el índice normal de la Búsqueda.

Es el malentendido que más vemos. Los propietarios de sitios añaden Google-Extended al robots.txt para «salir de las AI Overviews» y descubren que ahí no tiene ningún efecto. La página de Google sobre las funciones de IA indica que, para aparecer como enlace de apoyo en las AI Overviews o en el AI Mode, una página debe estar indexada y poder mostrarse en la Búsqueda de Google con un fragmento. También nombra los controles que lo limitan: nosnippet, data-nosnippet, max-snippet y noindex.

La guía de Google para optimizar las funciones de IA generativa añade un requisito más: el sitio debe estar incluido en las funciones de IA generativa de la Búsqueda en Search Console. La misma guía dice que no necesitas archivos de texto ni marcado especiales para la IA. Archivos como llms.txt «ni perjudican ni ayudan» a tu visibilidad en la Búsqueda de Google.

En la práctica:

  • ¿Quieres seguir en la Búsqueda de Google pero no aparecer en las AI Overviews? Los controles de fragmentos en las páginas afectadas son la herramienta documentada. También reducen tus fragmentos normales, así que úsalos con moderación.
  • ¿Quieres quedar fuera del entrenamiento de Gemini? Bloquea Google-Extended con disallow. Tus posiciones en la Búsqueda no cambian.
  • ¿Quieres que te citen ChatGPT, Claude o Perplexity? Permite sus bots de búsqueda y de usuario. Estas herramientas no leen directamente el índice de Google.

¿Qué pierdes al bloquear los bots de búsqueda con IA?

Bloquear un bot de búsqueda con IA significa que esa herramienta no puede indexar tus páginas, así que no puede citarlas ni enlazarlas, ni siquiera cuando alguien pregunta por tu negocio por su nombre. El asistente puede seguir respondiendo, pero a partir de otros sitios, directorios o datos antiguos, y sin tu página como fuente.

Piensa en quién hace a los asistentes de IA preguntas como «quién instala bombas de calor cerca de mí», «¿[marca] es fiable?» o «comparar [producto] con [competidor]». A menudo son personas a punto de comprar. Si OAI-SearchBot o PerplexityBot están bloqueados, esas respuestas salen de webs de reseñas, de la competencia o de tus fichas antiguas. Por eso tratamos el acceso de los bots de búsqueda como parte del SEO, no como una cuestión de licencias de contenido.

Los bots de entrenamiento son otro equilibrio. Permitirlos puede ayudar a que los modelos conozcan tu marca con el tiempo, pero ningún proveedor documenta una relación entre el acceso para entrenamiento y ser citado. Si tu contenido es tu producto (investigación de pago, cursos, datos originales), excluir el entrenamiento y mantener el acceso de búsqueda es un término medio razonable.

Una nota sobre los plazos: OpenAI indica que sus sistemas pueden tardar unas 24 horas en adaptarse tras actualizar el robots.txt. No evalúes un cambio el mismo día.

¿Por qué pueden estar bloqueados los rastreadores de IA sin que lo sepas?

Muchos sitios bloquean los bots de IA sin que nadie lo haya decidido. Las causas habituales son la configuración por defecto de la CDN, las funciones de protección contra bots, los plugins de seguridad y las reglas de firewall que ponen a prueba cualquier tráfico que no venga de un navegador. El robots.txt puede decir «allow» mientras el firewall devuelve un 403 o una página de desafío.

El caso más importante es Cloudflare. El 1 de julio de 2025 cambió su configuración por defecto para bloquear los rastreadores de IA, salvo que paguen a los creadores. Si tu sitio se pasó a Cloudflare o activó sus funciones de bots desde entonces, revisa qué está configurado de verdad en lugar de darlo por supuesto.

Otros bloqueos silenciosos frecuentes:

  • Interruptores tipo Bot Fight o «bloquear scrapers de IA». Perplexity señala que el Bot Fight Mode de Cloudflare no se puede saltar con reglas personalizadas del WAF, así que incluir bots en una lista de permitidos puede requerir otros ajustes.
  • Bloqueo por IP. Anthropic advierte que bloquear por IP puede no funcionar de forma fiable, porque puede impedir que los bots lean siquiera tus preferencias de robots.txt.
  • Límites de frecuencia que frenan las ráfagas de peticiones de un mismo rastreador.
  • Reglas de staging que siguen activas tras el lanzamiento, como un Disallow: / general o una ruta protegida con contraseña.

Si añades bots a una lista de permitidos en el firewall, verifícalos bien. Perplexity recomienda comprobar tanto la cadena de user-agent como los rangos de IP publicados, porque cualquiera puede falsificar un user-agent. OpenAI, Anthropic y Perplexity publican listas de IP para esto.

¿Pueden los rastreadores de IA leer tu contenido una vez dentro?

No siempre. El acceso por sí solo no basta: muchos rastreadores de IA solo leen el HTML sin procesar y no ejecutan JavaScript. Si tu texto principal, tus precios o los detalles de tus productos solo aparecen después de que se ejecuten los scripts, un bot de IA con acceso total puede seguir viendo una página casi vacía.

Un análisis de Vercel y MERJ sobre el tráfico de rastreadores de IA, publicado en diciembre de 2024, concluyó que «ninguno de los principales rastreadores de IA renderiza JavaScript actualmente», incluidos GPTBot, ClaudeBot y PerplexityBot. Descargaban los archivos JavaScript, pero no los ejecutaban. El mismo estudio detectó que cerca de un tercio de las peticiones de GPTBot y ClaudeBot acababan en páginas 404, otro motivo para mantener limpias las redirecciones y las URL antiguas de recursos.

Google es diferente. Su guía de optimización para IA dice que Google puede procesar contenido en JavaScript siempre que no esté bloqueado. Así que un sitio renderizado en el cliente puede funcionar bien en las AI Overviews y ser invisible en ChatGPT o Perplexity. La solución es el renderizado en el servidor, la generación estática o, como mínimo, incluir el contenido clave en el HTML inicial. Consulta problemas de renderizado en el SEO para JavaScript para ver cómo comprobarlo.

¿Cómo comprobar el acceso de los rastreadores de IA a tu sitio?

Revisa tres capas en orden: qué dice el robots.txt a cada user-agent de IA, qué devuelve realmente el servidor a esos bots y qué contiene el HTML sin procesar. Cualquier diferencia entre dos capas es un hallazgo. Después, confirma en los logs del servidor que bots reales y verificados llegan a tus páginas.

  1. Lee el robots.txt como cada bot. Abre /robots.txt y, para cada token de la tabla anterior, busca el grupo que se le aplica. Atención a un disallow amplio en User-agent: * que atrape bots que no has listado.
  2. Prueba la respuesta. Solicita una página clave con la cadena de user-agent del bot (por ejemplo, con curl -A). Un 403, un 503 o una página de desafío significan que tu firewall o tu CDN se imponen al robots.txt. Las pruebas con user-agent simulado pueden recibir un trato distinto al de las IP reales de los bots, así que confírmalo también en los logs.
  3. Compara el HTML sin procesar con la página renderizada. Mira el código fuente, no el inspector. Si faltan encabezados, texto o precios en el código fuente, los bots de IA que no renderizan JavaScript no los verán.
  4. Revisa los controles de fragmentos. Busca nosnippet, max-snippet o data-nosnippet en las páginas que quieres que se citen.
  5. Verifica en los logs. Filtra los logs de acceso por user-agents de IA y compara sus IP con las listas publicadas. Nuestra guía de análisis de logs del servidor para SEO te guía paso a paso.
  6. Pregunta a los asistentes. Haz a ChatGPT, Claude y Perplexity preguntas sobre tu negocio y comprueba si citan tus páginas.

Si prefieres no hacerlo a mano, una auditoría SEO gratuita de SEORecheck revisa el acceso de los rastreadores de IA en el robots.txt para bots de búsqueda, de usuario y de entrenamiento, los controles de fragmentos, el texto que solo aparece después de ejecutar JavaScript y tu marcado Organization/sameAs. Puedes ver cómo se presentan estas comprobaciones en el informe de ejemplo.

Después de cualquier cambio, vuelve a comprobarlo. Una actualización de un plugin, un ajuste de la CDN o una nueva regla del firewall pueden anular tus reglas de acceso sin previo aviso. Mantén el robots.txt bajo control de versiones y añade una prueba de bots de IA a tu checklist de despliegue.

Conclusiones clave

  • Los bots de IA hacen trabajos distintos: indexación para búsqueda, descargas iniciadas por el usuario y entrenamiento de modelos. Decide sobre cada grupo por separado.
  • Bloquear Google-Extended, GPTBot o ClaudeBot no afecta a tus posiciones en Google. Bloquear Googlebot te saca de la Búsqueda de Google y de sus funciones de IA.
  • Para aparecer en las AI Overviews y en el AI Mode, una página debe estar indexada y poder mostrarse con fragmento, y el sitio debe estar incluido en las funciones de IA generativa de la Búsqueda en Search Console. llms.txt no ayuda en la Búsqueda de Google.
  • Bloquear OAI-SearchBot, Claude-SearchBot o PerplexityBot deja tus páginas fuera de las respuestas y citas de esas herramientas.
  • Los firewalls y las CDN, sobre todo con el bloqueo de IA por defecto de Cloudflare desde julio de 2025, a menudo bloquean bots que el robots.txt permite.
  • Muchos rastreadores de IA no ejecutan JavaScript, así que pon el contenido clave en el HTML inicial.
  • Comprueba el acceso en el robots.txt, en las respuestas del servidor, en el HTML sin procesar y en los logs, y vuelve a comprobarlo después de cada despliegue.
Todos los artículos
Un pin dorado sobre datos comerciales ilustra la optimización de búsqueda con IA para negocios locales.

Búsqueda con IA

Posicionamiento en IA para negocios locales: guía

Para un negocio local, posicionarse en IA es tener fichas precisas, los mismos datos en tu web, páginas rastreables, acceso para los rastreadores de IA y reseñas reales. No hay truco especial.

11 min de lectura

Un escaneo azul ilumina precios, funciones, integraciones y documentación: optimización de búsqueda con IA para SaaS.

Búsqueda con IA

GEO para SaaS: guía práctica de posicionamiento en IA

El GEO para SaaS consiste en que tu web, documentación, precios e integraciones sean rastreables, indexables y citables, para que los asistentes de IA describan bien tu producto cuando alguien compara herramientas.

12 min de lectura

Productos y datos cruzan un portal hacia resultados: optimización de búsqueda con IA para ecommerce.

Búsqueda con IA

SEO para IA en ecommerce: guía para tiendas online

El SEO para IA en ecommerce consiste en ofrecer los datos de producto mediante feeds, páginas indexables y acceso abierto a rastreadores para que las respuestas de IA muestren y enlacen tus productos con precisión.

12 min de lectura