Presupuesto de rastreo: cómo optimizarlo en sitios grandes

Optimizar el presupuesto de rastreo (crawl budget) significa conseguir que Googlebot dedique su tiempo limitado de rastreo a las URLs que de verdad quieres indexar. Para lograrlo hay que eliminar URLs duplicadas y de poco valor, mantener el servidor rápido y estable, y enviar señales claras con códigos de estado, sitemaps y enlaces internos. Importa sobre todo en sitios muy grandes o que cambian con mucha frecuencia.

Si tu web tiene unos pocos miles de páginas y las nuevas aparecen en Google en uno o dos días, probablemente este no sea tu problema. Pero si gestionas una tienda con filtros, un marketplace, un portal de anuncios clasificados o un medio con millones de URLs, el presupuesto de rastreo puede determinar cuánto tiempo espera el contenido nuevo antes de que Google lo vea.

¿Qué es el presupuesto de rastreo (crawl budget)?

El presupuesto de rastreo es la cantidad de URLs que Google puede y quiere rastrear en tu sitio durante un periodo determinado. Según la guía de Google sobre el presupuesto de rastreo, depende de dos factores: el límite de capacidad de rastreo (cuánto rastreo aguanta tu servidor) y la demanda de rastreo (cuánto quiere rastrear Google).

• El límite de capacidad de rastreo depende del estado del rastreo. Si tu sitio responde rápido y de forma fiable, el límite sube. Si las respuestas se ralentizan o devuelven errores de servidor, baja. Los propios recursos de rastreo de Google también le ponen un techo.
• La demanda de rastreo depende de cuántas URLs cree Google que tienes, de lo populares que son y de lo desactualizada que esté la copia que tiene guardada. Google cita el inventario percibido, la popularidad y la antigüedad del contenido como los factores que guían a Googlebot.

Por eso el presupuesto no es una cifra fija que puedas consultar. Es el resultado de cómo se comporta tu servidor y de cuánto parece valer la pena rastrear tus URLs.

¿Mi sitio necesita optimizar el presupuesto de rastreo?

La mayoría no lo necesita. Google indica que su guía está pensada para sitios con más de 1 millón de páginas únicas cuyo contenido cambia aproximadamente una vez por semana, sitios con más de 10.000 páginas únicas que cambian a diario y sitios con una gran parte de sus URLs atascadas en «Descubierta: actualmente sin indexar». También dice que, si tus páginas se rastrean el mismo día en que las publicas, no necesitas esa guía.

Una señal útil: compara cuántas URLs encuentra un rastreador con cuántas páginas quieres realmente indexar. Si tu tienda de 20.000 productos genera 600.000 URLs rastreables por las combinaciones de filtros, tienes un problema de eficiencia de rastreo, sea cual sea el tamaño del sitio.

¿Cómo se revisa el presupuesto de rastreo en Search Console?

Abre Ajustes → Estadísticas de rastreo en Search Console. El informe Estadísticas de rastreo muestra el total de solicitudes de rastreo, el tamaño total de descarga, el tiempo medio de respuesta y el estado del host. También desglosa las solicitudes por código de respuesta, tipo de archivo, propósito del rastreo (descubrimiento o actualización) y tipo de Googlebot. Solo funciona con propiedades de nivel raíz.

Esto es lo que debes buscar:

• Estado del host que no está en verde. Los problemas para obtener el robots.txt, resolver el DNS o conectar con el servidor reducen la cantidad que Google está dispuesto a rastrear.
• Tiempo medio de respuesta en aumento. Las respuestas más lentas bajan el límite de capacidad de rastreo, así que las solicitudes de rastreo suelen caer poco después.
• Una proporción alta de respuestas distintas de 200. Muchos 301, 404 o errores 5xx significan que Googlebot gasta solicitudes en URLs que no le aportan nada que indexar.
• Descubrimiento frente a actualización. En un sitio que publica mucho, una proporción muy baja de rastreos de descubrimiento puede indicar que hay URLs nuevas esperando.

Después revisa el informe Indexación de páginas. Una lista larga y creciente en «Descubierta: actualmente sin indexar» es el síntoma clásico de un problema de presupuesto de rastreo: Google sabe que las URLs existen, pero todavía no las ha rastreado. Nuestra guía sobre Descubierta: actualmente sin indexar trata ese estado en detalle.

Los logs del servidor muestran lo que Search Console no enseña

En sitios grandes, los logs de acceso son la fuente de verdad. Filtra las solicitudes de Googlebot verificadas (comprueba las IPs, porque muchos bots falsifican el user agent) y agrupa las visitas por patrón de URL. Normalmente encontrarás algo así:

• el 40 % de las visitas de Googlebot va a URLs de filtros con ?sort= y ?color=
• el 10 % va a redirecciones que quedaron de una migración antigua
• los productos añadidos la semana pasada no se han solicitado ni una vez

Esas cifras no son valores de referencia. Muestran el tipo de reparto que te indica dónde está el desperdicio. Compara las visitas en los logs con tu lista de URLs que quieres indexar: las páginas importantes que no han recibido ninguna visita de Googlebot en 30 días son las primeras que hay que corregir.

¿Qué desperdicia presupuesto de rastreo en sitios grandes?

El desperdicio de rastreo viene de URLs que cuestan una solicitud pero no aportan nada al índice. En sitios grandes, las causas habituales son la navegación facetada, los parámetros de URL, el contenido duplicado, las cadenas de redirecciones, los soft 404 y los espacios infinitos, como calendarios sin fin o páginas de resultados de búsqueda. Cada uno multiplica las URLs que Google tiene que procesar.

Las fuentes más comunes:

1. Navegación facetada y filtros. Cada combinación de color, talla, marca y precio puede convertirse en una URL propia. Unos pocos filtros con un puñado de valores cada uno pueden generar cientos de miles de URLs.
2. Parámetros de ordenación, seguimiento y sesión. ?sort=price, ?utm_source= y los IDs de sesión crean copias de la misma página.
3. Rutas duplicadas. La misma página servida en HTTP y HTTPS, con y sin www, con y sin barra final, o en versiones con mayúsculas y minúsculas.
4. Cadenas de redirecciones. URL antigua → URL intermedia → URL final. Cada salto es otra solicitud, y la documentación de Google sobre códigos de estado HTTP indica que Googlebot sigue como máximo 10 saltos por defecto.
5. Soft 404. Las categorías vacías o las páginas de «sin resultados» que devuelven 200 OK se siguen rastreando como si fueran páginas reales.
6. Espacios infinitos. Calendarios con un enlace de «mes siguiente» que nunca termina, resultados de búsqueda interna enlazados desde otras páginas y bucles de enlaces relativos que van añadiendo segmentos a la ruta.

Cómo optimizar el presupuesto de rastreo: medidas que funcionan

La guía de Google sobre el presupuesto de rastreo enumera las prácticas que realmente ayudan: consolidar el contenido duplicado, bloquear con robots.txt las URLs que nunca quieres que se rastreen, devolver 404 o 410 en las páginas eliminadas, eliminar los soft 404, mantener los sitemaps actualizados, evitar las cadenas de redirecciones largas y hacer que las páginas carguen de forma eficiente. Aplícalas más o menos en ese orden.

1. Controla la navegación facetada

Decide qué páginas de filtros merecen posicionar (por ejemplo, «zapatillas de running rojas») y haz rastreables solo esas, con URLs limpias y de aspecto estático. Para el resto, la guía de Google sobre navegación facetada recomienda:

• bloquear los parámetros de filtro en robots.txt, o
• usar fragmentos de URL (#color=red) para los filtros, ya que Google no rastrea los fragmentos.

También señala que rel="canonical" y rel="nofollow" en los enlaces de filtros suelen ser menos eficaces a largo plazo que robots.txt. Si mantienes las facetas rastreables, usa el separador estándar &, mantén los filtros siempre en el mismo orden y devuelve 404 para las combinaciones vacías o sin sentido.

User-agent: Googlebot
Disallow: /*?*sort=
Disallow: /*?*sessionid=
Disallow: /*?*color=

Prueba patrones como estos con URLs reales antes de publicarlos. Un comodín mal puesto puede bloquear categorías enteras. Nuestra guía de robots.txt explica la sintaxis y los errores más comunes, y la guía de auditoría SEO para ecommerce profundiza en filtros y variantes.

2. Consolida los duplicados

Elige una única versión de cada URL (protocolo, host, barra final, mayúsculas y minúsculas) y redirige las demás a ella con un 301. Añade canonicals autorreferenciales y enlaza internamente solo a la versión canónica. Los enlaces internos que apuntan a URLs con parámetros siguen invitando a Googlebot a volver a ellas.

3. Devuelve los códigos de estado correctos

• Páginas eliminadas definitivamente: 404 o 410, no una redirección a la página de inicio.
• Categorías vacías y páginas de «sin resultados»: un 404 real o una página con contenido y enlaces reales, nunca un 200 vacío.
• Redirecciones: haz que cada URL antigua apunte directamente a su destino final y actualiza los enlaces internos para que se salten la redirección.

La documentación de Google sobre códigos de estado indica que las respuestas 4xx (salvo el 429) no reducen la frecuencia de rastreo; simplemente Google rastrea esas URLs con menos frecuencia con el tiempo. Los errores 5xx y el 429 sí ralentizan el rastreo de todo el sitio.

4. Haz que el servidor sea rápido y estable

La capacidad de rastreo crece cuando las respuestas son rápidas y constantes. Guarda en caché el HTML para los visitantes anónimos, corrige las consultas lentas a la base de datos en las páginas de categoría y admite respuestas If-Modified-Since / HTTP 304, que la guía de Google sobre el presupuesto de rastreo recoge como buena práctica. Vigila el tiempo medio de respuesta en Estadísticas de rastreo después de cada cambio.

5. Mantén los sitemaps limpios y actualizados

Los sitemaps deben incluir solo URLs canónicas e indexables que devuelvan 200. Divídelos por secciones (productos, categorías, artículos) para ver la indexación de cada tipo. Usa <lastmod> solo para cambios reales de contenido. Google dice que no garantiza volver a rastrear en función de esa fecha, pero una fecha precisa sigue siendo una pista útil.

6. Refuerza el enlazado interno hacia las páginas importantes

Las páginas enterradas a seis clics de profundidad, o enlazadas solo desde archivos paginados, se rastrean menos. Enlaza las páginas nuevas y de más valor desde las páginas hub de categoría y los bloques de contenido relacionado. Nuestra guía de enlazado interno muestra cómo encontrar páginas huérfanas y demasiado profundas.

Puedes ver cuántos de estos problemas tiene tu propio sitio (cadenas de redirecciones, duplicados por parámetros, soft 404, conflictos de canonicals y páginas sin enlaces internos) con una auditoría SEO gratuita de SEORecheck, que rastrea el sitio y muestra ejemplos de tus propias URLs.

¿Qué no funciona para el presupuesto de rastreo?

Varias tácticas habituales no ayudan o incluso empeoran las cosas. La guía de Google las menciona directamente, y conviene conocerlas antes de empezar a tocar el robots.txt o las metaetiquetas de un sitio grande.

• Usar noindex para ahorrar presupuesto. Google tiene que solicitar la página igualmente para ver el noindex, así que el rastreo se gasta de todos modos. Noindex controla la indexación, no el rastreo.
• Cambiar el robots.txt para redistribuir el presupuesto. Google pide no usar robots.txt para reasignar temporalmente presupuesto a otras páginas. Bloquea solo lo que nunca quieras que se rastree.
• Esperar que <lastmod> fuerce nuevos rastreos. Es una pista, no una orden.
• Bloquear CSS o JavaScript. Googlebot necesita estos archivos para renderizar las páginas. Bloquearlos apenas ahorra nada y puede alterar cómo se interpretan las páginas.

¿Y si Googlebot está sobrecargando el servidor?

Es el problema contrario. La guía de Google para reducir la frecuencia de rastreo indica que puedes devolver 500, 503 o 429 durante un tiempo breve, lo que reduce el rastreo en todo el nombre de host. Advierte que no lo hagas durante más de 1–2 días: si Googlebot ve estos códigos en las mismas URLs durante varios días, esas URLs pueden desaparecer del índice.

¿Cómo saber si la optimización del presupuesto de rastreo ha funcionado?

Compara el antes y el después durante 4–8 semanas, porque Google ajusta el rastreo de forma gradual. Señales de que ha funcionado:

• en los logs del servidor, una mayor proporción de visitas de Googlebot va a URLs canónicas e indexables
• en Estadísticas de rastreo, menos redirecciones y 404, y un tiempo medio de respuesta estable o menor
• en el informe Indexación de páginas, el número de «Descubierta: actualmente sin indexar» se reduce
• las páginas nuevas aparecen antes en Google después de publicarse

Lleva un registro con fechas de lo que has cambiado (reglas de robots.txt, redirecciones, cambios en los sitemaps) para poder relacionar cada efecto con su causa. Consulta el informe de ejemplo para ver cómo se puede hacer seguimiento de los hallazgos y las URLs afectadas entre una auditoría y la reauditoría.

Puntos clave

• El presupuesto de rastreo depende de la capacidad de rastreo (salud del servidor) y de la demanda de rastreo (inventario, popularidad, antigüedad).
• La guía de Google está dirigida a sitios con más de 1 millón de páginas, o más de 10.000 páginas que cambian a diario. La mayoría de los sitios pequeños no la necesita.
• Estadísticas de rastreo y los logs del servidor muestran en qué gasta realmente Googlebot sus solicitudes.
• La navegación facetada, los parámetros, los duplicados, las cadenas de redirecciones y los soft 404 son las mayores fuentes de desperdicio.
• Usa robots.txt para las URLs que nunca quieras que se rastreen. Noindex no ahorra presupuesto de rastreo.
• Usa 503/429 solo como freno de emergencia durante 1–2 días.