Qué es el crawl budget
El crawl budget es la cantidad de páginas que Google está dispuesto a rastrear de tu web en un periodo de tiempo, y si se desperdicia en páginas poco útiles, tu contenido importante puede tardar más en indexarse. También se conoce como «presupuesto de rastreo».
Es como el tiempo limitado que un inspector dedica a revisar un edificio grande: si pasa la mayor parte de ese tiempo repasando pasillos vacíos o salas sin interés, le queda menos tiempo para revisar las zonas que realmente importan. Google no tiene recursos infinitos para rastrear cada web de internet, así que reparte su atención según distintos factores (la autoridad de tu web, lo rápido que responde tu servidor, cuánto contenido nuevo detecta); si una buena parte de ese presupuesto se va en rastrear páginas de poco valor (filtros, duplicados, páginas de administración accesibles), queda menos disponible para tu contenido realmente importante.
Cómo funciona
- Google asigna a cada web una cantidad limitada de «visitas» de rastreo en un periodo de tiempo, según distintos factores.
- Ese presupuesto se reparte entre todas las URLs que Google conoce o descubre de tu web.
- Si tu web genera muchas URLs de poco valor (combinaciones de filtros, parámetros, páginas duplicadas), una parte importante del presupuesto se gasta ahí.
- Esto deja menos margen para que Google rastree con frecuencia las páginas que realmente te interesa que estén actualizadas en su índice.
- Reducir el número de URLs de poco valor accesibles para el rastreador ayuda a que el presupuesto se concentre en lo importante.
Ejemplo
Una tienda de productos ecológicos a granel en Santa Cruz de la Palma tenía un sistema de filtros de catálogo que generaba miles de combinaciones de URLs distintas (por tipo de producto, origen, formato), todas accesibles y rastreables por Google, aunque la inmensa mayoría no aportaban ningún contenido realmente distinto. Bloqueamos el rastreo de esas combinaciones de filtros poco útiles, dejando accesibles solo las páginas de categoría principales, y el contenido realmente relevante empezó a rastrearse con mucha más frecuencia.
Señales de que te afecta
- Tu web genera muchas combinaciones de URLs por filtros, parámetros o variantes.
- Google Search Console muestra que una parte importante de las páginas rastreadas no están indexadas.
- Tu contenido nuevo tarda mucho en ser rastreado, a pesar de tener una web grande.
- Tienes un catálogo o un volumen de páginas considerable, propio de tiendas online grandes o webs con mucho contenido.
Cómo lo resolvemos
Revisamos cuántas URLs de poco valor está rastreando Google de tu web, las bloqueamos o las gestionamos correctamente, y nos aseguramos de que el presupuesto de rastreo se concentre en tu contenido realmente importante. Si quieres que revisemos esto en tu web, en nuestro servicio de auditoría WordPress nos encargamos de ello. El crawl budget está muy relacionado con el rastreo y la indexación, y un buen sitemap XML ayuda a dirigir ese presupuesto hacia lo importante.
Preguntas frecuentes
¿El crawl budget afecta a cualquier tipo de web?
Afecta sobre todo a webs grandes, con muchas páginas o con sistemas de filtros que generan muchas URLs; en webs pequeñas, con pocas páginas, suele ser menos determinante.
¿Cómo sé si estoy desperdiciando crawl budget?
Revisando en Google Search Console cuántas páginas rastrea Google frente a las que realmente tienen valor, y si hay un volumen alto de páginas rastreadas pero no indexadas, suele ser una señal clara.
¿Un servidor más rápido mejora el crawl budget?
Sí, en parte: si tu servidor responde rápido, Google puede rastrear más páginas en el mismo tiempo que le dedica a tu web, así que la velocidad también influye en cuánto se aprovecha ese presupuesto.