La mayoría de los robots.txt que me encuentro en proyectos WordPress están mal planteados.
Algunos bloquean demasiado, otros apenas bloquean nada… y casi todos terminan afectando al rastreo SEO y, en consecuencia, al rendimiento de la web.
Un archivo robots.txt mal configurado no solo complica que Google entienda tu sitio, también puede provocar que los bots gasten presupuesto de rastreo en lo que no deben o que recursos importantes (como CSS y JS) no se procesen correctamente, lo que repercute en la velocidad y en los Core Web Vitals.
🚀 Analiza tu web WordPress gratis en 1 minuto y descubre su estado de salud
Qué es el robots.txt y qué papel juega en WordPress
El archivo robots.txt es un simple archivo de texto en la raíz de tu web que indica a los buscadores qué pueden y qué no pueden rastrear.
En WordPress, puede existir de dos formas:
- Virtual, generado automáticamente.
- Físico, creado y editable por el usuario en el servidor.
El objetivo es guiar a los bots, pero no olvidemos un detalle: no siempre hacen caso. Especialmente los que no son Googlebot.
Para qué sirve el robots.txt
En términos de SEO y WPO, el robots.txt tiene dos usos principales:
- Controlar el rastreo: se pueden dar instrucciones para que los buscadores ignoren determinadas rutas. Esto ayuda a que no se pierda tiempo en contenidos irrelevantes.
- Indicar el sitemap: añadir la ruta del mapa del sitio facilita a los buscadores encontrar tus URLs importantes de forma más rápida.
Ambos puntos influyen en el rendimiento del rastreo, lo que significa que Googlebot puede gastar sus recursos en lo que realmente importa: tu contenido principal.
Para qué NO sirve
Aquí es donde muchos se equivocan.
- No es una herramienta de seguridad. Si intentas “ocultar” carpetas, lo único que haces es señalarlas a cualquiera que mire tu robots.txt.
- No evita la indexación. Bloquear con
Disallowno significa que esas URLs no aparezcan en Google, sino que aparecerán bloqueadas sin descripción. Para evitar indexar algo hay que usarnoindex, no robots.txt. - No arregla un hosting mal configurado. Si tu servidor permite el listado de directorios, el problema es del hosting, no de robots.txt.
Robots.txt y WPO: dónde está la conexión
Puede que te preguntes: ¿qué tiene que ver un archivo de texto con la velocidad de mi WordPress?
Mucho más de lo que parece.
- Bloqueo de recursos críticos: Muchos robots.txt antiguos bloquean carpetas como
/wp-includes/o/wp-content/. Dentro están CSS y JS necesarios para renderizar la web. Si Google no los carga, no puede medir bien tu rendimiento y puede penalizarte en Page Experience. - Presupuesto de rastreo malgastado: Si Googlebot se entretiene en URLs de búsqueda (
?s=), feeds o parámetros dinámicos, gasta recursos que podrían destinarse a tus páginas importantes. Esto ralentiza la frecuencia con la que se actualiza tu contenido en los resultados. - Impacto en Core Web Vitals: Si el rastreo de CSS o JS está bloqueado, Google interpreta tu web como “rota” o mal renderizada, y eso afecta a métricas como LCP o INP.
En pocas palabras: un robots.txt mal hecho no solo es un error de SEO, también es un obstáculo para tu WPO.
Ejemplos de errores comunes
- Bloquear directorios enteros de WordPress. Error clásico que impide que Google vea tus recursos.
- Bloquear categorías o etiquetas. Si no quieres que se indexen, mejor usa noindex. Bloquearlas en robots solo complica su eliminación futura.
- Bloquear feeds RSS. Inútil: WordPress ya aplica noindex a los feeds.
- Bloquear URLs dinámicas con
Disallow: /*?. No evita la indexación, solo las marca como bloqueadas. - Listas infinitas de bots bloqueados. Los malos no respetan robots.txt; la única solución real es filtrarlos desde el hosting o con plugins de seguridad.
Entonces, ¿qué robots.txt debo usar?
Aquí viene la respuesta que no gusta: no hay un robots.txt universal.
Cada web tiene necesidades diferentes:
- Una tienda online no necesita lo mismo que un blog personal.
- Una web con miles de entradas no tiene la misma estrategia que una landing corporativa.
- Lo que bloquea un proyecto puede ser esencial para otro.
La clave está en que tu robots.txt:
- No bloquee recursos críticos (CSS/JS).
- No duplique lo que ya resuelve WordPress (feeds con noindex, por ejemplo).
- Esté pensado para ahorrar presupuesto de rastreo sin afectar al rendimiento.
Conclusión
El robots.txt en WordPress es una herramienta clave, pero también un arma de doble filo. Puedes profundizar en esto en nuestro artículo sobre Cómo acelerar el rastreo SEO en WordPress.
Mal configurado, puede hacerte perder posicionamiento, complicar la indexación y hasta afectar al rendimiento percibido de tu web. Lo explicamos con más detalle en nuestra guía sobre Cómo llegué a 350.000 visitas mensuales con WordPress y SEO.
Desde el punto de vista de WPO, la recomendación es clara:
- Evita bloqueos innecesarios.
- Usa robots.txt solo para lo que sirve: orientar el rastreo.
- Y recuerda que cada proyecto necesita un archivo adaptado, no una plantilla copiada de Internet.
Somos especialistas en SEO técnico para WordPress y podemos ayudarte a mejorar su rastreo e indexación.
