Qué es el robots.txt
El archivo robots.txt da instrucciones a los buscadores sobre qué partes de tu web pueden rastrear y cuáles no, y un error en ese archivo puede bloquear sin querer páginas que sí quieres que Google vea.
Es como un cartel en la entrada de un edificio que indica qué plantas puede visitar un repartidor y cuáles son zonas privadas a las que no debe acceder: si el cartel está mal escrito, el repartidor podría evitar por error una planta a la que sí debería entrar. El robots.txt es un archivo de texto sencillo, ubicado en la raíz de tu dominio, que los buscadores consultan antes de rastrear tu web para saber qué carpetas o páginas tienen permiso para visitar y cuáles deben evitar.
Cómo funciona
- Antes de rastrear tu web, el buscador consulta el archivo robots.txt situado en la raíz de tu dominio.
- Ese archivo contiene reglas que permiten o bloquean el acceso a determinadas carpetas o páginas.
- El buscador respeta esas reglas (aunque no está obligado técnicamente a hacerlo, los buscadores serios sí lo hacen) y ajusta su rastreo en consecuencia.
- Las páginas bloqueadas en robots.txt normalmente no se rastrean, lo que también suele impedir que se indexen.
- Un error en la sintaxis o una regla demasiado amplia puede bloquear sin querer secciones enteras que sí querías que Google viera.
Ejemplo
Una tienda de componentes informáticos online en Irun había heredado un archivo robots.txt de una versión antigua de su web, con una regla que bloqueaba por error toda la carpeta donde se guardaban las fichas de producto nuevas. Durante meses, ningún producto nuevo pudo ser rastreado ni indexado por Google, aunque el resto de la web funcionaba con normalidad. Corregimos la regla incorrecta del robots.txt, y en pocas semanas las fichas de producto nuevas empezaron a aparecer en los resultados de búsqueda con normalidad.
Señales de que te afecta
- Google Search Console señala páginas «bloqueadas por robots.txt» que sí quieres que se indexen.
- Contenido nuevo o secciones enteras de tu web nunca aparecen en los resultados de búsqueda.
- Nunca has revisado el contenido de tu archivo robots.txt desde que la web está en marcha.
- Has migrado o rediseñado tu web recientemente y no has comprobado si el robots.txt sigue siendo correcto.
Cómo lo resolvemos
Revisamos el contenido de tu robots.txt para confirmar que bloquea solo lo que debería bloquear y no está impidiendo por error el rastreo de contenido importante. Si quieres que revisemos este archivo en tu web, en nuestro servicio de auditoría WordPress nos encargamos de ello. El robots.txt trabaja de la mano con el sitemap XML, y cualquier error en él afecta directamente al rastreo de tu web.
Preguntas frecuentes
¿El robots.txt impide que una página se indexe?
Normalmente sí, de forma indirecta, porque si Google no puede rastrear la página, tampoco puede evaluarla para decidir si la indexa; para bloquear específicamente la indexación sin afectar al rastreo se usa otra herramienta, la etiqueta «noindex».
¿Puedo bloquear páginas sensibles con robots.txt?
No es la herramienta adecuada para eso: el archivo robots.txt es público y cualquiera puede consultarlo, así que no conviene usarlo para ocultar información realmente sensible o privada.
¿Todas las webs necesitan un robots.txt personalizado?
No es obligatorio tener reglas complejas; muchas webs funcionan bien con una configuración básica, pero sí conviene revisar que exista el archivo y que no contenga bloqueos accidentales.