Explicación sencilla
robots.txt es un archivo de texto situado en el directorio principal del sitio. Contiene instrucciones dirigidas a rastreadores concretos sobre las rutas que pueden o no visitar.
Uso práctico
Ayuda a administrar el presupuesto de rastreo, limitar el acceso a zonas técnicas y señalar la ubicación del mapa del sitio. No protege datos privados ni elimina una dirección del índice.
Decisión antes de empezar
Relacionamos cada regla con un rastreador, una ruta y un entorno concretos. Antes de publicarla comprobamos que no bloquee hojas de estilo, scripts, productos, artículos o toda la web.
Error habitual
Usar robots.txt como sustituto de noindex o como sistema de seguridad es un error. El archivo es público y una dirección bloqueada todavía puede aparecer en resultados si otros sitios la enlazan.
Cómo comprobar el resultado
Revisamos la sintaxis, el código de respuesta, las rutas críticas, el mapa del sitio y los registros del servidor. Después de cada cambio observamos si Google puede renderizar y rastrear el contenido necesario.
Conclusión para la empresa
Una regla breve puede afectar a miles de direcciones. En PAR HOUSE Agency documentamos cada decisión y verificamos el rastreo antes y después de cualquier cambio técnico.
