Comprobador de robots.txt

Por que importa y como usarlo

Esta herramienta te ayuda a confirmar si las reglas publicadas en robots.txt coinciden con el comportamiento de rastreo que pretendias para motores de busqueda y otros bots.

Pasos:

1. Introduce el dominio o la URL del sitio para que la herramienta obtenga el archivo robots.txt en vivo.
2. Elige el user-agent del crawler que te importa y la ruta que quieres comprobar.
3. Revisa los bloques analizados y la decision final de allow o disallow.
4. Si el veredicto es incorrecto, ajusta el archivo con el Generador de robots.txt y vuelve a probar antes de publicarlo.

Consejo: Prueba secciones criticas como rutas de administracion, carpetas de staging y referencias al sitemap siempre que cambien los controles de rastreo.