Auditoría de rastreabilidad: robots.txt + sitemap.xml
Analiza tu robots.txt y tu sitemap.xml juntos, en una sola pasada, y detecta el error que ningún validador aislado ve: URLs que tu sitemap dice "indéxame" mientras tu robots.txt dice "no me rastrees". Gratis, sin cuenta.
Leyendo robots.txt…
// Consulta puntual
¿Un bot concreto puede acceder a un path concreto?
Reutiliza el robots.txt que ya hemos leído arriba — no se vuelve a pedir tu dominio.
// Los dos archivos
¿Qué son robots.txt y sitemap.xml, y por qué hay que revisarlos juntos?
robots.txt es una directriz declarada, no una barrera técnica: le pide a un rastreador que no entre a ciertas rutas, y depende de que ese rastreador decida respetarlo. sitemap.xml es justo lo contrario en intención: una lista de URLs que le dices activamente a Google "aquí tienes, indéxame esto".
Son dos señales que le das al mismo buscador sobre las mismas URLs. Cuando coinciden, no hay ambigüedad. Cuando se contradicen —una URL en el sitemap que robots.txt bloquea— le estás mandando dos mensajes opuestos a Google sobre la misma página, y esa confusión en el rastreo es exactamente lo que esta auditoría existe para detectar.
// Por qué existe esta herramienta
El hueco que dejó Google
En noviembre de 2023, Google retiró el robots.txt Tester de Search Console sin sustituirlo por ninguna herramienta interactiva equivalente. Desde entonces, comprobar si un path concreto está bloqueado para un bot concreto exige leer el archivo a mano y aplicar mentalmente las reglas de especificidad — algo propenso a errores incluso para quien conoce bien el estándar.
Esta herramienta cubre ese hueco, y va un paso más allá: en vez de analizar robots.txt de forma aislada, lo cruza con tu sitemap para encontrar la contradicción que de verdad importa.
// El diferenciador
La contradicción más común (y más grave): sitemap vs. robots.txt
Imagina que tu sitemap incluye /blog/oferta-black-friday/ — le estás diciendo a Google "indexa esta página". Pero tu robots.txt tiene Disallow: /blog/ heredado de una regla antigua que nadie revisó. Resultado: Google ve la URL en el sitemap, intenta rastrearla, y se encuentra con que se lo tienes prohibido. La página nunca se indexa, y no hay ningún error visible en Search Console que lo explique con claridad si no cruzas ambos archivos.
Un validador de sitemap aislado no lo detecta porque el sitemap en sí es perfectamente válido. Un tester de robots.txt aislado tampoco, porque la regla en sí es perfectamente válida — el problema solo existe en la intersección de los dos archivos. Por eso esta auditoría los lee en la misma pasada.
// Otros errores comunes
Otros errores que esta auditoría detecta
Bloquear el sitio entero sin darse cuenta
Un Disallow: / en el grupo wildcard (User-agent: *) bloquea el rastreo completo del sitio. Es habitual dejarlo puesto tras probar un entorno de staging y olvidarlo al pasar a producción.
Bloquear CSS/JS necesarios para el renderizado
Reglas amplias como Disallow: /wp-content/ o Disallow: /*.js impiden que Google descargue los recursos que necesita para renderizar la página como la vería un usuario real.
Sitemaps con URLs muertas (404) sin limpiar
URLs que en algún momento existieron y siguen en el sitemap desperdician presupuesto de rastreo y mandan una señal de mantenimiento descuidado.
No incluir la línea Sitemap en robots.txt
No es un error grave — Google también encuentra el sitemap si lo has enviado en Search Console — pero declarar Sitemap: https://tudominio.com/sitemap.xml facilita que cualquier rastreador lo descubra sin pasos adicionales.
// El estándar
Cómo se decide qué regla gana cuando hay conflicto
Dentro del mismo grupo de User-agent, cuando dos reglas (una Allow y una Disallow) coinciden con el mismo path, gana la regla con el path más largo y específico — no la que aparece más abajo en el archivo, que es un malentendido habitual. Por ejemplo, Allow: /blog/guias/ gana sobre Disallow: /blog/ para cualquier URL dentro de /blog/guias/, sin importar el orden en que aparezcan las dos líneas.
¿Y si el problema es más profundo que un archivo mal configurado?
Un robots.txt limpio y un sitemap sin contradicciones son la base, pero la rastreabilidad real depende también de la arquitectura del sitio, el presupuesto de rastreo y cómo Google prioriza tus páginas. Si quieres una auditoría técnica completa, hablamos.