Auditoría de rastreabilidad: robots.txt + sitemap.xml
Analiza tu robots.txt y tu sitemap.xml juntos, en una sola pasada, y detecta el error que ningún validador aislado ve: URLs que tu sitemap dice "indéxame" mientras tu robots.txt dice "no me rastrees". Gratis, sin cuenta.
Leyendo robots.txt…
// Consulta puntual
¿Un bot concreto puede acceder a un path concreto?
Reutiliza el robots.txt que ya hemos leído arriba — no se vuelve a pedir tu dominio.
// Los dos archivos
¿Qué son robots.txt y sitemap.xml, y por qué hay que revisarlos juntos?
robots.txt es una directriz declarada, no una barrera técnica: le pide a un rastreador que no entre a ciertas rutas, y depende de que ese rastreador decida respetarlo. sitemap.xml es justo lo contrario en intención: una lista de URLs que le dices activamente a Google "aquí tienes, indéxame esto".
Son dos señales que le das al mismo buscador sobre las mismas URLs. Cuando coinciden, no hay ambigüedad. Cuando se contradicen —una URL en el sitemap que robots.txt bloquea— le estás mandando dos mensajes opuestos a Google sobre la misma página, y esa confusión en el rastreo es exactamente lo que esta auditoría existe para detectar.
// Por qué existe esta herramienta
El hueco que dejó Google
En noviembre de 2023, Google retiró el robots.txt Tester de Search Console sin sustituirlo por ninguna herramienta interactiva equivalente. Desde entonces, comprobar si un path concreto está bloqueado para un bot concreto exige leer el archivo a mano y aplicar mentalmente las reglas de especificidad — algo propenso a errores incluso para quien conoce bien el estándar.
Esta herramienta cubre ese hueco, y va un paso más allá: en vez de analizar robots.txt de forma aislada, lo cruza con tu sitemap para encontrar la contradicción que de verdad importa.
// El diferenciador
La contradicción más común (y más grave): sitemap vs. robots.txt
Imagina que tu sitemap incluye /blog/oferta-black-friday/ — le estás diciendo a Google "indexa esta página". Pero tu robots.txt tiene Disallow: /blog/ heredado de una regla antigua que nadie revisó. Resultado: Google ve la URL en el sitemap, intenta rastrearla, y se encuentra con que se lo tienes prohibido. La página nunca se indexa, y no hay ningún error visible en Search Console que lo explique con claridad si no cruzas ambos archivos.
Un validador de sitemap aislado no lo detecta porque el sitemap en sí es perfectamente válido. Un tester de robots.txt aislado tampoco, porque la regla en sí es perfectamente válida — el problema solo existe en la intersección de los dos archivos. Por eso esta auditoría los lee en la misma pasada.
// Otros errores comunes
Otros errores que esta auditoría detecta
Bloquear el sitio entero sin darse cuenta
Un Disallow: / en el grupo wildcard (User-agent: *) bloquea el rastreo completo del sitio. Es habitual dejarlo puesto tras probar un entorno de staging y olvidarlo al pasar a producción.
Bloquear CSS/JS necesarios para el renderizado
Reglas amplias como Disallow: /wp-content/ o Disallow: /*.js impiden que Google descargue los recursos que necesita para renderizar la página como la vería un usuario real.
Sitemaps con URLs muertas (404) sin limpiar
URLs que en algún momento existieron y siguen en el sitemap desperdician presupuesto de rastreo y mandan una señal de mantenimiento descuidado.
No incluir la línea Sitemap en robots.txt
No es un error grave — Google también encuentra el sitemap si lo has enviado en Search Console — pero declarar Sitemap: https://tudominio.com/sitemap.xml facilita que cualquier rastreador lo descubra sin pasos adicionales.
// El estándar
Cómo se decide qué regla gana cuando hay conflicto
Dentro del mismo grupo de User-agent, cuando dos reglas (una Allow y una Disallow) coinciden con el mismo path, gana la regla con el path más largo y específico — no la que aparece más abajo en el archivo, que es un malentendido habitual. Por ejemplo, Allow: /blog/guias/ gana sobre Disallow: /blog/ para cualquier URL dentro de /blog/guias/, sin importar el orden en que aparezcan las dos líneas.
¿Y si el problema es más profundo que un archivo mal configurado?
Un robots.txt limpio y un sitemap sin contradicciones son la base, pero la rastreabilidad real depende también de la arquitectura del sitio, el presupuesto de rastreo y cómo Google prioriza tus páginas. Si quieres una auditoría técnica completa, hablamos.
// PREGUNTAS FRECUENTES
Preguntas frecuentes sobre robots.txt y sitemap
// Qué detecta
¿Qué problema detecta esta herramienta?
El más frecuente y el más silencioso: URLs que están en tu sitemap.xml pero bloqueadas por una regla de tu robots.txt. Le estás diciendo a Google que las indexe y a la vez que no las mire, y el resultado es que no se indexan.
// Robots
¿Bloquear una URL en robots.txt la desindexa?
No necesariamente. Robots.txt impide el rastreo, no la indexación: una URL bloqueada puede seguir apareciendo en resultados sin descripción si hay enlaces hacia ella. Para sacarla del índice hay que permitir el rastreo y usar noindex.
// Sitemap
¿Qué debe contener el sitemap?
Solo las URLs que quieres que se indexen: canónicas, con respuesta 200 y sin noindex. Un sitemap con redirecciones, errores o páginas bloqueadas gasta presupuesto de rastreo y transmite señales contradictorias.
// Cómo se usa
Cómo detectar contradicciones entre tu robots.txt y tu sitemap
Encuentra el error más común y más silencioso de indexación: URLs que el sitemap pide indexar mientras el robots.txt prohíbe rastrearlas.
-
01
Introduce tu dominio
La herramienta localiza y lee tu robots.txt y tu sitemap.xml.
-
02
Revisa las URLs en conflicto
Son las que aparecen en el sitemap y a la vez están bloqueadas por una regla de robots.txt. Google no puede indexarlas.
-
03
Corrige el origen
O quitas la URL del sitemap, o levantas la regla de robots.txt. Mantener las dos cosas a la vez nunca es lo que quieres.
// Siguiente paso
Comprobador de cadenas de redirección
Si tu sitemap apunta a URLs que redirigen, el problema no está en el sitemap: está en la cadena.
// Quién la ha hecho
La construyó Pablo Olóndriz, consultor SEO y GEO, para no depender de herramientas que piden registro para responder algo que se resuelve en diez segundos.
No guarda nada. La comprobación se hace en el momento y el resultado se descarta al cerrar la página.