NeovaPlataforma SEO avanzada

Probador de robots.txt: cómo probar las reglas de robots.txt antes de que bloqueen las páginas equivocadas

robots.txt es un archivo de texto corto con mucho poder. Una sola línea puede alejar a un buscador de una carpeta que querías ocultar, o del sitio entero con el que querías posicionar. Un probador de robots.txt te dice, URL por URL, qué puede descargar cada crawler, para que lo sepas antes que Googlebot.

Rastreo e indexaciónProbador de robots.txtActualizado el 21 de noviembre de 2026Por el equipo de Neova

Qué hace un probador de robots.txt

Un probador de robots.txt toma un archivo robots.txt y una URL, elige el grupo de reglas que se aplica a un user agent concreto y te dice si esa URL está permitida o bloqueada, y qué línea lo decidió. Uno bueno también señala las líneas que el analizador no puede leer, los campos que ignora y las reglas que se anulan entre sí.

Probar una URL cada vez es útil para una pregunta rápida. Probar todas las URL de un rastreo es lo que destapa las sorpresas: una regla escrita para una carpeta que también coincide con un filtro de productos, o un comodín que bloquea el CSS que tus páginas necesitan para renderizarse.

Google retiró su probador de robots.txt

Durante años, Search Console tuvo un probador de robots.txt en el que podías editar el archivo y probar URL con él. A finales de 2023 Google lo retiró y lo sustituyó por el informe de robots.txt. El informe muestra qué archivos robots.txt encontró Google para los 20 hosts principales de una propiedad, cuándo se rastreó cada uno por última vez y cualquier advertencia o error. También te permite solicitar un nuevo rastreo del archivo después de una corrección urgente.

El informe te dice cómo leyó Google tu archivo en vivo. No prueba una regla que todavía no está publicada, ni pasa toda tu lista de URL por el archivo. Para eso necesitas un probador aparte. Google publica su propio analizador de robots.txt de código abierto, y Bing Webmaster Tools tiene un probador de robots.txt muy práctico para comprobar cómo lee Bingbot un archivo.

Cómo funcionan las reglas de robots.txt

El archivo vive en la raíz de un host, por ejemplo https://www.example.com/robots.txt. Las reglas las define el RFC 9309, el Robots Exclusion Protocol, y Google documenta cómo las lee en Cómo interpreta Google la especificación de robots.txt. Un archivo está formado por grupos. Cada grupo empieza con una o más líneas User-agent, seguidas de reglas Allow y Disallow:

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

Los puntos que revisan los probadores, tal como los documenta Google. La referencia completa de robots.txt de SEO ProCheck repasa todos los campos.

  • Un grupo por crawler. Un crawler solo sigue el grupo más específico que coincide con su nombre. Si Googlebot tiene su propio grupo, ignora por completo el grupo *.
  • Gana la coincidencia más larga. Cuando un Allow y un Disallow coinciden con una URL, se aplica la regla con la ruta más larga. En caso de empate, Google usa la regla menos restrictiva.
  • Dos comodines. * coincide con cualquier secuencia de caracteres y $ marca el final de la URL.
  • Las rutas distinguen mayúsculas y minúsculas. Disallow: /Admin no bloquea /admin.
  • Un archivo por host. Las reglas solo se aplican al protocolo, host y puerto desde los que se sirve el archivo. Un subdominio necesita su propio archivo.

Lo que robots.txt no hace

robots.txt controla el rastreo, no la indexación. La introducción a robots.txt de Google deja claro que una URL bloqueada puede indexarse igualmente si otras páginas enlazan a ella, normalmente sin descripción. Si quieres sacar una página de los resultados de búsqueda, deja que se rastree y usa noindex. Una página que Google no puede descargar es una página cuyo noindex nunca verá.

Otros límites que conviene conocer:

  • No hay línea noindex. Google dejó de admitir noindex en robots.txt en 2019, junto con las reglas nofollow y crawl-delay en ese archivo.
  • No hay crawl-delay para Google. Googlebot ignora Crawl-delay. Algunos otros crawlers lo leen, y por eso un valor definido para todos los user agents puede frenarlos mucho.
  • No es seguridad. El archivo es público y los crawlers educados lo siguen por voluntad propia. Todo lo privado necesita un inicio de sesión.

Errores habituales en robots.txt que detecta un probador

ErrorEfectoCorrección
Disallow: / olvidado de stagingSitio entero bloqueadoQuita la línea
Grupo con nombre sin las reglas comunesLas reglas de * se pierden para ese botCopia dentro las reglas comunes
CSS, JavaScript o imágenes bloqueadosLa página no puede renderizarsePermite los archivos
Comodín demasiado amplio/*? bloquea filtros y páginasAcota el patrón
Regla antes de User-agent, errataLínea ignoradaCorrige la sintaxis
Disallow para desindexarEl noindex nunca se leePermite y después noindex
www y sin www difierenReglas distintas según el hostSirve un solo archivo

Bloquear una URL que también incluyes en tu sitemap XML manda señales contradictorias. La guía para validar un sitemap XML cubre esa parte.

Errores del servidor y tamaño del archivo

Cómo se sirve el archivo importa tanto como lo que dice. Google documenta cada caso:

CasoLo que hace GoogleCuánto tiempo
4xx, salvo 429Rastrea como si no hubiera archivoHasta que se corrija
5xx o 429Deja de rastrear el sitioPrimeras 12 horas
Sigue fallandoUsa la última copia buenaHasta 30 días
Archivo de más de 500 KiBIgnora el restoA partir de 500 KiB
Cualquier cambioUsa su copia en cachéHasta 24 horas

La solicitud de nuevo rastreo del informe de robots.txt es para correcciones urgentes. Un robots.txt que tarda demasiado en responder en el peor momento puede pausar el rastreo de todo el sitio; la guía del crawl budget explica por qué eso importa sobre todo en sitios grandes.

Lo que encontramos en nuestro propio robots.txt

Nuestra revisión SEO de neova.app, del 20 de noviembre de 2026, encontró dos reglas que bloqueaban más de lo que queríamos:

Qué estaba bloqueadoPáginas afectadasQué vio GoogleCorrección
Script de correo de Cloudflare en /cdn-cgi/1.320Un script que no podía descargarPermitimos ese script
/favicon y /apple-touch-icon.pngTodos los resultadosUna letra simple, sin logoPermitimos los dos archivos

Los archivos del favicon estaban detrás de una regla Disallow: /. Las directrices de Google sobre el favicon exigen que Googlebot-Image pueda rastrear el archivo, así que los resultados de búsqueda mostraban una letra en lugar de nuestro logo junto a neova.app. Ninguna de las dos reglas parecía incorrecta en el archivo. Las dos salieron a la luz solo al probar las reglas con todas las URL y archivos que cargan las páginas.

Cómo probar robots.txt de forma segura

  1. Rastrea el sitio para tener una lista completa de URL reales, no solo las pocas que recuerdas.
  2. Prueba el archivo en vivo con esa lista para cada crawler que te importe: Googlebot, Googlebot-Image, Bingbot y los crawlers de IA.
  3. Escribe el cambio como borrador y prueba el borrador con la misma lista. Mira qué URL pasan a estar bloqueadas y cuáles pasan a estar permitidas.
  4. Revisa los recursos. Asegúrate de que ninguna página indexable pierde sus scripts, hojas de estilos o imágenes.
  5. Publícalo y después confirma en el informe de robots.txt de Search Console que Google descargó la nueva versión sin errores.
  6. Vuelve a rastrear y compara, para detectar más adelante cualquier cambio accidental.

Si estás decidiendo qué pueden descargar los crawlers de IA, la guía de crawlers de IA enumera sus nombres y lo que hace cada uno. Las páginas bloqueadas también aparecen en la guía del comprobador de indexabilidad.

Prueba robots.txt con Neova

El Probador de robots.txt de Neova explica cada línea del archivo en vivo, o de un borrador, con palabras sencillas, tal como lo documenta Google y lo define el RFC 9309, con las URL rastreadas con las que coincide cada regla. Su vista Todos los rastreadores muestra qué pueden descargar Googlebot, Bingbot y los crawlers de IA, con las URL que tiene bloqueadas cada uno. Avisa cuando el grupo propio de un crawler pierde las reglas del grupo *, y la prueba del borrador enumera cada URL del rastreo que un cambio bloquearía o permitiría por primera vez. Después puedes rastrear respetando el borrador para ver el efecto completo. Las comprobaciones que hay detrás:

Neova guarda todas las versiones de robots.txt que leen sus rastreos, para que veas cuándo cambió una regla. Con el ajuste User agent puedes rastrear como Googlebot, Bingbot, un crawler de IA o una cadena personalizada. Consulta las Funciones o descarga Neova.

Preguntas

¿Sigue teniendo Google un probador de robots.txt?

No. Google retiró el probador de robots.txt de Search Console en 2023 y lo sustituyó por el informe de robots.txt, que muestra cómo leyó Google tu archivo en vivo y cualquier error. Para probar un cambio antes de publicarlo, usa un probador de robots.txt aparte.

¿Cómo compruebo si robots.txt bloquea una URL?

Busca el grupo que coincide con el user agent del crawler y después la ruta Allow o Disallow más larga que coincide con la URL. Esa regla decide. Un probador de robots.txt lo hace por ti y nombra la línea, para una URL o para todas las URL de un rastreo. Las preguntas frecuentes sobre robots.txt de SEO ProCheck responden a los casos límite.

¿robots.txt impide que se indexe una página?

No. Detiene el rastreo. Una URL bloqueada puede indexarse igualmente si otras páginas enlazan a ella. Usa noindex en una página que Google pueda rastrear si quieres sacarla de los resultados de búsqueda.

¿Por qué Googlebot ignora mis reglas de User-agent: *?

Porque el archivo tiene un grupo con el nombre de Googlebot. Un crawler solo sigue el grupo más específico que coincide con él, así que copia también las reglas comunes en el grupo de Googlebot.

¿Cuánto tarda en surtir efecto un cambio en robots.txt?

Google suele guardar robots.txt en caché hasta 24 horas. Después de una corrección urgente puedes solicitar un nuevo rastreo en el informe de robots.txt de Search Console.

Llévatelo

Los enlaces a los asistentes se abren con una pregunta sobre esta página ya escrita.

Rastrea tu sitio con NeovaEl plan Free ejecuta todas las comprobaciones en Mac, Windows y Linux. Sin tarjeta de crédito.

Sigue leyendo