NeovaPlataforma SEO avanzada

Cómo rastrear un sitio web para SEO, paso a paso

Rastrear un sitio web significa descargar sus páginas como lo hace un buscador, siguiendo los enlaces de una página a otra. Así se rastrea bien un sitio web: con educación, de forma completa y sin que te bloqueen.

Rastreo e indexacióncómo rastrear un sitio webActualizado el 21 de noviembre de 2026Por el equipo de Neova

Qué significa rastrear un sitio web

Un crawler de sitios web para SEO empieza en una URL, la descarga, lee los enlaces del HTML y los añade a una cola. Después toma la siguiente URL de la cola y hace lo mismo, hasta que no aparece nada nuevo o llega a un límite. Los buscadores lo hacen a escala de toda la web. Un crawler SEO lo hace con un sitio y registra qué respondió cada URL para que puedas auditarlo.

Para cada URL, un rastreo suele registrar el código de estado, las cabeceras de respuesta, el título y la meta description, el canonical, las directivas robots, los enlaces entrantes y salientes, y a cuántos clics está de la página de inicio. Google describe cómo funcionan sus propios crawlers y fetchers en su resumen de los crawlers de Google.

Antes de rastrear: permiso, robots.txt y alcance

Tres preguntas que responder antes de pulsar Iniciar:

  • ¿Es tu sitio o tienes permiso? Rastrear tu propio sitio o el de un cliente es lo normal. En el sitio de cualquier otra persona, sé educado: respeta robots.txt y mantén la velocidad baja.
  • ¿Qué dice robots.txt? Abre /robots.txt y léelo. Indica a los crawlers lo que no pueden descargar y normalmente enumera los sitemaps XML. Las reglas siguen la RFC 9309, y Google explica cómo las lee en su introducción a robots.txt. La referencia completa de robots.txt en SEO ProCheck va línea por línea.
  • ¿Cuánto necesitas? Todo el sitio, una sección o una muestra de cada plantilla. Una muestra responde a la mayoría de las preguntas sobre plantillas en minutos; para los enlaces rotos y las páginas huérfanas necesitas un rastreo completo.

Cómo rastrear un sitio web paso a paso

  1. Encuentra la URL de inicio correcta. Pide http y https, con y sin www. Una debería responder 200 y las demás redirigir a ella. Empieza ahí.
  2. Elige un modo. El modo Spider sigue los enlaces desde la URL de inicio. El modo Lista rastrea solo las URL que le das, lo que sirve para revisar un conjunto de URL antiguas tras una migración.
  3. Añade los sitemaps XML. Rastrear las URL del sitemap después de las páginas enlazadas muestra qué páginas incluye el sitio sin enlazarlas nunca.
  4. Fija límites. Un límite de URL, un límite de profundidad y reglas para los parámetros de consulta evitan que los filtros se apoderen del rastreo. La guía SEO de navegación facetada de SEO ProCheck muestra qué URL de filtros merecen rastrearse.
  5. Excluye lo que no necesitas. Zonas de administración, URL del carrito y del pago, resultados de la búsqueda interna. Usa patrones de inclusión y exclusión, y prueba una URL con ellos antes de empezar.
  6. Elige un user agent. El nombre propio de tu crawler es la opción honesta por defecto. Rastrear como Googlebot muestra lo que recibe Google, pero algunos servidores tratan un Googlebot falso como un ataque.
  7. Empieza y vigila los primeros minutos. Si el número de URL nuevas sube mucho más rápido que el tamaño del sitio, mira de dónde vienen. Los calendarios y los filtros infinitos son la causa habitual.
  8. Deja que se ejecuten las comprobaciones. Cuando termine el rastreo, empieza por los problemas que afectan a más páginas indexables.
Nuevo rastreo, Velocidad y renderizado: la velocidad en URL por segundo, que se reduce cuando el servidor se ralentiza, el user agent que se envía en cada petición y el renderizado de JavaScript
Nuevo rastreo, Velocidad y renderizado: la velocidad en URL por segundo, que se reduce cuando el servidor se ralentiza, el user agent que se envía en cada petición y el renderizado de JavaScript

Cómo rastrear todas las URL de un sitio web

Seguir enlaces solo encuentra las páginas a las que llegan los enlaces. Para rastrear todas las URL de un sitio web, combina varias fuentes:

FuentePáginas enlazadasPáginas sin enlazarProcede de
Rastreo de enlaces✓–La URL de inicio
Sitemaps XML◐✓robots.txt o /sitemap.xml
URL semilla◐✓Tu propia lista
Logs del servidor◐✓Servidor o CDN
Search Console◐✓Tu propiedad de Google

Vimos lo mucho que importa en nuestro propio sitio. En el rastreo completo de seoprocheck.com con Neova el 17 de octubre de 2026:

Medidaseoprocheck.com
URL descargadas10.222
Tiempo61 minutos
Páginas HTML que responden 2004.561
URL en los sitemaps XML1.835
Alcanzadas por enlaces, en ningún sitemap2.727
En un sitemap, sin ningún enlace1
Completitud99.98%
Cuerpos de página1,66 GB en bruto, 340 MB almacenados

Una auditoría solo del sitemap habría pasado por alto 2.727 URL, y un rastreo solo de enlaces habría pasado por alto la única huérfana. Las páginas que solo salen de sitemaps, logs o Search Console son huérfanas. Las huérfanas indexables que reciben tráfico de búsqueda suelen necesitar enlaces internos. Comprobaciones que conviene conocer aquí: URL huérfana que devuelve 200 y es indexable, URL indexable que no está en ningún sitemap XML y No se puede descargar ni procesar el sitemap XML.

Cómo rastrear un sitio web sin que te bloqueen

La mayoría de los bloqueos se deben a rastrear demasiado rápido o a parecer un bot del que el servidor no se fía. Rastrea como querría el propietario del sitio:

  • Mantén la velocidad baja. 2 o 3 URL por segundo bastan para la mayoría de las auditorías. Más rápido, solo en tu propio sitio.
  • Di quién eres. Un user agent claro, con un enlace a una página sobre el crawler, es más fácil de permitir que una cadena falsa de navegador.
  • Respeta robots.txt. Es el deseo expreso del sitio, e ignorarlo en el sitio de otra persona es la forma más rápida de que te bloqueen.
  • Pide que te dejen entrar. En el sitio de un cliente tras un firewall o una protección contra bots, pide al equipo de TI que permita tu crawler, por ejemplo con una cabecera secreta que solo envíe tu crawler.

Después lee las respuestas. Cada código de estado dice algo distinto:

AnswerSignificaHaz
429Demasiadas solicitudesReduce la velocidad a la mitad, respeta Retry-After
503Servidor ocupado o caídoVe más despacio, reintenta más tarde
403RechazadoPara y pregunta
401Requiere inicio de sesiónPide acceso
Racha de 5xxEl servidor tiene dificultadesPausa el rastreo

La página de Google sobre códigos de estado HTTP y errores de red explica cómo trata el propio Googlebot las respuestas 429 y 5xx.

Rastrear sitios web con JavaScript

Si el sitio está hecho con React, Vue, Angular o un framework parecido, el HTML que envía el servidor puede estar casi vacío, y el contenido lo añaden los scripts. Un rastreo normal encuentra entonces pocos enlaces y poco texto. Activa el renderizado de JavaScript, que carga cada página en un navegador headless, y compara la página renderizada con el HTML original. Lo que importa es lo que falta antes de renderizar: texto principal, enlaces, títulos y canonicals que solo aparecen tras ejecutar los scripts. Renderizar es más lento, así que renderiza primero una muestra de cada plantilla.

Rastrea tu sitio web con Neova

Para rastrear tu propio sitio web con Neova, descarga la app, elige Rastrear, Nuevo rastreo, escribe la dirección y haz clic en Iniciar rastreo. La página Tu primer rastreo muestra cada pantalla.

AjustePor defecto
Funciona en
User agentNeovaBot
Velocidad3 URL por segundo
Ante un 429 o 503Reduce la velocidad a la mitad, respeta Retry-After
robots.txtRespetado
CAPTCHANunca se resuelve
Plan gratuito1.000 URL por rastreo
  • Comprobación de la URL de inicio elige la versión del sitio (http o https, con o sin www) que responde 200 e indica qué hacen las demás.
  • Modos y alcance: Spider o Lista, Sitio completo, Carpetas concretas o Muestra por grupo de páginas, además de sitemaps XML, URL semilla y reglas de inclusión y exclusión.
  • Tu propio sitio: cuando confirmas que es tuyo, Neova puede ir más rápido e ignorar robots.txt. El Encabezado de lista de permitidos crea una cabecera secreta que solo se envía a ese sitio, con la regla lista para pasársela al equipo de TI.
  • Rastreo bloqueado, explicado: cuando un sitio rechaza el rastreo, Neova dice por qué (límite de frecuencia, bloqueo de un firewall, acceso prohibido) y qué hacer a continuación.
  • Descubrimiento y Desglose de URL: mientras se ejecuta, cada URL encontrada cae en un grupo y se señalan las formas de trampa de rastreo, con Omitir o Excluir al momento.
  • Pausar, Detener y Reanudar: detén el rastreo cuando quieras y ejecuta las comprobaciones sobre lo rastreado, o Reanuda más tarde desde donde se detuvo.

Los propietarios de sitios pueden leer cómo se identifica el crawler, y cómo bloquearlo, en la página de NeovaBot.

Qué hacer con el rastreo

Un rastreo es una foto fija. Su valor está en lo que arreglas. Ordena los hallazgos por cuántas páginas indexables afectan, arregla los problemas de plantilla una vez en lugar de página por página, y vuelve a rastrear para confirmarlo. Una primera pasada corta que suele compensar:

La checklist de auditoría SEO técnica pone en orden toda la revisión.

Preguntas

¿Cómo rastreo todas las URL de un sitio web?

Combina un rastreo de enlaces con los sitemaps XML y añade después las URL de Google Search Console y de los logs del servidor. Cualquier página que solo encuentren esas fuentes, y a la que no llegue ningún enlace interno, es una huérfana que merece un vistazo.

¿Cómo rastreo un sitio web sin que me bloqueen?

Rastrea despacio, usa un user agent honesto, respeta robots.txt y frena cuando el servidor responda 429 o 503. En el sitio de un cliente tras un firewall, pide al equipo de TI que permita tu crawler en lugar de intentar saltarte el bloqueo.

¿Es legal rastrear un sitio web?

Rastrear páginas públicas es una práctica habitual, pero las normas varían según el país y las condiciones del sitio. Rastrea libremente tus sitios y los de tus clientes, respeta robots.txt en todas partes y lee las condiciones del sitio si tienes dudas. Esto no es asesoramiento legal.

¿Cuánto se tarda en rastrear un sitio web?

Aproximadamente el número de URL dividido por la velocidad. Nuestro rastreo completo de seoprocheck.com el 17 de octubre de 2026 descargó 10.222 URL en 61 minutos, unas 2,8 URL por segundo. A 3 URL por segundo, 1.000 URL tardan unos 6 minutos y 100.000 unas 9 horas, sin contar el renderizado. Muestrear cada plantilla es mucho más rápido.

¿Puedo rastrear mi sitio web gratis?

Sí. El plan Free de Neova rastrea hasta 1.000 URL por rastreo con todas las comprobaciones, en Mac, Windows y Linux. Consulta los precios de los planes más grandes.

Llévatelo

Los enlaces a los asistentes se abren con una pregunta sobre esta página ya escrita.

Rastrea tu sitio con NeovaEl plan Free ejecuta todas las comprobaciones en Mac, Windows y Linux. Sin tarjeta de crédito.

Sigue leyendo