Cómo rastrear un sitio web para SEO, paso a paso
Rastrear un sitio web significa descargar sus páginas como lo hace un buscador, siguiendo los enlaces de una página a otra. Así se rastrea bien un sitio web: con educación, de forma completa y sin que te bloqueen.
Qué significa rastrear un sitio web
Un crawler de sitios web para SEO empieza en una URL, la descarga, lee los enlaces del HTML y los añade a una cola. Después toma la siguiente URL de la cola y hace lo mismo, hasta que no aparece nada nuevo o llega a un límite. Los buscadores lo hacen a escala de toda la web. Un crawler SEO lo hace con un sitio y registra qué respondió cada URL para que puedas auditarlo.
Para cada URL, un rastreo suele registrar el código de estado, las cabeceras de respuesta, el título y la meta description, el canonical, las directivas robots, los enlaces entrantes y salientes, y a cuántos clics está de la página de inicio. Google describe cómo funcionan sus propios crawlers y fetchers en su resumen de los crawlers de Google.
Antes de rastrear: permiso, robots.txt y alcance
Tres preguntas que responder antes de pulsar Iniciar:
- ¿Es tu sitio o tienes permiso? Rastrear tu propio sitio o el de un cliente es lo normal. En el sitio de cualquier otra persona, sé educado: respeta robots.txt y mantén la velocidad baja.
- ¿Qué dice robots.txt? Abre /robots.txt y léelo. Indica a los crawlers lo que no pueden descargar y normalmente enumera los sitemaps XML. Las reglas siguen la RFC 9309, y Google explica cómo las lee en su introducción a robots.txt. La referencia completa de robots.txt en SEO ProCheck va línea por línea.
- ¿Cuánto necesitas? Todo el sitio, una sección o una muestra de cada plantilla. Una muestra responde a la mayoría de las preguntas sobre plantillas en minutos; para los enlaces rotos y las páginas huérfanas necesitas un rastreo completo.
Cómo rastrear un sitio web paso a paso
- Encuentra la URL de inicio correcta. Pide http y https, con y sin www. Una debería responder 200 y las demás redirigir a ella. Empieza ahí.
- Elige un modo. El modo Spider sigue los enlaces desde la URL de inicio. El modo Lista rastrea solo las URL que le das, lo que sirve para revisar un conjunto de URL antiguas tras una migración.
- Añade los sitemaps XML. Rastrear las URL del sitemap después de las páginas enlazadas muestra qué páginas incluye el sitio sin enlazarlas nunca.
- Fija límites. Un límite de URL, un límite de profundidad y reglas para los parámetros de consulta evitan que los filtros se apoderen del rastreo. La guía SEO de navegación facetada de SEO ProCheck muestra qué URL de filtros merecen rastrearse.
- Excluye lo que no necesitas. Zonas de administración, URL del carrito y del pago, resultados de la búsqueda interna. Usa patrones de inclusión y exclusión, y prueba una URL con ellos antes de empezar.
- Elige un user agent. El nombre propio de tu crawler es la opción honesta por defecto. Rastrear como Googlebot muestra lo que recibe Google, pero algunos servidores tratan un Googlebot falso como un ataque.
- Empieza y vigila los primeros minutos. Si el número de URL nuevas sube mucho más rápido que el tamaño del sitio, mira de dónde vienen. Los calendarios y los filtros infinitos son la causa habitual.
- Deja que se ejecuten las comprobaciones. Cuando termine el rastreo, empieza por los problemas que afectan a más páginas indexables.

Cómo rastrear todas las URL de un sitio web
Seguir enlaces solo encuentra las páginas a las que llegan los enlaces. Para rastrear todas las URL de un sitio web, combina varias fuentes:
| Fuente | Páginas enlazadas | Páginas sin enlazar | Procede de |
|---|---|---|---|
| Rastreo de enlaces | ✓ | – | La URL de inicio |
| Sitemaps XML | ◐ | ✓ | robots.txt o /sitemap.xml |
| URL semilla | ◐ | ✓ | Tu propia lista |
| Logs del servidor | ◐ | ✓ | Servidor o CDN |
| Search Console | ◐ | ✓ | Tu propiedad de Google |
Vimos lo mucho que importa en nuestro propio sitio. En el rastreo completo de seoprocheck.com con Neova el 17 de octubre de 2026:
| Medida | seoprocheck.com |
|---|---|
| URL descargadas | 10.222 |
| Tiempo | 61 minutos |
| Páginas HTML que responden 200 | 4.561 |
| URL en los sitemaps XML | 1.835 |
| Alcanzadas por enlaces, en ningún sitemap | 2.727 |
| En un sitemap, sin ningún enlace | 1 |
| Completitud | 99.98% |
| Cuerpos de página | 1,66 GB en bruto, 340 MB almacenados |
Una auditoría solo del sitemap habría pasado por alto 2.727 URL, y un rastreo solo de enlaces habría pasado por alto la única huérfana. Las páginas que solo salen de sitemaps, logs o Search Console son huérfanas. Las huérfanas indexables que reciben tráfico de búsqueda suelen necesitar enlaces internos. Comprobaciones que conviene conocer aquí: URL huérfana que devuelve 200 y es indexable, URL indexable que no está en ningún sitemap XML y No se puede descargar ni procesar el sitemap XML.
Cómo rastrear un sitio web sin que te bloqueen
La mayoría de los bloqueos se deben a rastrear demasiado rápido o a parecer un bot del que el servidor no se fía. Rastrea como querría el propietario del sitio:
- Mantén la velocidad baja. 2 o 3 URL por segundo bastan para la mayoría de las auditorías. Más rápido, solo en tu propio sitio.
- Di quién eres. Un user agent claro, con un enlace a una página sobre el crawler, es más fácil de permitir que una cadena falsa de navegador.
- Respeta robots.txt. Es el deseo expreso del sitio, e ignorarlo en el sitio de otra persona es la forma más rápida de que te bloqueen.
- Pide que te dejen entrar. En el sitio de un cliente tras un firewall o una protección contra bots, pide al equipo de TI que permita tu crawler, por ejemplo con una cabecera secreta que solo envíe tu crawler.
Después lee las respuestas. Cada código de estado dice algo distinto:
| Answer | Significa | Haz |
|---|---|---|
| 429 | Demasiadas solicitudes | Reduce la velocidad a la mitad, respeta Retry-After |
| 503 | Servidor ocupado o caído | Ve más despacio, reintenta más tarde |
| 403 | Rechazado | Para y pregunta |
| 401 | Requiere inicio de sesión | Pide acceso |
| Racha de 5xx | El servidor tiene dificultades | Pausa el rastreo |
La página de Google sobre códigos de estado HTTP y errores de red explica cómo trata el propio Googlebot las respuestas 429 y 5xx.
Rastrear sitios web con JavaScript
Si el sitio está hecho con React, Vue, Angular o un framework parecido, el HTML que envía el servidor puede estar casi vacío, y el contenido lo añaden los scripts. Un rastreo normal encuentra entonces pocos enlaces y poco texto. Activa el renderizado de JavaScript, que carga cada página en un navegador headless, y compara la página renderizada con el HTML original. Lo que importa es lo que falta antes de renderizar: texto principal, enlaces, títulos y canonicals que solo aparecen tras ejecutar los scripts. Renderizar es más lento, así que renderiza primero una muestra de cada plantilla.
Rastrea tu sitio web con Neova
Para rastrear tu propio sitio web con Neova, descarga la app, elige Rastrear, Nuevo rastreo, escribe la dirección y haz clic en Iniciar rastreo. La página Tu primer rastreo muestra cada pantalla.
| Ajuste | Por defecto |
|---|---|
| Funciona en | |
| User agent | NeovaBot |
| Velocidad | 3 URL por segundo |
| Ante un 429 o 503 | Reduce la velocidad a la mitad, respeta Retry-After |
| robots.txt | Respetado |
| CAPTCHA | Nunca se resuelve |
| Plan gratuito | 1.000 URL por rastreo |
- Comprobación de la URL de inicio elige la versión del sitio (http o https, con o sin www) que responde 200 e indica qué hacen las demás.
- Modos y alcance: Spider o Lista, Sitio completo, Carpetas concretas o Muestra por grupo de páginas, además de sitemaps XML, URL semilla y reglas de inclusión y exclusión.
- Tu propio sitio: cuando confirmas que es tuyo, Neova puede ir más rápido e ignorar robots.txt. El Encabezado de lista de permitidos crea una cabecera secreta que solo se envía a ese sitio, con la regla lista para pasársela al equipo de TI.
- Rastreo bloqueado, explicado: cuando un sitio rechaza el rastreo, Neova dice por qué (límite de frecuencia, bloqueo de un firewall, acceso prohibido) y qué hacer a continuación.
- Descubrimiento y Desglose de URL: mientras se ejecuta, cada URL encontrada cae en un grupo y se señalan las formas de trampa de rastreo, con Omitir o Excluir al momento.
- Pausar, Detener y Reanudar: detén el rastreo cuando quieras y ejecuta las comprobaciones sobre lo rastreado, o Reanuda más tarde desde donde se detuvo.
Los propietarios de sitios pueden leer cómo se identifica el crawler, y cómo bloquearlo, en la página de NeovaBot.
Qué hacer con el rastreo
Un rastreo es una foto fija. Su valor está en lo que arreglas. Ordena los hallazgos por cuántas páginas indexables afectan, arregla los problemas de plantilla una vez en lugar de página por página, y vuelve a rastrear para confirmarlo. Una primera pasada corta que suele compensar:
- Enlaces internos a URL 4xx y 5xx. Consulta URL interna que devuelve 4xx, 5xx o no responde.
- Cadenas de redirecciones entre URL internas. Consulta URL interna en una cadena de redirecciones.
- Páginas indexables bloqueadas por robots.txt. Consulta URL interna bloqueada por robots.txt.
- Un robots.txt que no se puede descargar. Consulta robots.txt inaccesible o demasiado grande.
- Páginas que faltan en los sitemaps XML, y sitemaps que incluyen páginas que redirigen o tienen noindex.
- Páginas importantes a más de 3 clics de la página de inicio.
La checklist de auditoría SEO técnica pone en orden toda la revisión.
Preguntas
¿Cómo rastreo todas las URL de un sitio web?
Combina un rastreo de enlaces con los sitemaps XML y añade después las URL de Google Search Console y de los logs del servidor. Cualquier página que solo encuentren esas fuentes, y a la que no llegue ningún enlace interno, es una huérfana que merece un vistazo.
¿Cómo rastreo un sitio web sin que me bloqueen?
Rastrea despacio, usa un user agent honesto, respeta robots.txt y frena cuando el servidor responda 429 o 503. En el sitio de un cliente tras un firewall, pide al equipo de TI que permita tu crawler en lugar de intentar saltarte el bloqueo.
¿Es legal rastrear un sitio web?
Rastrear páginas públicas es una práctica habitual, pero las normas varían según el país y las condiciones del sitio. Rastrea libremente tus sitios y los de tus clientes, respeta robots.txt en todas partes y lee las condiciones del sitio si tienes dudas. Esto no es asesoramiento legal.
¿Cuánto se tarda en rastrear un sitio web?
Aproximadamente el número de URL dividido por la velocidad. Nuestro rastreo completo de seoprocheck.com el 17 de octubre de 2026 descargó 10.222 URL en 61 minutos, unas 2,8 URL por segundo. A 3 URL por segundo, 1.000 URL tardan unos 6 minutos y 100.000 unas 9 horas, sin contar el renderizado. Muestrear cada plantilla es mucho más rápido.
¿Puedo rastrear mi sitio web gratis?
Sí. El plan Free de Neova rastrea hasta 1.000 URL por rastreo con todas las comprobaciones, en Mac, Windows y Linux. Consulta los precios de los planes más grandes.