Como rastrear um site para SEO, passo a passo
Rastrear um site significa buscar as páginas do jeito que um buscador faz, seguindo os links de página em página. Veja como rastrear um site do jeito certo: com educação, por completo e sem ser bloqueado.
O que significa rastrear um site
Um crawler de sites para SEO começa em uma URL, baixa a página, lê os links do HTML e os coloca em uma fila. Depois pega a próxima URL da fila e faz o mesmo, até não aparecer nada novo ou atingir um limite. Os buscadores fazem isso na escala da web. Um crawler de SEO faz isso para um site e registra o que cada URL respondeu para você auditar.
Para cada URL, um crawl costuma registrar o código de status, os cabeçalhos da resposta, o título e a meta description, o canonical, as diretivas de robots, os links de entrada e saída e a quantos cliques ela está da página inicial. O Google descreve como funcionam os seus próprios crawlers e fetchers na visão geral dos crawlers do Google.
Antes de rastrear: permissão, robots.txt e escopo
Três perguntas para responder antes de apertar o início:
- O site é seu ou você tem permissão? Rastrear o seu próprio site ou o de um cliente é rotina. No site de qualquer outra pessoa, seja educado: respeite o robots.txt e mantenha a velocidade baixa.
- O que o robots.txt diz? Abra /robots.txt e leia. Ele diz aos crawlers o que eles não podem buscar e normalmente lista os XML Sitemaps. As regras seguem a RFC 9309, e o Google explica como as lê na sua introdução ao robots.txt. A referência completa de robots.txt no SEO ProCheck vai linha por linha.
- De quanto você precisa? O site inteiro, uma seção ou uma amostra de cada template. Uma amostra responde à maioria das perguntas sobre templates em minutos; um crawl completo é o que você precisa para links quebrados e páginas órfãs.
Como rastrear um site passo a passo
- Encontre a URL inicial certa. Peça http e https, com e sem www. Uma deve responder 200 e as outras devem redirecionar para ela. Comece por ela.
- Escolha um modo. O modo Spider segue os links a partir da URL inicial. O modo Lista rastreia só as URLs que você fornece, o que é útil para verificar um conjunto de URLs antigas depois de uma migração.
- Adicione os XML Sitemaps. Rastrear as URLs do sitemap depois das páginas linkadas mostra quais páginas o site lista mas nunca linka.
- Defina limites. Um limite de URLs, um limite de profundidade e regras para parâmetros de consulta impedem que os filtros tomem conta do crawl. O guia de SEO para navegação facetada do SEO ProCheck mostra quais URLs de filtro merecem ser rastreadas.
- Exclua o que você não precisa. Áreas de administração, URLs de carrinho e checkout, resultados de busca interna. Use padrões de inclusão e exclusão e teste uma URL com eles antes de começar.
- Escolha um user agent. O nome do seu próprio crawler é o padrão honesto. Rastrear como Googlebot mostra o que o Google recebe, mas alguns servidores tratam um Googlebot falso como ataque.
- Comece e acompanhe os primeiros minutos. Se a contagem de URLs novas sobe muito mais rápido que o tamanho do site, veja de onde elas vêm. Calendários e filtros sem fim são a causa de sempre.
- Deixe as verificações rodarem. Quando o crawl terminar, comece pelos problemas que afetam mais páginas indexáveis.

Como rastrear todas as URLs de um site
Seguir links só encontra as páginas que os links alcançam. Para rastrear todas as URLs de um site, combine várias fontes:
| Fonte | Páginas linkadas | Páginas sem link | Vem de |
|---|---|---|---|
| Crawl por links | ✓ | – | A URL inicial |
| Sitemaps XML | ◐ | ✓ | robots.txt ou /sitemap.xml |
| URLs semente | ◐ | ✓ | A sua própria lista |
| Logs do servidor | ◐ | ✓ | Servidor ou CDN |
| Search Console | ◐ | ✓ | A sua propriedade no Google |
Vimos o quanto isso importa no nosso próprio site. No crawl completo da Neova em seoprocheck.com, em 17 de outubro de 2026:
| Medida | seoprocheck.com |
|---|---|
| URLs buscadas | 10.222 |
| Tempo | 61 minutos |
| Páginas HTML respondendo 200 | 4.561 |
| URLs nos sitemaps XML | 1.835 |
| Alcançadas por links, fora de qualquer sitemap | 2.727 |
| Em um sitemap, sem nenhum link | 1 |
| Completude | 99.98% |
| Corpo das páginas | 1,66 GB brutos, 340 MB armazenados |
Uma auditoria só pelo sitemap teria perdido 2.727 URLs, e um crawl só por links teria perdido a única órfã. Páginas que só vêm de sitemaps, logs ou do Search Console são órfãs. Órfãs indexáveis que recebem tráfego de busca normalmente precisam de links internos. Verificações que vale conhecer aqui: URL órfã retorna 200 e é indexável, URL indexável não está em nenhum XML Sitemap e XML Sitemap não pode ser buscado ou interpretado.
Como rastrear um site sem ser bloqueado
A maioria dos bloqueios vem de rastrear rápido demais ou de parecer um bot em que o servidor não confia. Rastreie do jeito que o dono do site gostaria:
- Mantenha a velocidade baixa. 2 ou 3 URLs por segundo bastam para a maioria das auditorias. Mais rápido só no seu próprio site.
- Diga quem você é. Um user agent claro, com link para uma página sobre o crawler, é mais fácil de liberar do que uma string falsa de navegador.
- Respeite o robots.txt. É o desejo declarado do site, e ignorá-lo no site de outra pessoa é o jeito mais rápido de ser bloqueado.
- Peça para ser liberado. Em um site de cliente atrás de um firewall ou de proteção contra bots, peça à equipe de TI para liberar o seu crawler, por exemplo por um cabeçalho secreto que só o seu crawler envia.
Depois leia as respostas. Cada código de status diz uma coisa diferente:
| Answer | Significa | Faça |
|---|---|---|
| 429 | Requisições demais | Reduza a velocidade pela metade, respeite o Retry-After |
| 503 | Servidor ocupado ou fora do ar | Desacelere, tente de novo mais tarde |
| 403 | Recusado | Pare e pergunte |
| 401 | Login necessário | Peça acesso |
| Sequência de 5xx | Servidor com dificuldade | Pause o crawl |
A página do Google sobre códigos de status HTTP e erros de rede explica como o próprio Googlebot trata respostas 429 e 5xx.
Como rastrear sites em JavaScript
Se o site é feito com React, Vue, Angular ou um framework parecido, o HTML que o servidor envia pode estar quase vazio, com o conteúdo adicionado por scripts. Um crawl simples então encontra poucos links e pouco texto. Ative a renderização de JavaScript, que carrega cada página em um navegador headless, e compare a página renderizada com o HTML bruto. O que importa é o que falta antes da renderização: texto principal, links, títulos e canonicals que só aparecem depois que os scripts rodam. Renderizar é mais lento, então renderize primeiro uma amostra de cada template.
Rastreie o seu site com a Neova
Para rastrear o seu próprio site com a Neova, baixe o app, escolha Rastrear, Novo crawl, digite o endereço e clique em Iniciar crawl. A página Seu primeiro crawl mostra cada tela.
| Configuração | Padrão |
|---|---|
| Roda em | |
| User agent | NeovaBot |
| Velocidade | 3 URLs por segundo |
| Com 429 ou 503 | Reduz a velocidade pela metade, respeita o Retry-After |
| robots.txt | Respeitado |
| CAPTCHA | Nunca resolvido |
| Plano gratuito | 1.000 URLs por crawl |
- Verificação da URL inicial escolhe a versão do site (http ou https, com ou sem www) que responde 200 e diz o que as outras fazem.
- Modos e escopo: Spider ou Lista, Site inteiro, Pastas específicas ou Amostra por grupo de páginas, além de XML Sitemaps, URLs semente e regras de inclusão e exclusão.
- O seu próprio site: depois que você confirma que o site é seu, a Neova pode ir mais rápido e ignorar o robots.txt. O Cabeçalho de lista de permissões cria um cabeçalho secreto enviado só para esse site, com a regra para entregar à equipe de TI.
- Crawl bloqueado, explicado: quando um site recusa o crawl, a Neova diz o motivo (limite de requisições, bloqueio por firewall, acesso proibido) e o que fazer em seguida.
- Descoberta e Detalhamento das URLs: durante o crawl, cada URL encontrada cai em um grupo e os formatos de armadilha de crawl são sinalizados, com Pular ou Excluir na hora.
- Pausar, Parar e Retomar: pare quando quiser e rode as verificações no que foi rastreado, ou Retome mais tarde de onde parou.
Os donos de sites podem ler como o crawler se identifica, e como bloqueá-lo, na página do NeovaBot.
O que fazer com o crawl
Um crawl é uma foto do momento. O valor dele está no que você corrige. Ordene as descobertas pela quantidade de páginas indexáveis que afetam, corrija os problemas de template uma vez em vez de página por página e rastreie de novo para confirmar. Uma primeira passada curta que costuma compensar:
- Links internos para URLs 4xx e 5xx. Veja URL interna retorna 4xx, 5xx ou nenhuma resposta.
- Cadeias de redirecionamento entre URLs internas. Veja URL interna está em uma cadeia de redirecionamentos.
- Páginas indexáveis bloqueadas pelo robots.txt. Veja URL interna bloqueada pelo robots.txt.
- Um robots.txt que não pode ser buscado. Veja robots.txt inacessível ou grande demais.
- Páginas que faltam nos XML Sitemaps, e sitemaps que listam páginas que redirecionam ou têm noindex.
- Páginas importantes a mais de 3 cliques da home.
O checklist de auditoria de SEO técnico põe toda a revisão em ordem.
Perguntas
Como rastrear todas as URLs de um site?
Combine um crawl por links com os XML Sitemaps e depois acrescente URLs do Google Search Console e dos logs do servidor. Qualquer página que só essas fontes encontram, e que nenhum link interno alcança, é uma órfã que vale uma olhada.
Como rastrear um site sem ser bloqueado?
Rastreie devagar, use um user agent honesto, respeite o robots.txt e desacelere quando o servidor responder 429 ou 503. Em um site de cliente atrás de um firewall, peça à equipe de TI para liberar o seu crawler em vez de tentar contornar o bloqueio.
É legal rastrear um site?
Rastrear páginas públicas é prática comum, mas as regras variam por país e pelos termos do site. Rastreie à vontade os seus sites e os dos seus clientes, respeite o robots.txt em todo lugar e leia os termos do site em caso de dúvida. Isto não é aconselhamento jurídico.
Quanto tempo leva para rastrear um site?
Mais ou menos o número de URLs dividido pela velocidade. O nosso crawl completo de seoprocheck.com em 17 de outubro de 2026 buscou 10.222 URLs em 61 minutos, cerca de 2,8 URLs por segundo. A 3 URLs por segundo, 1.000 URLs levam uns 6 minutos e 100.000 umas 9 horas, sem contar a renderização. Uma amostra de cada template é bem mais rápida.
Posso rastrear o meu site de graça?
Sim. O plano Free da Neova rastreia até 1.000 URLs por crawl com todas as verificações, no Mac, Windows e Linux. Veja os preços dos planos maiores.