NeovaPlataforma avançada de SEO

Como rastrear um site para SEO, passo a passo

Rastrear um site significa buscar as páginas do jeito que um buscador faz, seguindo os links de página em página. Veja como rastrear um site do jeito certo: com educação, por completo e sem ser bloqueado.

Rastreamento e indexaçãocomo rastrear um siteAtualizado em 21 de novembro de 2026Pela equipe da Neova

O que significa rastrear um site

Um crawler de sites para SEO começa em uma URL, baixa a página, lê os links do HTML e os coloca em uma fila. Depois pega a próxima URL da fila e faz o mesmo, até não aparecer nada novo ou atingir um limite. Os buscadores fazem isso na escala da web. Um crawler de SEO faz isso para um site e registra o que cada URL respondeu para você auditar.

Para cada URL, um crawl costuma registrar o código de status, os cabeçalhos da resposta, o título e a meta description, o canonical, as diretivas de robots, os links de entrada e saída e a quantos cliques ela está da página inicial. O Google descreve como funcionam os seus próprios crawlers e fetchers na visão geral dos crawlers do Google.

Antes de rastrear: permissão, robots.txt e escopo

Três perguntas para responder antes de apertar o início:

  • O site é seu ou você tem permissão? Rastrear o seu próprio site ou o de um cliente é rotina. No site de qualquer outra pessoa, seja educado: respeite o robots.txt e mantenha a velocidade baixa.
  • O que o robots.txt diz? Abra /robots.txt e leia. Ele diz aos crawlers o que eles não podem buscar e normalmente lista os XML Sitemaps. As regras seguem a RFC 9309, e o Google explica como as lê na sua introdução ao robots.txt. A referência completa de robots.txt no SEO ProCheck vai linha por linha.
  • De quanto você precisa? O site inteiro, uma seção ou uma amostra de cada template. Uma amostra responde à maioria das perguntas sobre templates em minutos; um crawl completo é o que você precisa para links quebrados e páginas órfãs.

Como rastrear um site passo a passo

  1. Encontre a URL inicial certa. Peça http e https, com e sem www. Uma deve responder 200 e as outras devem redirecionar para ela. Comece por ela.
  2. Escolha um modo. O modo Spider segue os links a partir da URL inicial. O modo Lista rastreia só as URLs que você fornece, o que é útil para verificar um conjunto de URLs antigas depois de uma migração.
  3. Adicione os XML Sitemaps. Rastrear as URLs do sitemap depois das páginas linkadas mostra quais páginas o site lista mas nunca linka.
  4. Defina limites. Um limite de URLs, um limite de profundidade e regras para parâmetros de consulta impedem que os filtros tomem conta do crawl. O guia de SEO para navegação facetada do SEO ProCheck mostra quais URLs de filtro merecem ser rastreadas.
  5. Exclua o que você não precisa. Áreas de administração, URLs de carrinho e checkout, resultados de busca interna. Use padrões de inclusão e exclusão e teste uma URL com eles antes de começar.
  6. Escolha um user agent. O nome do seu próprio crawler é o padrão honesto. Rastrear como Googlebot mostra o que o Google recebe, mas alguns servidores tratam um Googlebot falso como ataque.
  7. Comece e acompanhe os primeiros minutos. Se a contagem de URLs novas sobe muito mais rápido que o tamanho do site, veja de onde elas vêm. Calendários e filtros sem fim são a causa de sempre.
  8. Deixe as verificações rodarem. Quando o crawl terminar, comece pelos problemas que afetam mais páginas indexáveis.
Novo crawl, Velocidade e renderização: a velocidade em URLs por segundo, reduzida quando o servidor fica lento, o user agent enviado em cada requisição e a renderização de JavaScript
Novo crawl, Velocidade e renderização: a velocidade em URLs por segundo, reduzida quando o servidor fica lento, o user agent enviado em cada requisição e a renderização de JavaScript

Como rastrear todas as URLs de um site

Seguir links só encontra as páginas que os links alcançam. Para rastrear todas as URLs de um site, combine várias fontes:

FontePáginas linkadasPáginas sem linkVem de
Crawl por links✓–A URL inicial
Sitemaps XML◐✓robots.txt ou /sitemap.xml
URLs semente◐✓A sua própria lista
Logs do servidor◐✓Servidor ou CDN
Search Console◐✓A sua propriedade no Google

Vimos o quanto isso importa no nosso próprio site. No crawl completo da Neova em seoprocheck.com, em 17 de outubro de 2026:

Medidaseoprocheck.com
URLs buscadas10.222
Tempo61 minutos
Páginas HTML respondendo 2004.561
URLs nos sitemaps XML1.835
Alcançadas por links, fora de qualquer sitemap2.727
Em um sitemap, sem nenhum link1
Completude99.98%
Corpo das páginas1,66 GB brutos, 340 MB armazenados

Uma auditoria só pelo sitemap teria perdido 2.727 URLs, e um crawl só por links teria perdido a única órfã. Páginas que só vêm de sitemaps, logs ou do Search Console são órfãs. Órfãs indexáveis que recebem tráfego de busca normalmente precisam de links internos. Verificações que vale conhecer aqui: URL órfã retorna 200 e é indexável, URL indexável não está em nenhum XML Sitemap e XML Sitemap não pode ser buscado ou interpretado.

Como rastrear um site sem ser bloqueado

A maioria dos bloqueios vem de rastrear rápido demais ou de parecer um bot em que o servidor não confia. Rastreie do jeito que o dono do site gostaria:

  • Mantenha a velocidade baixa. 2 ou 3 URLs por segundo bastam para a maioria das auditorias. Mais rápido só no seu próprio site.
  • Diga quem você é. Um user agent claro, com link para uma página sobre o crawler, é mais fácil de liberar do que uma string falsa de navegador.
  • Respeite o robots.txt. É o desejo declarado do site, e ignorá-lo no site de outra pessoa é o jeito mais rápido de ser bloqueado.
  • Peça para ser liberado. Em um site de cliente atrás de um firewall ou de proteção contra bots, peça à equipe de TI para liberar o seu crawler, por exemplo por um cabeçalho secreto que só o seu crawler envia.

Depois leia as respostas. Cada código de status diz uma coisa diferente:

AnswerSignificaFaça
429Requisições demaisReduza a velocidade pela metade, respeite o Retry-After
503Servidor ocupado ou fora do arDesacelere, tente de novo mais tarde
403RecusadoPare e pergunte
401Login necessárioPeça acesso
Sequência de 5xxServidor com dificuldadePause o crawl

A página do Google sobre códigos de status HTTP e erros de rede explica como o próprio Googlebot trata respostas 429 e 5xx.

Como rastrear sites em JavaScript

Se o site é feito com React, Vue, Angular ou um framework parecido, o HTML que o servidor envia pode estar quase vazio, com o conteúdo adicionado por scripts. Um crawl simples então encontra poucos links e pouco texto. Ative a renderização de JavaScript, que carrega cada página em um navegador headless, e compare a página renderizada com o HTML bruto. O que importa é o que falta antes da renderização: texto principal, links, títulos e canonicals que só aparecem depois que os scripts rodam. Renderizar é mais lento, então renderize primeiro uma amostra de cada template.

Rastreie o seu site com a Neova

Para rastrear o seu próprio site com a Neova, baixe o app, escolha Rastrear, Novo crawl, digite o endereço e clique em Iniciar crawl. A página Seu primeiro crawl mostra cada tela.

ConfiguraçãoPadrão
Roda em
User agentNeovaBot
Velocidade3 URLs por segundo
Com 429 ou 503Reduz a velocidade pela metade, respeita o Retry-After
robots.txtRespeitado
CAPTCHANunca resolvido
Plano gratuito1.000 URLs por crawl
  • Verificação da URL inicial escolhe a versão do site (http ou https, com ou sem www) que responde 200 e diz o que as outras fazem.
  • Modos e escopo: Spider ou Lista, Site inteiro, Pastas específicas ou Amostra por grupo de páginas, além de XML Sitemaps, URLs semente e regras de inclusão e exclusão.
  • O seu próprio site: depois que você confirma que o site é seu, a Neova pode ir mais rápido e ignorar o robots.txt. O Cabeçalho de lista de permissões cria um cabeçalho secreto enviado só para esse site, com a regra para entregar à equipe de TI.
  • Crawl bloqueado, explicado: quando um site recusa o crawl, a Neova diz o motivo (limite de requisições, bloqueio por firewall, acesso proibido) e o que fazer em seguida.
  • Descoberta e Detalhamento das URLs: durante o crawl, cada URL encontrada cai em um grupo e os formatos de armadilha de crawl são sinalizados, com Pular ou Excluir na hora.
  • Pausar, Parar e Retomar: pare quando quiser e rode as verificações no que foi rastreado, ou Retome mais tarde de onde parou.

Os donos de sites podem ler como o crawler se identifica, e como bloqueá-lo, na página do NeovaBot.

O que fazer com o crawl

Um crawl é uma foto do momento. O valor dele está no que você corrige. Ordene as descobertas pela quantidade de páginas indexáveis que afetam, corrija os problemas de template uma vez em vez de página por página e rastreie de novo para confirmar. Uma primeira passada curta que costuma compensar:

O checklist de auditoria de SEO técnico põe toda a revisão em ordem.

Perguntas

Como rastrear todas as URLs de um site?

Combine um crawl por links com os XML Sitemaps e depois acrescente URLs do Google Search Console e dos logs do servidor. Qualquer página que só essas fontes encontram, e que nenhum link interno alcança, é uma órfã que vale uma olhada.

Como rastrear um site sem ser bloqueado?

Rastreie devagar, use um user agent honesto, respeite o robots.txt e desacelere quando o servidor responder 429 ou 503. Em um site de cliente atrás de um firewall, peça à equipe de TI para liberar o seu crawler em vez de tentar contornar o bloqueio.

É legal rastrear um site?

Rastrear páginas públicas é prática comum, mas as regras variam por país e pelos termos do site. Rastreie à vontade os seus sites e os dos seus clientes, respeite o robots.txt em todo lugar e leia os termos do site em caso de dúvida. Isto não é aconselhamento jurídico.

Quanto tempo leva para rastrear um site?

Mais ou menos o número de URLs dividido pela velocidade. O nosso crawl completo de seoprocheck.com em 17 de outubro de 2026 buscou 10.222 URLs em 61 minutos, cerca de 2,8 URLs por segundo. A 3 URLs por segundo, 1.000 URLs levam uns 6 minutos e 100.000 umas 9 horas, sem contar a renderização. Uma amostra de cada template é bem mais rápida.

Posso rastrear o meu site de graça?

Sim. O plano Free da Neova rastreia até 1.000 URLs por crawl com todas as verificações, no Mac, Windows e Linux. Veja os preços dos planos maiores.

Leve isto com você

Os links dos assistentes abrem com uma pergunta sobre esta página já escrita.

Rastreie seu site com a NeovaO plano Free roda todas as verificações no Mac, Windows e Linux. Sem cartão de crédito.

Continue lendo