NeovaPlataforma avançada de SEO

Crawler de SEO técnico: o que faz e como escolher um

Um crawler de SEO técnico lê um site do jeito que um buscador faz e diz o que atrapalha. Veja o que ele deve verificar, os números por trás de cada verificação, o que um crawl completo do nosso próprio site encontrou e como escolher uma ferramenta.

Como escolher um crawlercrawler de seo técnicoAtualizado em 21 de novembro de 2026Pela equipe da Neova

O que um crawler de SEO técnico faz

Um crawler de SEO técnico começa numa URL, busca essa URL, lê os links e os segue, o mesmo ciclo que o Googlebot roda. Para cada URL ele registra o código de status, os cabeçalhos, o HTML, a canonical, as diretivas de robots e os links de entrada e de saída.

O crawl é metade do trabalho. A outra metade é comparar as páginas entre si e com as regras que os buscadores publicam. Um link quebrado é fácil de ver. Uma canonical que aponta para um redirecionamento em 3.000 páginas de produto não é, e é aí que um crawler mostra o seu valor.

A maioria dos crawlers também lê os sitemaps XML e o robots.txt, então mostra quais páginas o site diz que importam, quais ele bloqueia e onde essas duas histórias não batem.

O que uma ferramenta de auditoria de SEO técnico deve verificar

Todo crawler sério de auditoria de site cobre as mesmas áreas centrais. Aqui estão elas, com a meta a buscar e a verificação da Neova que sinaliza quando falha.

ÁreaMetaVerificação da Neova
Códigos de status0 links internos para 4xx ou 5xxURL interna retorna 4xx, 5xx ou nenhuma resposta
Redirecionamentos1 salto, sem cadeiasURL interna está em uma cadeia de redirecionamentos
CanonicalsApontar para uma URL que responde 200Canonical aponta para uma URL que redireciona
Tamanho do sitemap XML50.000 URLs, 50 MB por arquivoSitemap XML com mais de 50.000 entradas
Cobertura do sitemap XMLTodas as páginas indexáveis listadasURL indexável não está em nenhum XML Sitemap
robots.txt500 KiB lidos pelo Googlerobots.txt inacessível ou grande demais
Profundidade do crawl3 cliques ou menosURL indexável está na profundidade de crawl 4 ou mais
Titles60 caracteres (padrão comum)Title com mais de 60 caracteres
Meta descriptions155 caracteres (padrão comum)Meta description com mais de 155 caracteres
hreflangLink de retorno em cada destinoLink de retorno do hreflang ausente

Os limites rígidos vêm das fontes: 50.000 URLs e 50 MB por arquivo do protocolo sitemaps.org, 500 KiB da especificação do robots.txt do Google, links de retorno do guia de hreflang do Google. Os tamanhos de title e description são padrões de exibição, não regras: o Google corta pela largura em pixels, então trate-os como Revisar, não Corrigir.

Para percorrer cada área com mais detalhes, consulte o checklist de auditoria de SEO técnico no SEO ProCheck.

O que um crawl completo do nosso próprio site encontrou

Rastreamos o nosso próprio site, seoprocheck.com, com a Neova em 17 de outubro de 2026, um crawl completo com os sitemaps XML. Estes são os números.

Medidaseoprocheck.com, 17 de out. de 2026
URLs buscadas10.222
Tempo61 minutos
Páginas HTML respondendo 2004.561
URLs nos sitemaps XML1.835
Alcançadas por links, fora de qualquer sitemap2.727
Em um sitemap, sem nenhum link1
Completude99.98%
Corpo das páginas1,66 GB brutos, 340 MB armazenados
SinalizaçãoURLs
Meta description com mais de 155 caracteres582
Title com mais de 60 caracteres557
Title duplicado entre páginas HTML56
Canonical para outra URL interna5
Imagem sem alt text2

Duas lições. Primeiro, os sitemaps contavam metade da história: 2.727 URLs eram alcançáveis por links, mas não estavam listadas em lugar nenhum, algo que só um crawl que segue links e lê os sitemaps consegue mostrar. Segundo, as maiores contagens eram sinalizações de tamanho, que são questão de julgamento. As 5 canonicals e os 2 textos alt ausentes são menos, mas se resolvem mais rápido. Ordene pelo que uma sinalização afeta, não pelo tamanho do número dela.

Como rodar um crawl de SEO técnico

  1. Escolha a URL inicial. Use a versão da home que responde 200. Se o http ou o outro host também responder 200, esse é o seu primeiro achado.
  2. Defina o escopo. O site inteiro, algumas pastas ou uma amostra de cada template. Num site grande, uma amostra por template encontra o padrão mais rápido.
  3. Ative os sitemaps XML. Rastreá-los depois dos links mostra páginas que os sitemaps listam, mas que nenhum link alcança.
  4. Decida sobre a renderização de JavaScript. Num site com framework, renderize uma amostra e compare com o HTML bruto.
  5. Defina uma velocidade educada. Algumas URLs por segundo bastam. Vá mais rápido só num site que é seu.
  6. Acompanhe os primeiros minutos. Se a contagem de URLs sobe muito mais rápido que o esperado, você achou uma armadilha de crawl: um calendário, um filtro facetado ou um ID de sessão. Exclua e siga em frente.
  7. Leia o resumo primeiro. Comece pelos problemas que afetam mais páginas indexáveis.

É novo nisso? Seu primeiro crawl mostra o passo a passo na Neova.

Como ler os resultados sem se afogar

Uma auditoria completa de um site médio pode gerar milhares de sinalizações. A maioria vem de poucas causas, em geral um template.

  • Agrupe por template. Se 90% das páginas de produto compartilham uma sinalização, é uma correção, não 4.000 tickets.
  • Pese pelo tráfego. Uma página quebrada com cliques na busca importa mais do que uma que ninguém visita. Junte os dados do Google Search Console ao crawl.
  • Separe Corrigir de Revisar. Um 5xx numa página importante é para corrigir. Um title que passa do limite por poucos caracteres é questão de julgamento.
  • Confira a fonte. Quando um desenvolvedor perguntar por que uma regra existe, responda com um documento do Google ou do W3C. A referência de códigos de status HTTP do SEO ProCheck explica o que cada código de status significa.
  • Rastreie de novo depois da correção. Comparar dois crawls é a única prova de que a correção foi ao ar e não quebrou mais nada.
Todas as sinalizações na Neova: 12 verificações Corrigir e 30 Revisar num crawl de demonstração, cada uma com Sinalizado quando, O que isso costuma significar e O que você poderia fazer
Todas as sinalizações na Neova: 12 verificações Corrigir e 30 Revisar num crawl de demonstração, cada uma com Sinalizado quando, O que isso costuma significar e O que você poderia fazer

Como escolher o melhor crawler de SEO para você

Não existe um único melhor crawler de SEO. Um freelancer que audita sites pequenos precisa de algo diferente de uma equipe interna com um milhão de URLs. Estas perguntas resolvem a questão.

PerguntaProcureNeova
Onde ele roda?Seus computadores ou um navegador
Qual o tamanho máximo de um crawl?Limite de URLs, guardado em discoAté 5 milhões de URLs
Ele renderiza JavaScript?Bruto vs renderizado, lado a lado✓
As verificações são explicadas?Regra, significado, correção, fonte694 verificações
Ele compara crawls?URLs novas, corrigidas, alteradas✓
O que vem depois?Exportações, tickets, alertas✓
Dá para testar grátis?Um plano ou um teste1.000 URLs, todas as verificações

O número de 5 milhões é do plano Desktop e depende do seu computador. Nossa página de comparação coloca a Neova ao lado do Screaming Frog, do Sitebulb e de outros, linha a linha, segundo a documentação deles.

Como a Neova faz crawls de SEO técnico

A Neova é um crawler de SEO desktop para Mac (Apple silicon), Windows e Linux, com a Neova Online no navegador na mesma conta. Ela rastreia a partir de uma URL inicial, dos links dela e dos sitemaps XML, depois roda 694 verificações. Cada verificação diz quando sinaliza, o que isso costuma significar e o que você poderia fazer, e traz o link da fonte.

  • Escopo: um crawl completo, pastas, uma amostra por grupo de páginas ou uma lista de URLs.
  • Educada por padrão: 3 URLs por segundo, desacelerando sozinha quando o servidor responde 429 ou 503.
  • Toda URL contabilizada: cada URL encontrada cai numa categoria, e a Descoberta oferece excluir uma armadilha de crawl sem parar.
  • Renderização: renderização de JavaScript opcional no Chrome, comparada com o HTML bruto.
  • Depois do crawl: sinalizações Corrigir e Revisar, tickets por verificação e grupo de páginas, um Plano de ação, Comparar crawls e exportações de CSV até um PDF com sua marca.

A página de recursos traz a lista completa, e Comparar a coloca ao lado de outros crawlers.

Um checklist curto de crawl de SEO técnico

  • Uma única versão da home responde 200; as outras redirecionam para ela.
  • Nenhum link interno para URLs 4xx ou 5xx.
  • Nenhuma cadeia ou loop de redirecionamento entre URLs internas.
  • As canonicals apontam para URLs indexáveis que respondem 200.
  • Toda página indexável está num sitemap XML, e nada mais está.
  • Nenhuma página importante a mais de 3 cliques da home.
  • Nenhuma página responde 200 com uma mensagem de "não encontrado". Veja Title ou H1 traz uma frase de soft 404.
  • Titles, links e texto principal estão no HTML bruto.
  • O robots.txt bloqueia só o que deve bloquear.

Deixe aberto o guia de URLs canônicas do Google enquanto trabalha, e o FAQ de auditoria de SEO do SEO ProCheck para as perguntas que os clientes fazem.

Perguntas

O que é um crawler de SEO técnico?

Um programa que busca um site página por página, seguindo links do jeito que um buscador faz, e registra códigos de status, diretivas, canonicals e links. Depois ele confere esses dados com as regras dos buscadores e sinaliza o que atrapalha o rastreamento e a indexação.

Qual é o melhor crawler de SEO?

O que combina com os seus sites. Compare onde ele roda, qual o tamanho máximo de um crawl, se renderiza JavaScript, quão bem cada achado é explicado e se ele compara crawls. Teste no seu próprio site antes de decidir.

Um crawler de auditoria de site é a mesma coisa que o Google Search Console?

Não. O Search Console mostra o que o Google viu e fez. Um crawler mostra o que o seu site serve agora, em cada URL que ele consegue alcançar. Os dois funcionam melhor juntos, e é por isso que muitos crawlers juntam os dados do Search Console ao crawl.

Quanto tempo leva um crawl de SEO técnico?

Depende do tamanho e da velocidade que você define. Nosso próprio crawl completo de seoprocheck.com buscou 10.222 URLs em 61 minutos em 17 de outubro de 2026. Uma amostra por template leva minutos.

Com que frequência devo rodar um crawl de SEO técnico?

Depois de cada release importante, e semanalmente em sites que mudam com frequência. Compare cada crawl com o anterior para que as mudanças se destaquem.

Posso testar a Neova de graça?

Sim. O plano Free rastreia até 1.000 URLs por crawl com todas as verificações, e o plano Desktop tem um teste de 14 dias sem cartão. Veja os preços ou baixe a Neova.

Leve isto com você

Os links dos assistentes abrem com uma pergunta sobre esta página já escrita.

Rastreie seu site com a NeovaO plano Free roda todas as verificações no Mac, Windows e Linux. Sem cartão de crédito.

Continue lendo