SEO Spider: o que é, como funciona e como escolher um
Um SEO spider é um programa que percorre um site link a link, do jeito que um buscador faz, e anota o que cada URL responde. Veja como ele funciona por dentro, o que testar antes de confiar nos números dele e quais experimentar.
O que é um SEO Spider
A web é uma teia, então os programas que se movem por ela seguindo links ganharam o nome de spiders (aranhas). Você também vai ouvir crawler, bot e robô. Todos querem dizer a mesma coisa básica: um software que busca uma página, lê os links dela e segue para as páginas para onde esses links apontam.
Os buscadores rodam os maiores. O Googlebot é um spider. Um SEO spider é a mesma ideia voltada para o seu próprio site, feito para relatar onde um buscador tropeçaria: links quebrados, redirecionamentos, páginas bloqueadas, titles ausentes, conteúdo duplicado e páginas que nada linka.
Muita gente conhece o termo pelo Screaming Frog, cujo crawler desktop se chama SEO Spider, e a expressão hoje é usada para a categoria inteira. Qualquer que seja o nome na caixa, um SEO spider é diferente de duas ferramentas com que costuma ser confundido:
- Um scraper extrai dados específicos das páginas, como preços. Um spider mapeia o site inteiro e como as páginas se conectam.
- Uma ferramenta de backlinks lê outros sites para achar links para você. Um spider lê o seu site, por dentro.
Como um SEO Spider funciona, passo a passo
Por dentro, todo SEO spider roda o mesmo ciclo até acabarem as URLs ou bater num limite que você definiu:
- Comece com uma fila. A fila guarda a URL inicial e, muitas vezes, também as URLs dos sitemaps XML.
- Confira as regras. Antes de buscar uma URL, o spider verifica o robots.txt e os próprios ajustes de escopo: este host, esta pasta, estes padrões. O SEO ProCheck mantém uma referência completa de robots.txt.
- Busque e registre. Ele requisita a URL e guarda a resposta: código de status, cabeçalhos, tempo de resposta e o corpo.
- Analise a página. Do HTML ele lê o title, a meta robots, a canonical, os headings e todos os links, com o texto âncora.
- Limpe os links. Links relativos viram URLs completas, fragmentos são descartados e cada URL é comparada com as já vistas, para que nada seja buscado duas vezes.
- Coloque o que é novo na fila. URLs novas dentro do escopo vão para o fim da fila. Percorrê-la em ordem é o que dá a cada página sua profundidade de crawl, o número de cliques a partir da URL inicial.
- Espere e repita. Um spider educado espaça as requisições e desacelera quando o servidor reage.
Quando a fila esvazia, começa o trabalho de verdade: o spider compara cada página com as outras e com as regras que os buscadores publicam, e transforma os dados em achados. Alguns spiders também renderizam as páginas num navegador antes, para ver links e conteúdo que só aparecem depois que o JavaScript roda.
O que um SEO Spider registra para cada URL
Os achados só são tão bons quanto os dados por trás deles. Para cada URL, um bom SEO spider guarda:
| Área | O que registra |
|---|---|
| Resposta | Código de status, destino do redirecionamento, cabeçalhos, tempo de resposta, tamanho |
| Sinais de indexação | Meta robots, X-Robots-Tag, canonical, se o robots.txt permite |
| Conteúdo | Title, meta description, headings, contagem de palavras |
| Links | Inlinks e outlinks, texto âncora, onde cada link fica na página |
| Estrutura | Profundidade de crawl, pasta, o template que a página usa |
| Descoberta | Como a URL foi encontrada: um link, um sitemap XML, um redirecionamento |
A partir disso vêm as verificações. Alguns exemplos de como elas são: URL interna retorna 4xx, 5xx ou nenhuma resposta, URL interna em uma cadeia de redirecionamentos, URL órfã retorna 200 e é indexável e URL 4xx listada em um sitemap XML. O guia de crawler de SEO técnico percorre a lista completa de áreas que uma auditoria deve cobrir.
SEO Spider para download ou SEO Spider online
As pessoas buscam os dois, e são duas configurações diferentes.
| Spider desktop | Spider online | |
|---|---|---|
| Roda em | ||
| Dados guardados | Seu disco | Os servidores do fornecedor |
| Tamanho do crawl definido por | Seu computador | Seu plano |
| Staging atrás de uma VPN | ✓ | ◐ Com uma lista de IPs liberados |
| Rastreia com o notebook fechado | – | ✓ |
| Compartilhar um crawl | Um arquivo ou uma sincronização | Um link |
Nenhum é melhor em geral. Consultores que auditam muitos sites costumam gostar de um app desktop; equipes que acompanham poucos sites grandes 24 horas costumam preferir a nuvem. Algumas ferramentas oferecem os dois.
O que testar antes de confiar num SEO Spider
Como um spider se comporta num site real importa mais do que a lista de recursos. Rastreie um site que você conhece bem e olhe isto:
- A contagem de URLs faz sentido? Compare com os seus sitemaps XML. Um número muito maior geralmente significa parâmetros, filtros ou uma armadilha de crawl, e a ferramenta deve ajudar você a ver qual.
- Quão educado ele é? Procure um ajuste de velocidade em URLs por segundo e uma desaceleração automática quando o servidor responde 429 ou 503.
- Como ele trata o robots.txt? Ele deve respeitá-lo por padrão e deixar você ignorá-lo num site que é seu, como um staging.
- Ele rastreia uma lista? O modo lista, para verificar um conjunto de URLs depois de uma migração, economiza muito tempo.
- Ele renderiza JavaScript e mostra a diferença? Ver o HTML bruto e o renderizado lado a lado é o que diz se a renderização importa para o site.
- Ele para e retoma? Crawls grandes são interrompidos. Continuar de onde parou é melhor do que recomeçar.
- Dá para agir sobre um achado? Abra uma sinalização e veja se ela diz por que importa e como corrigir.
Este é o teste da contagem de URLs no nosso próprio site. A Neova rastreou seoprocheck.com em 17 de outubro de 2026:
| seoprocheck.com, crawl completo | Quantidade |
|---|---|
| URLs buscadas | 10.222 |
| Tempo | 61 minutos |
| Páginas HTML respondendo 200 | 4.561 |
| URLs nos sitemaps XML | 1.835 |
| Encontradas por links, fora de qualquer sitemap | 2.727 |
| Em um sitemap, sem nenhum link | 1 |
| Completude | 99.98% |
| Corpo das páginas, bruto | 1,66 GB |
| Guardado em disco, comprimido | 340 MB |
O crawl encontrou muito mais URLs do que os sitemaps listam. A maior parte da diferença são páginas que podem ser rastreadas sem problema, mas faltam no sitemap, que é o que URL indexável fora de qualquer sitemap XML relata. A única URL listada que nenhum link alcançava é uma URL órfã num sitemap XML. Num site grande, diferenças assim são onde o crawl budget começa a importar.
Ferramentas de SEO Spider que vale conhecer
Há boas opções para todo tipo de trabalho. Veja pelo que cada uma é conhecida, segundo as próprias páginas de cada empresa, lidas em 11 e 21 de novembro de 2026:
| Ferramenta | Roda em | Para testar | Conhecido por |
|---|---|---|---|
| Screaming Frog SEO Spider | 500 URLs grátis | Configuração, extração, linha de comando | |
| Sitebulb | Teste de 14 dias | Mais de 300 Hints priorizados | |
| Lumar | Uma proposta | Crawls grandes e pequenos ao mesmo tempo | |
| JetOctopus | Teste de 7 dias | Crawls e licenças ilimitados | |
| Semrush Site Audit | Com a suíte | Parte de uma suíte de SEO | |
| Ahrefs Site Audit | Com a suíte | Parte de uma suíte de SEO | |
| Neova | 1.000 URLs grátis | 694 verificações, cada uma com fonte |
O crawler desktop do Screaming Frog deu nome à categoria, e a versão grátis dele não exige cadastro. A página de comparação coloca todos lado a lado, recurso por recurso, com uma fonte para cada marcação. Se você já usa o Screaming Frog e quer ver como outro crawler se encaixa ao lado dele, o guia de alternativa ao Screaming Frog trata disso, e o guia de crawler de SEO grátis compara os planos gratuitos.
O crawl Spider da Neova
A Neova é um crawler de SEO desktop para Mac (Apple silicon), Windows e Linux, mais a Neova Online no navegador, da Neova LLC. O modo que segue links se chama literalmente Spider: Novo crawl, Modo de crawl, Spider. Ele segue os links internos a partir da URL inicial, depois os sitemaps XML, e roda 694 verificações sobre o que buscou, cada uma com sua fonte.
- Verificação da URL inicial: antes de rastrear, ela escolhe a versão da página inicial que responde 200 e diz o que as outras versões fazem.
- Educada por padrão: 3 URLs por segundo, reduzindo a velocidade pela metade quando o servidor fica lento ou responde 429 ou 503, e respeitando o Retry-After. Até 50 por segundo num site que você confirma ser seu.
- Cada URL explicada: o Detalhamento das URLs coloca cada URL numa categoria (páginas limpas, variantes com parâmetros, URLs malformadas, armadilhas de crawl, imagens e assim por diante), e a Descoberta oferece excluir uma armadilha enquanto o crawl roda.
- Modo lista também: o Crawl de lista busca só as URLs que você cola ou envia.
- Crawls grandes em disco: o crawl fica no disco, não na memória, e Retomar continua um crawl parado com os ajustes restaurados.
- Renderização quando você precisa: renderização de JavaScript no Chrome, comparada com o HTML bruto.
- Seus crawls antigos vêm junto: Importar um crawl abre uma exportação Internal do Screaming Frog ou uma exportação de URLs do Sitebulb e roda as verificações nela.

O plano Free rastreia até 1.000 URLs por crawl com todas as verificações, e o Desktop pode ser testado grátis por 14 dias sem cartão. Veja os recursos e os preços.
Seu primeiro crawl Spider
- Baixe a Neova para o seu computador e abra.
- Escolha Rastrear, depois Novo crawl, digite o endereço do site e clique em Iniciar crawl.
- Acompanhe os primeiros minutos. Se a Descoberta mostrar um calendário ou um filtro multiplicando URLs, exclua-o e deixe o crawl seguir.
- Quando as verificações terminarem, comece pela Visão geral, depois Todas as sinalizações, Corrigir primeiro. Achados comuns de cara: titles duplicados e meta descriptions com mais de 155 caracteres. Nosso próprio crawl de seoprocheck.com teve 56 e 582.
A página de ajuda Seu primeiro crawl mostra cada tela, e o guia de como rastrear um site trata de escopo e exclusões com mais profundidade.
Perguntas
O que é um SEO spider?
Um programa que rastreia um site do jeito que um buscador faz: busca uma página, segue os links dela e registra o que cada URL responde. Depois, um SEO spider verifica esses dados em busca de problemas que atrapalham o rastreamento e a indexação.
Existe um SEO spider grátis?
Sim. O SEO Spider do Screaming Frog tem uma versão grátis para até 500 URLs por crawl, e a Neova tem um plano Free para até 1.000 URLs por crawl com todas as 694 verificações. O guia de crawler de SEO grátis compara as opções.
Existe um SEO spider online?
Sim. Crawlers na nuvem como Lumar e JetOctopus, o Sitebulb Cloud e as auditorias de site do Semrush e do Ahrefs rodam no navegador. A Neova roda no seu computador e no navegador como Neova Online, na mesma conta.
Um SEO spider vai deixar meu site lento?
Não numa velocidade educada. Algumas URLs por segundo são trabalho leve para a maioria dos servidores, e bons spiders desaceleram sozinhos quando um servidor responde 429 ou 503. Rastreie mais rápido só num site seu ou com o aval do dono.
Posso baixar um SEO spider para Mac?
Sim. A Neova roda nativamente em Macs com Apple silicon, e também no Windows e no Linux. Baixe a Neova e comece no plano Free.