NeovaPiattaforma SEO avanzata

SEO Spider: cos'è, come funziona e come sceglierne uno

Un SEO spider è un programma che percorre un sito web link dopo link, come fa un motore di ricerca, e annota cosa risponde ogni URL. Ecco come funziona dietro le quinte, cosa testare prima di fidarti dei suoi numeri e quali provare.

Scegliere un crawlerseo spiderAggiornato il 21 novembre 2026A cura del team di Neova

Cos'è un SEO spider

Il web è una ragnatela, quindi i programmi che lo percorrono seguendo i link sono stati chiamati spider, cioè ragni. Sentirai anche crawler, bot e robot. Vogliono dire tutti la stessa cosa di base: un software che scarica una pagina, legge i suoi link e passa alle pagine a cui quei link puntano.

I più grandi li gestiscono i motori di ricerca. Googlebot è uno spider. Un SEO spider è la stessa idea puntata sul tuo sito, costruita per riportare ciò in cui un motore di ricerca inciamperebbe: link rotti, redirect, pagine bloccate, title mancanti, contenuti duplicati e pagine che nessun link raggiunge.

Molti conoscono il termine da Screaming Frog, il cui crawler desktop si chiama SEO Spider, e oggi l'espressione si usa per l'intera categoria. Qualunque sia il nome sulla confezione, un SEO spider è diverso da due strumenti con cui viene confuso:

  • Uno scraper estrae dati specifici dalle pagine, come i prezzi. Uno spider mappa l'intero sito e come si collegano le sue pagine.
  • Un tool per i backlink legge altri siti per trovare i link verso di te. Uno spider legge il tuo sito, dall'interno.

Come funziona un SEO spider, passo per passo

Dietro le quinte, ogni SEO spider ripete lo stesso ciclo finché non esaurisce gli URL o raggiunge un limite che hai impostato:

  1. Parte da una coda. La coda contiene l'URL di partenza, e spesso anche gli URL delle sitemap XML.
  2. Controlla le regole. Prima di scaricare un URL, lo spider controlla il robots.txt e le proprie impostazioni di perimetro: questo host, questa cartella, questi pattern. SEO ProCheck cura un riferimento completo sul robots.txt.
  3. Scarica e registra. Richiede l'URL e salva la risposta: codice di stato, header, tempo di risposta e corpo.
  4. Analizza la pagina. Dall'HTML legge title, meta robots, canonical, intestazioni e ogni link, con il suo anchor text.
  5. Ripulisce i link. I link relativi diventano URL completi, i frammenti vengono scartati, e ogni URL viene confrontato con quelli già visti così nulla viene scaricato due volte.
  6. Mette in coda le novità. I nuovi URL nel perimetro vanno in fondo alla coda. Percorrerla in ordine è ciò che dà a ogni pagina la sua profondità di crawl, il numero di clic dall'URL di partenza.
  7. Aspetta, poi ripete. Uno spider educato distanzia le richieste e rallenta quando il server fa resistenza.

Quando la coda è vuota inizia il vero lavoro: lo spider confronta ogni pagina con le altre e con le regole pubblicate dai motori di ricerca, e trasforma i dati in risultati. Alcuni spider prima renderizzano le pagine in un browser, per vedere link e contenuti che compaiono solo dopo l'esecuzione di JavaScript.

Cosa registra un SEO spider per ogni URL

I risultati valgono quanto i dati che li sostengono. Per ogni URL, un buon SEO spider conserva:

AreaCosa registra
RispostaCodice di stato, destinazione del redirect, header, tempo di risposta, dimensione
Segnali di indicizzazioneMeta robots, X-Robots-Tag, canonical, se il robots.txt lo consente
ContenutiTitle, meta description, intestazioni, numero di parole
LinkLink in entrata e in uscita, anchor text, dove si trova ogni link nella pagina
StrutturaProfondità di crawl, cartella, il template usato dalla pagina
ScopertaCome è stato trovato l'URL: un link, una sitemap XML, un redirect

Da lì seguono i controlli. Alcuni esempi di come appaiono: URL interno che restituisce 4xx, 5xx o nessuna risposta, Un URL interno è in una catena di redirect, Un URL orfano restituisce 200 ed è indicizzabile e Un URL 4xx è elencato in una sitemap XML. La guida al crawler SEO tecnico passa in rassegna l'elenco completo delle aree che un audit dovrebbe coprire.

SEO spider da scaricare o SEO spider online

Si cercano entrambi, e sono due configurazioni diverse.

Spider desktopSpider online
Funziona su
Dati conservatiIl tuo discoI server del fornitore
Dimensione del crawl decisa daIl tuo computerIl tuo piano
Staging dietro una VPN✓◐ Con una allowlist di IP
Scansiona a portatile chiuso–✓
Condividere un crawlUn file o una sincronizzazioneUn link

Nessuno dei due è migliore in assoluto. I consulenti che fanno audit su molti siti spesso preferiscono un'app desktop; i team che seguono pochi siti grandi 24 ore su 24 spesso preferiscono il cloud. Alcuni tool offrono entrambi.

Cosa testare prima di fidarti di un SEO spider

Come si comporta uno spider su un sito reale conta più del suo elenco di funzioni. Scansiona un sito che conosci bene e guarda questi punti:

  • Il numero di URL ha senso? Confrontalo con le tue sitemap XML. Un numero molto più alto di solito indica parametri, filtri o una crawl trap, e il tool dovrebbe aiutarti a capire quale.
  • Quanto è educato? Cerca un'impostazione della velocità in URL al secondo e un rallentamento automatico quando il server risponde 429 o 503.
  • Come tratta il robots.txt? Dovrebbe rispettarlo di default, e permetterti di ignorarlo per un sito tuo, come lo staging.
  • Può scansionare un elenco? La modalità elenco, per controllare un insieme di URL dopo una migrazione, fa risparmiare molto tempo.
  • Renderizza JavaScript, e mostra la differenza? Vedere l'HTML grezzo e quello renderizzato affiancati ti dice se il rendering conta per il sito.
  • Si può fermare e riprendere? I crawl grandi vengono interrotti. Riprendere da dove si era fermato è meglio che ricominciare.
  • Puoi agire su un risultato? Apri una segnalazione e guarda se dice perché conta e come correggerla.

Ecco il test del numero di URL sul nostro sito. Neova ha scansionato seoprocheck.com il 17 ottobre 2026:

seoprocheck.com, crawl completoValore
URL scaricati10.222
Tempo61 minuti
Pagine HTML che rispondono 2004.561
URL nelle sitemap XML1.835
Raggiunti tramite link, non in una sitemap2.727
In una sitemap, non raggiunti da alcun link1
Completezza99.98%
Body delle pagine, grezzo1,66 GB
Salvato su disco, compresso340 MB

Il crawl ha trovato molti più URL di quelli elencati nelle sitemap. Gran parte della differenza sono pagine che si possono scansionare senza problemi ma mancano dalla sitemap, ed è ciò che riporta Un URL indicizzabile non è in alcuna sitemap XML. L'unico URL elencato che nessun link raggiungeva è un URL orfano in una sitemap XML. Su un sito grande, differenze come queste sono il punto in cui il crawl budget inizia a contare.

Tool SEO spider da conoscere

Ci sono buone opzioni per ogni tipo di lavoro. Ecco per cosa è noto ciascuno, dalle pagine di ogni azienda, lette l'11 e il 21 novembre 2026:

StrumentoFunziona suPer provarloNoto per
Screaming Frog SEO Spider500 URL gratisConfigurazione, estrazione, riga di comando
SitebulbProva di 14 giorniOltre 300 Hints con priorità
LumarUna propostaCrawl grandi e piccoli insieme
JetOctopusProva di 7 giorniCrawl e utenti illimitati
Semrush Site AuditCon la suiteParte di una suite SEO
Ahrefs Site AuditCon la suiteParte di una suite SEO
Neova1.000 URL gratis694 controlli, ognuno con una fonte

Il crawler desktop di Screaming Frog ha dato il nome alla categoria, e la sua versione gratuita non richiede registrazione. La pagina di confronto li mette a confronto funzione per funzione con una fonte per ogni voce. Se usi già Screaming Frog e vuoi vedere come un altro crawler si affianca, la guida all'alternativa a Screaming Frog se ne occupa, e la guida al crawler SEO gratis confronta i piani gratuiti.

Il crawl Spider di Neova

Neova è un crawler SEO desktop per Mac (Apple silicon), Windows e Linux, più Neova Online nel browser, di Neova LLC. La sua modalità che segue i link si chiama letteralmente Spider: Nuovo crawl, Modalità di crawl, Spider. Segue i link interni dall'URL di partenza, poi le sitemap XML, ed esegue 694 controlli su ciò che ha scaricato, ognuno con la sua fonte.

  • Controllo dell'URL di partenza: prima di scansionare, sceglie la versione della home page che risponde 200 e dice cosa fanno le altre versioni.
  • Educato di default: 3 URL al secondo, dimezza la velocità quando il server rallenta o risponde 429 o 503, e rispetta Retry-After. Fino a 50 al secondo su un sito che confermi essere tuo.
  • Ogni URL spiegato: la Ripartizione degli URL mette ogni URL in un gruppo (pagine pulite, varianti con parametri, URL malformati, crawl trap, immagini e così via), e Scoperta propone di escludere una trap mentre il crawl è in corso.
  • Anche in modalità elenco: Crawl da elenco scarica solo gli URL che incolli o carichi.
  • Crawl grandi su disco: il crawl sta su disco, non in memoria, e Riprendi continua un crawl fermato con le sue impostazioni ripristinate.
  • Rendering quando serve: rendering JavaScript in Chrome, confrontato con l'HTML grezzo.
  • I tuoi vecchi crawl vengono con te: Importa un crawl apre un export Internal di Screaming Frog o un export degli URL di Sitebulb ed esegue i controlli su di esso.
Un crawl di Neova in corso: 257 di 612 URL a 2 al secondo, con la Ripartizione degli URL, Scoperta e una mappa del crawl dal vivo ad anelli per clic dall'URL di partenza
Un crawl di Neova in corso: 257 di 612 URL a 2 al secondo, con la Ripartizione degli URL, Scoperta e una mappa del crawl dal vivo ad anelli per clic dall'URL di partenza

Il piano Free scansiona fino a 1.000 URL per crawl con ogni controllo, e Desktop si può provare gratis per 14 giorni senza carta. Vedi le funzionalità e i prezzi.

Il tuo primo crawl con lo spider

  1. Scarica Neova per il tuo computer e aprilo.
  2. Scegli Crawl, poi Nuovo crawl, scrivi l'indirizzo del sito e fai clic su Avvia crawl.
  3. Guarda i primi minuti. Se Scoperta mostra un calendario o un filtro che moltiplica gli URL, escludilo e lascia proseguire il crawl.
  4. Quando i controlli finiscono, parti dalla Panoramica, poi Tutte le segnalazioni, prima Da correggere. Le prime scoperte più comuni: title duplicati e meta description oltre i 155 caratteri. Il nostro crawl di seoprocheck.com ne aveva 56 e 582.

La pagina di aiuto Il tuo primo crawl mostra ogni schermata, e la guida come scansionare un sito web approfondisce perimetro ed esclusioni.

Domande

Cos'è un SEO spider?

Un programma che scansiona un sito web come fa un motore di ricerca: scarica una pagina, segue i suoi link e registra cosa risponde ogni URL. Un SEO spider poi analizza quei dati alla ricerca di problemi che ostacolano scansione e indicizzazione.

Esiste un SEO spider gratis?

Sì. Il SEO Spider di Screaming Frog ha una versione gratuita fino a 500 URL per crawl, e Neova ha un piano Free fino a 1.000 URL per crawl con tutti i 694 controlli. La guida al crawler SEO gratis confronta le opzioni.

Esiste un SEO spider online?

Sì. Crawler cloud come Lumar e JetOctopus, Sitebulb Cloud e i site audit di Semrush e Ahrefs girano nel browser. Neova gira sul tuo computer e nel browser come Neova Online, con lo stesso account.

Un SEO spider rallenta il mio sito?

Non a una velocità educata. Pochi URL al secondo sono un carico leggero per la maggior parte dei server, e i buoni spider rallentano da soli quando un server risponde 429 o 503. Scansiona più veloce solo su un sito tuo, o con il consenso del proprietario.

Posso scaricare un SEO spider per Mac?

Sì. Neova gira in modo nativo sui Mac con Apple silicon, e su Windows e Linux. Scarica Neova e inizia con il piano Free.

Porta questa guida con te

I link agli assistenti si aprono con una domanda su questa pagina già scritta.

Scansiona il tuo sito con NeovaIl piano Free esegue ogni controllo su Mac, Windows e Linux. Nessuna carta di credito richiesta.

Continua a leggere