SEO Spider: cos'è, come funziona e come sceglierne uno
Un SEO spider è un programma che percorre un sito web link dopo link, come fa un motore di ricerca, e annota cosa risponde ogni URL. Ecco come funziona dietro le quinte, cosa testare prima di fidarti dei suoi numeri e quali provare.
Cos'è un SEO spider
Il web è una ragnatela, quindi i programmi che lo percorrono seguendo i link sono stati chiamati spider, cioè ragni. Sentirai anche crawler, bot e robot. Vogliono dire tutti la stessa cosa di base: un software che scarica una pagina, legge i suoi link e passa alle pagine a cui quei link puntano.
I più grandi li gestiscono i motori di ricerca. Googlebot è uno spider. Un SEO spider è la stessa idea puntata sul tuo sito, costruita per riportare ciò in cui un motore di ricerca inciamperebbe: link rotti, redirect, pagine bloccate, title mancanti, contenuti duplicati e pagine che nessun link raggiunge.
Molti conoscono il termine da Screaming Frog, il cui crawler desktop si chiama SEO Spider, e oggi l'espressione si usa per l'intera categoria. Qualunque sia il nome sulla confezione, un SEO spider è diverso da due strumenti con cui viene confuso:
- Uno scraper estrae dati specifici dalle pagine, come i prezzi. Uno spider mappa l'intero sito e come si collegano le sue pagine.
- Un tool per i backlink legge altri siti per trovare i link verso di te. Uno spider legge il tuo sito, dall'interno.
Come funziona un SEO spider, passo per passo
Dietro le quinte, ogni SEO spider ripete lo stesso ciclo finché non esaurisce gli URL o raggiunge un limite che hai impostato:
- Parte da una coda. La coda contiene l'URL di partenza, e spesso anche gli URL delle sitemap XML.
- Controlla le regole. Prima di scaricare un URL, lo spider controlla il robots.txt e le proprie impostazioni di perimetro: questo host, questa cartella, questi pattern. SEO ProCheck cura un riferimento completo sul robots.txt.
- Scarica e registra. Richiede l'URL e salva la risposta: codice di stato, header, tempo di risposta e corpo.
- Analizza la pagina. Dall'HTML legge title, meta robots, canonical, intestazioni e ogni link, con il suo anchor text.
- Ripulisce i link. I link relativi diventano URL completi, i frammenti vengono scartati, e ogni URL viene confrontato con quelli già visti così nulla viene scaricato due volte.
- Mette in coda le novità. I nuovi URL nel perimetro vanno in fondo alla coda. Percorrerla in ordine è ciò che dà a ogni pagina la sua profondità di crawl, il numero di clic dall'URL di partenza.
- Aspetta, poi ripete. Uno spider educato distanzia le richieste e rallenta quando il server fa resistenza.
Quando la coda è vuota inizia il vero lavoro: lo spider confronta ogni pagina con le altre e con le regole pubblicate dai motori di ricerca, e trasforma i dati in risultati. Alcuni spider prima renderizzano le pagine in un browser, per vedere link e contenuti che compaiono solo dopo l'esecuzione di JavaScript.
Cosa registra un SEO spider per ogni URL
I risultati valgono quanto i dati che li sostengono. Per ogni URL, un buon SEO spider conserva:
| Area | Cosa registra |
|---|---|
| Risposta | Codice di stato, destinazione del redirect, header, tempo di risposta, dimensione |
| Segnali di indicizzazione | Meta robots, X-Robots-Tag, canonical, se il robots.txt lo consente |
| Contenuti | Title, meta description, intestazioni, numero di parole |
| Link | Link in entrata e in uscita, anchor text, dove si trova ogni link nella pagina |
| Struttura | Profondità di crawl, cartella, il template usato dalla pagina |
| Scoperta | Come è stato trovato l'URL: un link, una sitemap XML, un redirect |
Da lì seguono i controlli. Alcuni esempi di come appaiono: URL interno che restituisce 4xx, 5xx o nessuna risposta, Un URL interno è in una catena di redirect, Un URL orfano restituisce 200 ed è indicizzabile e Un URL 4xx è elencato in una sitemap XML. La guida al crawler SEO tecnico passa in rassegna l'elenco completo delle aree che un audit dovrebbe coprire.
SEO spider da scaricare o SEO spider online
Si cercano entrambi, e sono due configurazioni diverse.
| Spider desktop | Spider online | |
|---|---|---|
| Funziona su | ||
| Dati conservati | Il tuo disco | I server del fornitore |
| Dimensione del crawl decisa da | Il tuo computer | Il tuo piano |
| Staging dietro una VPN | ✓ | ◐ Con una allowlist di IP |
| Scansiona a portatile chiuso | – | ✓ |
| Condividere un crawl | Un file o una sincronizzazione | Un link |
Nessuno dei due è migliore in assoluto. I consulenti che fanno audit su molti siti spesso preferiscono un'app desktop; i team che seguono pochi siti grandi 24 ore su 24 spesso preferiscono il cloud. Alcuni tool offrono entrambi.
Cosa testare prima di fidarti di un SEO spider
Come si comporta uno spider su un sito reale conta più del suo elenco di funzioni. Scansiona un sito che conosci bene e guarda questi punti:
- Il numero di URL ha senso? Confrontalo con le tue sitemap XML. Un numero molto più alto di solito indica parametri, filtri o una crawl trap, e il tool dovrebbe aiutarti a capire quale.
- Quanto è educato? Cerca un'impostazione della velocità in URL al secondo e un rallentamento automatico quando il server risponde 429 o 503.
- Come tratta il robots.txt? Dovrebbe rispettarlo di default, e permetterti di ignorarlo per un sito tuo, come lo staging.
- Può scansionare un elenco? La modalità elenco, per controllare un insieme di URL dopo una migrazione, fa risparmiare molto tempo.
- Renderizza JavaScript, e mostra la differenza? Vedere l'HTML grezzo e quello renderizzato affiancati ti dice se il rendering conta per il sito.
- Si può fermare e riprendere? I crawl grandi vengono interrotti. Riprendere da dove si era fermato è meglio che ricominciare.
- Puoi agire su un risultato? Apri una segnalazione e guarda se dice perché conta e come correggerla.
Ecco il test del numero di URL sul nostro sito. Neova ha scansionato seoprocheck.com il 17 ottobre 2026:
| seoprocheck.com, crawl completo | Valore |
|---|---|
| URL scaricati | 10.222 |
| Tempo | 61 minuti |
| Pagine HTML che rispondono 200 | 4.561 |
| URL nelle sitemap XML | 1.835 |
| Raggiunti tramite link, non in una sitemap | 2.727 |
| In una sitemap, non raggiunti da alcun link | 1 |
| Completezza | 99.98% |
| Body delle pagine, grezzo | 1,66 GB |
| Salvato su disco, compresso | 340 MB |
Il crawl ha trovato molti più URL di quelli elencati nelle sitemap. Gran parte della differenza sono pagine che si possono scansionare senza problemi ma mancano dalla sitemap, ed è ciò che riporta Un URL indicizzabile non è in alcuna sitemap XML. L'unico URL elencato che nessun link raggiungeva è un URL orfano in una sitemap XML. Su un sito grande, differenze come queste sono il punto in cui il crawl budget inizia a contare.
Tool SEO spider da conoscere
Ci sono buone opzioni per ogni tipo di lavoro. Ecco per cosa è noto ciascuno, dalle pagine di ogni azienda, lette l'11 e il 21 novembre 2026:
| Strumento | Funziona su | Per provarlo | Noto per |
|---|---|---|---|
| Screaming Frog SEO Spider | 500 URL gratis | Configurazione, estrazione, riga di comando | |
| Sitebulb | Prova di 14 giorni | Oltre 300 Hints con priorità | |
| Lumar | Una proposta | Crawl grandi e piccoli insieme | |
| JetOctopus | Prova di 7 giorni | Crawl e utenti illimitati | |
| Semrush Site Audit | Con la suite | Parte di una suite SEO | |
| Ahrefs Site Audit | Con la suite | Parte di una suite SEO | |
| Neova | 1.000 URL gratis | 694 controlli, ognuno con una fonte |
Il crawler desktop di Screaming Frog ha dato il nome alla categoria, e la sua versione gratuita non richiede registrazione. La pagina di confronto li mette a confronto funzione per funzione con una fonte per ogni voce. Se usi già Screaming Frog e vuoi vedere come un altro crawler si affianca, la guida all'alternativa a Screaming Frog se ne occupa, e la guida al crawler SEO gratis confronta i piani gratuiti.
Il crawl Spider di Neova
Neova è un crawler SEO desktop per Mac (Apple silicon), Windows e Linux, più Neova Online nel browser, di Neova LLC. La sua modalità che segue i link si chiama letteralmente Spider: Nuovo crawl, Modalità di crawl, Spider. Segue i link interni dall'URL di partenza, poi le sitemap XML, ed esegue 694 controlli su ciò che ha scaricato, ognuno con la sua fonte.
- Controllo dell'URL di partenza: prima di scansionare, sceglie la versione della home page che risponde 200 e dice cosa fanno le altre versioni.
- Educato di default: 3 URL al secondo, dimezza la velocità quando il server rallenta o risponde 429 o 503, e rispetta Retry-After. Fino a 50 al secondo su un sito che confermi essere tuo.
- Ogni URL spiegato: la Ripartizione degli URL mette ogni URL in un gruppo (pagine pulite, varianti con parametri, URL malformati, crawl trap, immagini e così via), e Scoperta propone di escludere una trap mentre il crawl è in corso.
- Anche in modalità elenco: Crawl da elenco scarica solo gli URL che incolli o carichi.
- Crawl grandi su disco: il crawl sta su disco, non in memoria, e Riprendi continua un crawl fermato con le sue impostazioni ripristinate.
- Rendering quando serve: rendering JavaScript in Chrome, confrontato con l'HTML grezzo.
- I tuoi vecchi crawl vengono con te: Importa un crawl apre un export Internal di Screaming Frog o un export degli URL di Sitebulb ed esegue i controlli su di esso.

Il piano Free scansiona fino a 1.000 URL per crawl con ogni controllo, e Desktop si può provare gratis per 14 giorni senza carta. Vedi le funzionalità e i prezzi.
Il tuo primo crawl con lo spider
- Scarica Neova per il tuo computer e aprilo.
- Scegli Crawl, poi Nuovo crawl, scrivi l'indirizzo del sito e fai clic su Avvia crawl.
- Guarda i primi minuti. Se Scoperta mostra un calendario o un filtro che moltiplica gli URL, escludilo e lascia proseguire il crawl.
- Quando i controlli finiscono, parti dalla Panoramica, poi Tutte le segnalazioni, prima Da correggere. Le prime scoperte più comuni: title duplicati e meta description oltre i 155 caratteri. Il nostro crawl di seoprocheck.com ne aveva 56 e 582.
La pagina di aiuto Il tuo primo crawl mostra ogni schermata, e la guida come scansionare un sito web approfondisce perimetro ed esclusioni.
Domande
Cos'è un SEO spider?
Un programma che scansiona un sito web come fa un motore di ricerca: scarica una pagina, segue i suoi link e registra cosa risponde ogni URL. Un SEO spider poi analizza quei dati alla ricerca di problemi che ostacolano scansione e indicizzazione.
Esiste un SEO spider gratis?
Sì. Il SEO Spider di Screaming Frog ha una versione gratuita fino a 500 URL per crawl, e Neova ha un piano Free fino a 1.000 URL per crawl con tutti i 694 controlli. La guida al crawler SEO gratis confronta le opzioni.
Esiste un SEO spider online?
Sì. Crawler cloud come Lumar e JetOctopus, Sitebulb Cloud e i site audit di Semrush e Ahrefs girano nel browser. Neova gira sul tuo computer e nel browser come Neova Online, con lo stesso account.
Un SEO spider rallenta il mio sito?
Non a una velocità educata. Pochi URL al secondo sono un carico leggero per la maggior parte dei server, e i buoni spider rallentano da soli quando un server risponde 429 o 503. Scansiona più veloce solo su un sito tuo, o con il consenso del proprietario.
Posso scaricare un SEO spider per Mac?
Sì. Neova gira in modo nativo sui Mac con Apple silicon, e su Windows e Linux. Scarica Neova e inizia con il piano Free.