NeovaPiattaforma SEO avanzata

Come fare il crawl di un sito per la SEO, passo dopo passo

Fare il crawl di un sito significa scaricarne le pagine come fa un motore di ricerca, seguendo i link da una pagina all'altra. Ecco come scansionare un sito nel modo giusto: con garbo, per intero e senza farsi bloccare.

Crawling e indicizzazionecome fare il crawl di un sitoAggiornato il 21 novembre 2026A cura del team di Neova

Cosa significa fare il crawl di un sito

Un crawler SEO parte da un URL, lo scarica, legge i link nell'HTML e li aggiunge a una coda. Poi prende il successivo URL dalla coda e fa lo stesso, finché non emerge più nulla di nuovo o raggiunge un limite. I motori di ricerca lo fanno su scala web. Un crawler SEO lo fa per un sito, e registra cosa ha risposto ogni URL così puoi analizzarlo.

Per ogni URL un crawl registra di solito il codice di stato, gli header della risposta, title e meta description, il canonical, le direttive robots, i link in entrata e in uscita, e a quanti clic si trova dalla pagina iniziale. Google descrive come funzionano i suoi crawler e fetcher nella sua panoramica dei crawler di Google.

Prima del crawl: permesso, robots.txt e perimetro

Tre domande a cui rispondere prima di premere avvio:

  • È il tuo sito, o hai il permesso? Scansionare il proprio sito o quello di un cliente è normale amministrazione. Per i siti altrui, resta discreto: rispetta robots.txt e tieni bassa la velocità.
  • Cosa dice robots.txt? Apri /robots.txt e leggilo. Dice ai crawler cosa non possono scaricare, e di solito elenca le sitemap XML. Le regole seguono la RFC 9309, e Google spiega come le legge nella sua introduzione a robots.txt. Il riferimento completo su robots.txt di SEO ProCheck lo spiega riga per riga.
  • Quanto ti serve? Tutto il sito, una sezione o un campione di ogni template. Un campione risponde in pochi minuti alla maggior parte delle domande sui template; un crawl completo è ciò che serve per link rotti e pagine orfane.

Come fare il crawl di un sito, passo dopo passo

  1. Trova l'URL di partenza giusto. Richiedi http e https, con e senza www. Uno deve rispondere 200 e gli altri devono fare redirect verso di esso. Parti da lì.
  2. Scegli una modalità. La modalità spider segue i link dall'URL di partenza. La modalità elenco scansiona solo gli URL che le dai, utile per controllare un insieme di vecchi URL dopo una migrazione.
  3. Aggiungi le sitemap XML. Scansionare gli URL delle sitemap dopo le pagine linkate mostra quali pagine il sito elenca ma non linka mai.
  4. Imposta dei limiti. Un limite di URL, un limite di profondità e regole per i parametri di query evitano che i filtri si portino via il crawl. La guida SEO alla navigazione a faccette di SEO ProCheck mostra quali URL di filtro meritano il crawl.
  5. Escludi ciò che non ti serve. Aree di amministrazione, URL di carrello e checkout, risultati della ricerca interna. Usa schemi di inclusione ed esclusione, e prova un URL su di essi prima di partire.
  6. Scegli uno user agent. Il nome del tuo crawler è il default onesto. Scansionare come Googlebot mostra cosa riceve Google, ma alcuni server trattano un finto Googlebot come un attacco.
  7. Avvia, poi osserva i primi minuti. Se il conteggio dei nuovi URL sale molto più in fretta delle dimensioni del sito, guarda da dove arrivano. Calendari e filtri infiniti sono la causa abituale.
  8. Lascia lavorare i controlli. Quando il crawl finisce, parti dai problemi che toccano più pagine indicizzabili.
Nuovo crawl, Velocità e rendering: la velocità in URL al secondo, ridotta quando il server rallenta, lo user agent inviato con ogni richiesta e il rendering JavaScript
Nuovo crawl, Velocità e rendering: la velocità in URL al secondo, ridotta quando il server rallenta, lo user agent inviato con ogni richiesta e il rendering JavaScript

Come fare il crawl di un sito per trovare tutti gli URL

Seguire i link trova solo le pagine che i link raggiungono. Per scansionare un sito e trovare tutti gli URL, combina più fonti:

FontePagine linkatePagine non linkateViene da
Crawl dei link✓–L'URL di partenza
Sitemap XML◐✓robots.txt o /sitemap.xml
URL seed◐✓Il tuo elenco
Log del server◐✓Server o CDN
Search Console◐✓La tua proprietà Google

Abbiamo visto quanto conta sul nostro sito. Nel crawl completo di seoprocheck.com fatto da Neova il 17 ottobre 2026:

Misuraseoprocheck.com
URL scaricati10.222
Tempo61 minuti
Pagine HTML che rispondono 2004.561
URL nelle sitemap XML1.835
Raggiunti dai link, in nessuna sitemap2.727
In una sitemap, non raggiunti da alcun link1
Completezza99.98%
Body delle pagine1,66 GB grezzi, 340 MB salvati

Un audit basato solo sulla sitemap avrebbe perso 2.727 URL, e un crawl basato solo sui link avrebbe perso l'unica pagina orfana. Le pagine che arrivano solo da sitemap, log o Search Console sono orfane. Le orfane indicizzabili che ricevono traffico dalla ricerca di solito hanno bisogno di link interni. Controlli utili qui: URL orfano che restituisce 200 ed è indicizzabile, URL indicizzabile assente da ogni sitemap XML e Sitemap XML non scaricabile o non interpretabile.

Come fare il crawl di un sito senza farsi bloccare

La maggior parte dei blocchi nasce da un crawl troppo veloce o dal sembrare un bot di cui il server non si fida. Scansiona come vorrebbe il proprietario del sito:

  • Tieni bassa la velocità. 2 o 3 URL al secondo bastano per la maggior parte degli audit. Più veloce solo sul tuo sito.
  • Di' chi sei. Uno user agent chiaro con un link a una pagina sul crawler è più facile da consentire di una finta stringa di browser.
  • Rispetta robots.txt. È la volontà dichiarata del sito, e ignorarla sul sito di qualcun altro è il modo più rapido per farsi bloccare.
  • Chiedi di essere ammesso. Sul sito di un cliente dietro un firewall o una protezione anti bot, chiedi al team IT di consentire il tuo crawler, per esempio tramite un header segreto che invia solo il tuo crawler.

Poi leggi le risposte. Ogni codice di stato dice una cosa diversa:

AnswerSignificaDa fare
429Troppe richiesteDimezza la velocità, rispetta Retry-After
503Server occupato o non disponibileRallenta, riprova più tardi
403RifiutatoFermati e chiedi
401Accesso richiestoChiedi l'accesso
Serie di 5xxServer in difficoltàMetti in pausa il crawl

La pagina di Google su codici di stato HTTP ed errori di rete spiega come Googlebot stesso tratta le risposte 429 e 5xx.

Fare il crawl di siti in JavaScript

Se il sito è costruito con React, Vue, Angular o un framework simile, l'HTML inviato dal server può essere quasi vuoto, con i contenuti aggiunti dagli script. Un crawl semplice trova allora pochi link e poco testo. Attiva il rendering JavaScript, che carica ogni pagina in un browser headless, e confronta la pagina renderizzata con l'HTML grezzo. Conta ciò che manca prima del rendering: testo principale, link, title e canonical che compaiono solo dopo l'esecuzione degli script. Il rendering è più lento, quindi renderizza prima un campione di ogni template.

Fare il crawl del tuo sito con Neova

Per scansionare il tuo sito con Neova, scarica l'app, poi scegli Crawl, Nuovo crawl, scrivi l'indirizzo e fai clic su Avvia crawl. La pagina Il tuo primo crawl mostra ogni schermata.

ImpostazioneDefault
Funziona su
User agentNeovaBot
Velocità3 URL al secondo
Con 429 o 503Dimezza la velocità, rispetta Retry-After
robots.txtRispettato
CAPTCHAMai risolto
Piano gratuito1.000 URL per crawl
  • Verifica dell'URL iniziale sceglie la versione del sito (http o https, con o senza www) che risponde 200 e dice cosa fanno le altre.
  • Modalità e ambito: Spider o Elenco, Sito completo, Cartelle specifiche o Campione per gruppo di pagine, più sitemap XML, URL seed e regole di inclusione ed esclusione.
  • Il tuo sito: una volta confermato che è tuo, Neova può andare più veloce e ignorare robots.txt. L'Intestazione della lista consentiti crea un header segreto inviato solo a quel sito, con la regola da passare al team IT.
  • Crawl bloccato, spiegato: quando un sito rifiuta il crawl, Neova dice perché (limite di richieste, blocco da firewall, accesso vietato) e cosa fare dopo.
  • Scoperta e Ripartizione degli URL: durante il crawl ogni URL trovato finisce in un gruppo e le forme tipiche delle trappole per crawler vengono segnalate, con Salta o Escludi sul momento.
  • Pausa, Stop e Riprendi: fermati quando vuoi ed esegui i controlli su ciò che è stato scansionato, oppure Riprendi più tardi da dove si era fermato.

I proprietari dei siti possono leggere come si identifica il crawler, e come bloccarlo, nella pagina di NeovaBot.

Cosa fare con il crawl

Un crawl è una fotografia. Il suo valore sta in ciò che correggi. Ordina le segnalazioni per quante pagine indicizzabili toccano, correggi i problemi dei template una volta invece che pagina per pagina, e scansiona di nuovo per confermare. Un primo giro breve che di solito ripaga:

La checklist per l'audit SEO tecnico mette in ordine l'intera revisione.

Domande

Come faccio il crawl di un sito per trovare tutti gli URL?

Combina un crawl dei link con le sitemap XML, poi aggiungi gli URL da Google Search Console e dai log del server. Ogni pagina trovata solo da quelle fonti, e non raggiunta da nessun link interno, è un'orfana da guardare.

Come faccio il crawl di un sito senza farmi bloccare?

Scansiona lentamente, usa uno user agent onesto, rispetta robots.txt e rallenta quando il server risponde 429 o 503. Sul sito di un cliente dietro un firewall, chiedi al team IT di consentire il tuo crawler invece di cercare di aggirare il blocco.

È legale fare il crawl di un sito?

Scansionare pagine pubbliche è una pratica comune, ma le regole variano da paese a paese e secondo i termini del sito. Scansiona liberamente il tuo sito e quelli dei tuoi clienti, rispetta robots.txt ovunque e leggi i termini del sito in caso di dubbio. Questo non è un parere legale.

Quanto tempo serve per fare il crawl di un sito?

Più o meno il numero di URL diviso per la velocità. Il nostro crawl completo di seoprocheck.com del 17 ottobre 2026 ha scaricato 10.222 URL in 61 minuti, circa 2,8 URL al secondo. A 3 URL al secondo, 1.000 URL richiedono circa 6 minuti e 100.000 circa 9 ore, prima del rendering. Campionare ogni template è molto più veloce.

Posso fare il crawl del mio sito gratis?

Sì. Il piano Free di Neova scansiona fino a 1.000 URL per crawl con ogni controllo, su Mac, Windows e Linux. Vedi i prezzi per i piani più grandi.

Porta questa guida con te

I link agli assistenti si aprono con una domanda su questa pagina già scritta.

Scansiona il tuo sito con NeovaIl piano Free esegue ogni controllo su Mac, Windows e Linux. Nessuna carta di credito richiesta.

Continua a leggere