Come fare il crawl di un sito per la SEO, passo dopo passo
Fare il crawl di un sito significa scaricarne le pagine come fa un motore di ricerca, seguendo i link da una pagina all'altra. Ecco come scansionare un sito nel modo giusto: con garbo, per intero e senza farsi bloccare.
Cosa significa fare il crawl di un sito
Un crawler SEO parte da un URL, lo scarica, legge i link nell'HTML e li aggiunge a una coda. Poi prende il successivo URL dalla coda e fa lo stesso, finché non emerge più nulla di nuovo o raggiunge un limite. I motori di ricerca lo fanno su scala web. Un crawler SEO lo fa per un sito, e registra cosa ha risposto ogni URL così puoi analizzarlo.
Per ogni URL un crawl registra di solito il codice di stato, gli header della risposta, title e meta description, il canonical, le direttive robots, i link in entrata e in uscita, e a quanti clic si trova dalla pagina iniziale. Google descrive come funzionano i suoi crawler e fetcher nella sua panoramica dei crawler di Google.
Prima del crawl: permesso, robots.txt e perimetro
Tre domande a cui rispondere prima di premere avvio:
- È il tuo sito, o hai il permesso? Scansionare il proprio sito o quello di un cliente è normale amministrazione. Per i siti altrui, resta discreto: rispetta robots.txt e tieni bassa la velocità.
- Cosa dice robots.txt? Apri /robots.txt e leggilo. Dice ai crawler cosa non possono scaricare, e di solito elenca le sitemap XML. Le regole seguono la RFC 9309, e Google spiega come le legge nella sua introduzione a robots.txt. Il riferimento completo su robots.txt di SEO ProCheck lo spiega riga per riga.
- Quanto ti serve? Tutto il sito, una sezione o un campione di ogni template. Un campione risponde in pochi minuti alla maggior parte delle domande sui template; un crawl completo è ciò che serve per link rotti e pagine orfane.
Come fare il crawl di un sito, passo dopo passo
- Trova l'URL di partenza giusto. Richiedi http e https, con e senza www. Uno deve rispondere 200 e gli altri devono fare redirect verso di esso. Parti da lì.
- Scegli una modalità. La modalità spider segue i link dall'URL di partenza. La modalità elenco scansiona solo gli URL che le dai, utile per controllare un insieme di vecchi URL dopo una migrazione.
- Aggiungi le sitemap XML. Scansionare gli URL delle sitemap dopo le pagine linkate mostra quali pagine il sito elenca ma non linka mai.
- Imposta dei limiti. Un limite di URL, un limite di profondità e regole per i parametri di query evitano che i filtri si portino via il crawl. La guida SEO alla navigazione a faccette di SEO ProCheck mostra quali URL di filtro meritano il crawl.
- Escludi ciò che non ti serve. Aree di amministrazione, URL di carrello e checkout, risultati della ricerca interna. Usa schemi di inclusione ed esclusione, e prova un URL su di essi prima di partire.
- Scegli uno user agent. Il nome del tuo crawler è il default onesto. Scansionare come Googlebot mostra cosa riceve Google, ma alcuni server trattano un finto Googlebot come un attacco.
- Avvia, poi osserva i primi minuti. Se il conteggio dei nuovi URL sale molto più in fretta delle dimensioni del sito, guarda da dove arrivano. Calendari e filtri infiniti sono la causa abituale.
- Lascia lavorare i controlli. Quando il crawl finisce, parti dai problemi che toccano più pagine indicizzabili.

Come fare il crawl di un sito per trovare tutti gli URL
Seguire i link trova solo le pagine che i link raggiungono. Per scansionare un sito e trovare tutti gli URL, combina più fonti:
| Fonte | Pagine linkate | Pagine non linkate | Viene da |
|---|---|---|---|
| Crawl dei link | ✓ | – | L'URL di partenza |
| Sitemap XML | ◐ | ✓ | robots.txt o /sitemap.xml |
| URL seed | ◐ | ✓ | Il tuo elenco |
| Log del server | ◐ | ✓ | Server o CDN |
| Search Console | ◐ | ✓ | La tua proprietà Google |
Abbiamo visto quanto conta sul nostro sito. Nel crawl completo di seoprocheck.com fatto da Neova il 17 ottobre 2026:
| Misura | seoprocheck.com |
|---|---|
| URL scaricati | 10.222 |
| Tempo | 61 minuti |
| Pagine HTML che rispondono 200 | 4.561 |
| URL nelle sitemap XML | 1.835 |
| Raggiunti dai link, in nessuna sitemap | 2.727 |
| In una sitemap, non raggiunti da alcun link | 1 |
| Completezza | 99.98% |
| Body delle pagine | 1,66 GB grezzi, 340 MB salvati |
Un audit basato solo sulla sitemap avrebbe perso 2.727 URL, e un crawl basato solo sui link avrebbe perso l'unica pagina orfana. Le pagine che arrivano solo da sitemap, log o Search Console sono orfane. Le orfane indicizzabili che ricevono traffico dalla ricerca di solito hanno bisogno di link interni. Controlli utili qui: URL orfano che restituisce 200 ed è indicizzabile, URL indicizzabile assente da ogni sitemap XML e Sitemap XML non scaricabile o non interpretabile.
Come fare il crawl di un sito senza farsi bloccare
La maggior parte dei blocchi nasce da un crawl troppo veloce o dal sembrare un bot di cui il server non si fida. Scansiona come vorrebbe il proprietario del sito:
- Tieni bassa la velocità. 2 o 3 URL al secondo bastano per la maggior parte degli audit. Più veloce solo sul tuo sito.
- Di' chi sei. Uno user agent chiaro con un link a una pagina sul crawler è più facile da consentire di una finta stringa di browser.
- Rispetta robots.txt. È la volontà dichiarata del sito, e ignorarla sul sito di qualcun altro è il modo più rapido per farsi bloccare.
- Chiedi di essere ammesso. Sul sito di un cliente dietro un firewall o una protezione anti bot, chiedi al team IT di consentire il tuo crawler, per esempio tramite un header segreto che invia solo il tuo crawler.
Poi leggi le risposte. Ogni codice di stato dice una cosa diversa:
| Answer | Significa | Da fare |
|---|---|---|
| 429 | Troppe richieste | Dimezza la velocità, rispetta Retry-After |
| 503 | Server occupato o non disponibile | Rallenta, riprova più tardi |
| 403 | Rifiutato | Fermati e chiedi |
| 401 | Accesso richiesto | Chiedi l'accesso |
| Serie di 5xx | Server in difficoltà | Metti in pausa il crawl |
La pagina di Google su codici di stato HTTP ed errori di rete spiega come Googlebot stesso tratta le risposte 429 e 5xx.
Fare il crawl di siti in JavaScript
Se il sito è costruito con React, Vue, Angular o un framework simile, l'HTML inviato dal server può essere quasi vuoto, con i contenuti aggiunti dagli script. Un crawl semplice trova allora pochi link e poco testo. Attiva il rendering JavaScript, che carica ogni pagina in un browser headless, e confronta la pagina renderizzata con l'HTML grezzo. Conta ciò che manca prima del rendering: testo principale, link, title e canonical che compaiono solo dopo l'esecuzione degli script. Il rendering è più lento, quindi renderizza prima un campione di ogni template.
Fare il crawl del tuo sito con Neova
Per scansionare il tuo sito con Neova, scarica l'app, poi scegli Crawl, Nuovo crawl, scrivi l'indirizzo e fai clic su Avvia crawl. La pagina Il tuo primo crawl mostra ogni schermata.
| Impostazione | Default |
|---|---|
| Funziona su | |
| User agent | NeovaBot |
| Velocità | 3 URL al secondo |
| Con 429 o 503 | Dimezza la velocità, rispetta Retry-After |
| robots.txt | Rispettato |
| CAPTCHA | Mai risolto |
| Piano gratuito | 1.000 URL per crawl |
- Verifica dell'URL iniziale sceglie la versione del sito (http o https, con o senza www) che risponde 200 e dice cosa fanno le altre.
- Modalità e ambito: Spider o Elenco, Sito completo, Cartelle specifiche o Campione per gruppo di pagine, più sitemap XML, URL seed e regole di inclusione ed esclusione.
- Il tuo sito: una volta confermato che è tuo, Neova può andare più veloce e ignorare robots.txt. L'Intestazione della lista consentiti crea un header segreto inviato solo a quel sito, con la regola da passare al team IT.
- Crawl bloccato, spiegato: quando un sito rifiuta il crawl, Neova dice perché (limite di richieste, blocco da firewall, accesso vietato) e cosa fare dopo.
- Scoperta e Ripartizione degli URL: durante il crawl ogni URL trovato finisce in un gruppo e le forme tipiche delle trappole per crawler vengono segnalate, con Salta o Escludi sul momento.
- Pausa, Stop e Riprendi: fermati quando vuoi ed esegui i controlli su ciò che è stato scansionato, oppure Riprendi più tardi da dove si era fermato.
I proprietari dei siti possono leggere come si identifica il crawler, e come bloccarlo, nella pagina di NeovaBot.
Cosa fare con il crawl
Un crawl è una fotografia. Il suo valore sta in ciò che correggi. Ordina le segnalazioni per quante pagine indicizzabili toccano, correggi i problemi dei template una volta invece che pagina per pagina, e scansiona di nuovo per confermare. Un primo giro breve che di solito ripaga:
- Link interni verso URL 4xx e 5xx. Vedi URL interno che restituisce 4xx, 5xx o nessuna risposta.
- Catene di redirect tra URL interni. Vedi URL interno in una catena di redirect.
- Pagine indicizzabili bloccate da robots.txt. Vedi URL interno bloccato da robots.txt.
- Un robots.txt che non si può scaricare. Vedi robots.txt irraggiungibile o troppo grande.
- Pagine assenti dalle sitemap XML, e sitemap che elencano pagine con redirect o noindex.
- Pagine importanti a più di 3 clic dalla home page.
La checklist per l'audit SEO tecnico mette in ordine l'intera revisione.
Domande
Come faccio il crawl di un sito per trovare tutti gli URL?
Combina un crawl dei link con le sitemap XML, poi aggiungi gli URL da Google Search Console e dai log del server. Ogni pagina trovata solo da quelle fonti, e non raggiunta da nessun link interno, è un'orfana da guardare.
Come faccio il crawl di un sito senza farmi bloccare?
Scansiona lentamente, usa uno user agent onesto, rispetta robots.txt e rallenta quando il server risponde 429 o 503. Sul sito di un cliente dietro un firewall, chiedi al team IT di consentire il tuo crawler invece di cercare di aggirare il blocco.
È legale fare il crawl di un sito?
Scansionare pagine pubbliche è una pratica comune, ma le regole variano da paese a paese e secondo i termini del sito. Scansiona liberamente il tuo sito e quelli dei tuoi clienti, rispetta robots.txt ovunque e leggi i termini del sito in caso di dubbio. Questo non è un parere legale.
Quanto tempo serve per fare il crawl di un sito?
Più o meno il numero di URL diviso per la velocità. Il nostro crawl completo di seoprocheck.com del 17 ottobre 2026 ha scaricato 10.222 URL in 61 minuti, circa 2,8 URL al secondo. A 3 URL al secondo, 1.000 URL richiedono circa 6 minuti e 100.000 circa 9 ore, prima del rendering. Campionare ogni template è molto più veloce.
Posso fare il crawl del mio sito gratis?
Sì. Il piano Free di Neova scansiona fino a 1.000 URL per crawl con ogni controllo, su Mac, Windows e Linux. Vedi i prezzi per i piani più grandi.