Crawl budget: cos'è, come verificarlo e come fermare gli sprechi
Il crawl budget è quanti URL Googlebot può e vuole scaricare sul tuo sito. La maggior parte dei siti non deve mai preoccuparsene. I siti grandi o che cambiano spesso sì, e la soluzione di solito è la stessa: impedire a Googlebot di spendere tempo su URL che non contano.
Che cos'è il crawl budget?
Google definisce il crawl budget come l'insieme di URL che Googlebot può e vuole scansionare su un sito. Nella sua guida alla gestione del crawl budget lo divide in due parti:
- Limite di capacità di scansione. Quanto può scaricare Googlebot senza sovraccaricare il tuo server. Se il sito risponde in fretta, il limite sale. Se rallenta o restituisce errori del server, Googlebot si ritira.
- Domanda di scansione. Quanto Google vuole scansionare. Gli URL popolari e quelli che cambiano vengono scansionati di più. Gli URL vecchi o di scarso valore di meno.
Messo insieme, il crawl budget nella SEO è il punto d'incontro tra ciò che il tuo server può reggere e ciò che Google ritiene valga la pena scaricare. Non puoi comprarne di più. Puoi usare meglio quello che ricevi.
Il crawl budget conta per il tuo sito?
Google dice che il crawl budget è un problema soprattutto per tre tipi di sito. Dalla sua guida al crawl budget:
| Sito | Pagine uniche | Il contenuto cambia | Un problema |
|---|---|---|---|
| Grande | 1.000.000+ | Ogni settimana | ✓ |
| Medio o più grande | 10.000+ | Ogni giorno | ✓ |
| Molte pagine Rilevata, ma attualmente non indicizzata | Quanti vuoi | Quanti vuoi | ✓ |
| La maggior parte degli altri siti | Qualche migliaio | Quanti vuoi | – |
Se le pagine nuove vengono scansionate entro un giorno o due, il crawl budget non è il tuo problema. Guarda invece qualità dei contenuti, link interni e indicizzabilità. La guida su Rilevata, ma attualmente non indicizzata di SEO ProCheck spiega questo stato e le sue cause.
Le abitudini che fanno risparmiare crawl budget, come URL puliti, pochi redirect e nessuna trappola per crawler, aiutano comunque ogni sito. Rendono anche i tuoi crawl più veloci e i tuoi audit più facili da leggere.
Come verificare il crawl budget
Non esiste un unico numero del crawl budget. Lo leggi da tre fonti.
1. Il report Statistiche di scansione in Search Console
Apri Impostazioni, poi Statistiche di scansione. Ottieni il totale delle richieste di scansione, la dimensione totale dei download e il tempo medio di risposta degli ultimi 90 giorni, suddivisi per codice di risposta, tipo di file, scopo (rilevamento o aggiornamento) e tipo di Googlebot. Lo stato dell'host mostra se ci sono stati problemi con il recupero di robots.txt, il DNS o la connettività del server.
Cosa cercare: una quota crescente di risposte 3xx e 4xx, un tempo di risposta che sale, o la maggior parte delle richieste che va all'aggiornamento mentre le pagine nuove aspettano.
2. I log del tuo server
Statistiche di scansione è un riepilogo. I log mostrano ogni richiesta, così vedi esattamente quali URL scarica Googlebot, con che frequenza e quali non tocca mai. Importa invece di connettere elenca i formati di log che Neova legge e dove li conserva ciascun hosting.
3. Un crawl tutto tuo
Un crawler mostra gli URL che i tuoi link e le tue sitemap espongono. Confronta il suo conteggio con il numero di pagine che vuoi davvero indicizzate. Lo abbiamo fatto sul nostro sito:
| seoprocheck.com, 17 ott 2026 | URL |
|---|---|
| Scaricati dal crawl completo | 10.222 |
| Pagine HTML che rispondono 200 | 4.561 |
| Elencati nelle sitemap XML | 1.835 |
| Raggiunti dai link, in nessuna sitemap | 2.727 |
Quindi meno della metà degli URL scaricati erano pagine HTML che rispondevano 200; il resto erano file, redirect e altre risposte su cui anche un bot spende richieste. E 2.727 URL linkati non stanno in nessuna sitemap, cosa che vale la pena guardare prima di dare la colpa a Google. Se un sito con 20.000 prodotti produce 400.000 URL scansionabili, hai trovato il tuo spreco di crawl budget.
Da dove nasce lo spreco di crawl budget
| Fonte | Come si presenta | Soluzione tipica |
|---|---|---|
| Navigazione a faccette | Un URL per ogni combinazione di filtri | Blocca le combinazioni di scarso valore |
| Parametri | Tracciamento, sessione, ordinamento | Toglili dai link interni |
| Crawl trap | Calendari, cartelle ripetute | Limita, blocca o correggi i link |
| Catene di redirect | 2 o più passaggi | Linka l'URL finale |
| Soft 404 | Non trovato, risponde 200 | Restituisci 404 o 410 |
| URL duplicati | Maiuscole, slash, ordine dei parametri | Redirect verso una sola versione |
| Sitemap sporche | Redirect, noindex, errori | Solo URL indicizzabili con 200 |
| Risposte lente | Tempo di risposta in crescita | Velocizza il server |
Nella maggior parte degli e-commerce la navigazione a faccette è la fonte principale; la spiegazione del crawl budget su SEO ProCheck chiarisce quando conta ciascuna fonte.
Ottimizzazione del crawl budget, passo dopo passo
- Conta cosa deve essere indicizzato. Scrivi quante pagine vuoi in Google. Tutto ciò che va oltre è un candidato allo spreco.
- Scansiona il sito e ordina gli URL. Separa gli URL puliti delle pagine dalle varianti con parametri, dagli URL malformati, dalle trappole per crawler e dalle risorse.
- Trova gli schemi. Lo spreco raramente è casuale. È un filtro, un calendario, un link relativo rotto ripetuto migliaia di volte.
- Blocca ciò che non serve mai scansionare. Usa robots.txt per gli schemi di URL senza valore di ricerca, come i risultati della ricerca interna o gli ordinamenti. Prova la regola sugli URL scansionati prima di pubblicarla.
- Correggi i link che creano lo spreco. Bloccare nasconde gli URL; correggere i link impedisce che vengano creati.
- Pulisci le sitemap XML. Solo URL indicizzabili che rispondono 200, con date lastmod che cambiano quando cambia la pagina.
- Restituisci i codici di stato giusti. 404 o 410 per le pagine eliminate, non 200 con un messaggio di pagina non trovata.
- Accorcia le catene di redirect e aggiorna i link interni perché puntino agli URL finali.
- Osserva i log e le Statistiche di scansione per qualche settimana per confermare che Googlebot si sposti sulle pagine che contano.
Cosa non fare
Alcuni consigli diffusi sul crawl budget non funzionano come ci si aspetta. Dalla guida di Google al crawl budget e dalla sua pagina su come ridurre la frequenza di scansione:
| Consiglio | Fa risparmiare budget | Perché |
|---|---|---|
| Aggiungere noindex | – | La pagina viene comunque scaricata |
| Bloccare pagine per un po' | – | Google lo sconsiglia |
| Crawl-delay in robots.txt | – | Googlebot lo ignora |
| Restituire 503 o 429 | ◐ | Emergenze, da 1 a 2 giorni |
| Elencare gli URL in una sitemap | ◐ | Un suggerimento, non un ordine |
| Bloccare in robots.txt per sempre | ✓ | L'URL non viene mai scaricato |
Noindex aiuta l'indicizzazione, non la scansione. Blocca in robots.txt solo gli URL che non vuoi mai scansionati, e correggi i link che li creano.
Come Neova aiuta con il crawl budget
Neova è un crawler, non Googlebot, quindi non può mostrare il budget di Google. Mostra invece dove il tuo sito dà lavoro in più a Googlebot:
- Scoperta lavora mentre gira il crawl. Ogni minuto indica da dove arrivano i nuovi URL per schema e segnala le forme tipiche delle trappole per crawler, come calendari, cartelle ripetute, ID di sessione, molti parametri e URL molto profondi, con Continua il crawl, Salta o Escludi sul momento.
- Ripartizione degli URL mette ogni URL in un gruppo: URL puliti delle pagine, varianti con parametri, URL malformati, trappole per crawler e risorse. Il conteggio è sempre spiegato.
- Il Tester del robots.txt spiega ogni riga, e il test della bozza elenca gli URL che una modifica bloccherebbe o consentirebbe per la prima volta, prima che tu la pubblichi.
- Log del server, nell'app desktop, elenca le pagine HTML che Googlebot non ha mai visitato nella finestra del log e gli URL richiesti dai bot che il crawl non conosce.
- Controlli come URL indicizzabili con parametri di ricerca o filtro, gli stessi parametri in ordine diverso, frasi da soft 404, URL con redirect nelle sitemap XML e un intervallo di nuova scansione di Googlebot cresciuto del 50% o più.

Anche Neova scansiona con garbo: 3 URL al secondo di default, e dimezza la velocità quando il server rallenta o risponde 429 o 503. Vedi le Funzionalità o scarica Neova per provarlo.
Checklist del crawl budget
| Segnale | In salute | Posizione |
|---|---|---|
| Tempo di risposta | Stabile o in calo | Statistiche di scansione |
| Quota di 3xx e 4xx | Non in crescita | Statistiche di scansione, log |
| URL scansionabili rispetto alle pagine volute | Vicino a 1 a 1 | Il tuo crawl |
| Crawl trap | 0 | Il tuo crawl |
| Passaggi di redirect | Al massimo 1 | Il tuo crawl |
| Pagine rimosse | 404 o 410 | Il tuo crawl |
| Voci della sitemap | Solo indicizzabili con 200 | Il tuo crawl |
| URL per file sitemap | Massimo 50.000 | Il tuo crawl |
| Giorni di log letti | 30 o più | Log del server |
| Nuove pagine chiave | Visitate da Googlebot | Log del server |
Domande
Che cos'è il crawl budget nella SEO?
È il numero di URL che un motore di ricerca può e vuole scansionare sul tuo sito in un certo periodo. Google lo descrive come la combinazione di capacità di scansione e domanda di scansione.
Il crawl budget conta per i siti piccoli?
Di solito no. Google dice che è un problema soprattutto per siti molto grandi, siti che cambiano ogni giorno e siti con molte pagine rilevate ma non indicizzate. I siti piccoli guadagnano di più da contenuti migliori e link interni.
Come aumento il crawl budget?
Rendi il server veloce e stabile, e dai a Google motivi per scansionare: pagine che le persone linkano e visitano, e contenuti che cambiano. Poi smetti di sprecare ciò che hai in parametri, redirect e duplicati.
Noindex fa risparmiare crawl budget?
No. Google deve scansionare una pagina per leggerne il noindex. Per tenere Googlebot lontano da uno schema di URL per sempre, bloccalo in robots.txt e correggi i link che lo creano.
Googlebot rispetta crawl-delay?
No. Google non supporta crawl-delay in robots.txt. Bing ne ha documentato il supporto. Neova segnala un crawl-delay impostato per tutti gli user agent così puoi decidere se serve ancora.