NeovaPiattaforma SEO avanzata

Crawl budget: cos'è, come verificarlo e come fermare gli sprechi

Il crawl budget è quanti URL Googlebot può e vuole scaricare sul tuo sito. La maggior parte dei siti non deve mai preoccuparsene. I siti grandi o che cambiano spesso sì, e la soluzione di solito è la stessa: impedire a Googlebot di spendere tempo su URL che non contano.

Crawling e indicizzazionecrawl budgetAggiornato il 21 novembre 2026A cura del team di Neova

Che cos'è il crawl budget?

Google definisce il crawl budget come l'insieme di URL che Googlebot può e vuole scansionare su un sito. Nella sua guida alla gestione del crawl budget lo divide in due parti:

  • Limite di capacità di scansione. Quanto può scaricare Googlebot senza sovraccaricare il tuo server. Se il sito risponde in fretta, il limite sale. Se rallenta o restituisce errori del server, Googlebot si ritira.
  • Domanda di scansione. Quanto Google vuole scansionare. Gli URL popolari e quelli che cambiano vengono scansionati di più. Gli URL vecchi o di scarso valore di meno.

Messo insieme, il crawl budget nella SEO è il punto d'incontro tra ciò che il tuo server può reggere e ciò che Google ritiene valga la pena scaricare. Non puoi comprarne di più. Puoi usare meglio quello che ricevi.

Il crawl budget conta per il tuo sito?

Google dice che il crawl budget è un problema soprattutto per tre tipi di sito. Dalla sua guida al crawl budget:

SitoPagine unicheIl contenuto cambiaUn problema
Grande1.000.000+Ogni settimana✓
Medio o più grande10.000+Ogni giorno✓
Molte pagine Rilevata, ma attualmente non indicizzataQuanti vuoiQuanti vuoi✓
La maggior parte degli altri sitiQualche migliaioQuanti vuoi–

Se le pagine nuove vengono scansionate entro un giorno o due, il crawl budget non è il tuo problema. Guarda invece qualità dei contenuti, link interni e indicizzabilità. La guida su Rilevata, ma attualmente non indicizzata di SEO ProCheck spiega questo stato e le sue cause.

Le abitudini che fanno risparmiare crawl budget, come URL puliti, pochi redirect e nessuna trappola per crawler, aiutano comunque ogni sito. Rendono anche i tuoi crawl più veloci e i tuoi audit più facili da leggere.

Come verificare il crawl budget

Non esiste un unico numero del crawl budget. Lo leggi da tre fonti.

1. Il report Statistiche di scansione in Search Console

Apri Impostazioni, poi Statistiche di scansione. Ottieni il totale delle richieste di scansione, la dimensione totale dei download e il tempo medio di risposta degli ultimi 90 giorni, suddivisi per codice di risposta, tipo di file, scopo (rilevamento o aggiornamento) e tipo di Googlebot. Lo stato dell'host mostra se ci sono stati problemi con il recupero di robots.txt, il DNS o la connettività del server.

Cosa cercare: una quota crescente di risposte 3xx e 4xx, un tempo di risposta che sale, o la maggior parte delle richieste che va all'aggiornamento mentre le pagine nuove aspettano.

2. I log del tuo server

Statistiche di scansione è un riepilogo. I log mostrano ogni richiesta, così vedi esattamente quali URL scarica Googlebot, con che frequenza e quali non tocca mai. Importa invece di connettere elenca i formati di log che Neova legge e dove li conserva ciascun hosting.

3. Un crawl tutto tuo

Un crawler mostra gli URL che i tuoi link e le tue sitemap espongono. Confronta il suo conteggio con il numero di pagine che vuoi davvero indicizzate. Lo abbiamo fatto sul nostro sito:

seoprocheck.com, 17 ott 2026URL
Scaricati dal crawl completo10.222
Pagine HTML che rispondono 2004.561
Elencati nelle sitemap XML1.835
Raggiunti dai link, in nessuna sitemap2.727

Quindi meno della metà degli URL scaricati erano pagine HTML che rispondevano 200; il resto erano file, redirect e altre risposte su cui anche un bot spende richieste. E 2.727 URL linkati non stanno in nessuna sitemap, cosa che vale la pena guardare prima di dare la colpa a Google. Se un sito con 20.000 prodotti produce 400.000 URL scansionabili, hai trovato il tuo spreco di crawl budget.

Da dove nasce lo spreco di crawl budget

FonteCome si presentaSoluzione tipica
Navigazione a faccetteUn URL per ogni combinazione di filtriBlocca le combinazioni di scarso valore
ParametriTracciamento, sessione, ordinamentoToglili dai link interni
Crawl trapCalendari, cartelle ripetuteLimita, blocca o correggi i link
Catene di redirect2 o più passaggiLinka l'URL finale
Soft 404Non trovato, risponde 200Restituisci 404 o 410
URL duplicatiMaiuscole, slash, ordine dei parametriRedirect verso una sola versione
Sitemap sporcheRedirect, noindex, erroriSolo URL indicizzabili con 200
Risposte lenteTempo di risposta in crescitaVelocizza il server

Nella maggior parte degli e-commerce la navigazione a faccette è la fonte principale; la spiegazione del crawl budget su SEO ProCheck chiarisce quando conta ciascuna fonte.

Ottimizzazione del crawl budget, passo dopo passo

  1. Conta cosa deve essere indicizzato. Scrivi quante pagine vuoi in Google. Tutto ciò che va oltre è un candidato allo spreco.
  2. Scansiona il sito e ordina gli URL. Separa gli URL puliti delle pagine dalle varianti con parametri, dagli URL malformati, dalle trappole per crawler e dalle risorse.
  3. Trova gli schemi. Lo spreco raramente è casuale. È un filtro, un calendario, un link relativo rotto ripetuto migliaia di volte.
  4. Blocca ciò che non serve mai scansionare. Usa robots.txt per gli schemi di URL senza valore di ricerca, come i risultati della ricerca interna o gli ordinamenti. Prova la regola sugli URL scansionati prima di pubblicarla.
  5. Correggi i link che creano lo spreco. Bloccare nasconde gli URL; correggere i link impedisce che vengano creati.
  6. Pulisci le sitemap XML. Solo URL indicizzabili che rispondono 200, con date lastmod che cambiano quando cambia la pagina.
  7. Restituisci i codici di stato giusti. 404 o 410 per le pagine eliminate, non 200 con un messaggio di pagina non trovata.
  8. Accorcia le catene di redirect e aggiorna i link interni perché puntino agli URL finali.
  9. Osserva i log e le Statistiche di scansione per qualche settimana per confermare che Googlebot si sposti sulle pagine che contano.

Cosa non fare

Alcuni consigli diffusi sul crawl budget non funzionano come ci si aspetta. Dalla guida di Google al crawl budget e dalla sua pagina su come ridurre la frequenza di scansione:

ConsiglioFa risparmiare budgetPerché
Aggiungere noindex–La pagina viene comunque scaricata
Bloccare pagine per un po'–Google lo sconsiglia
Crawl-delay in robots.txt–Googlebot lo ignora
Restituire 503 o 429◐Emergenze, da 1 a 2 giorni
Elencare gli URL in una sitemap◐Un suggerimento, non un ordine
Bloccare in robots.txt per sempre✓L'URL non viene mai scaricato

Noindex aiuta l'indicizzazione, non la scansione. Blocca in robots.txt solo gli URL che non vuoi mai scansionati, e correggi i link che li creano.

Come Neova aiuta con il crawl budget

Neova è un crawler, non Googlebot, quindi non può mostrare il budget di Google. Mostra invece dove il tuo sito dà lavoro in più a Googlebot:

  • Scoperta lavora mentre gira il crawl. Ogni minuto indica da dove arrivano i nuovi URL per schema e segnala le forme tipiche delle trappole per crawler, come calendari, cartelle ripetute, ID di sessione, molti parametri e URL molto profondi, con Continua il crawl, Salta o Escludi sul momento.
  • Ripartizione degli URL mette ogni URL in un gruppo: URL puliti delle pagine, varianti con parametri, URL malformati, trappole per crawler e risorse. Il conteggio è sempre spiegato.
  • Il Tester del robots.txt spiega ogni riga, e il test della bozza elenca gli URL che una modifica bloccherebbe o consentirebbe per la prima volta, prima che tu la pubblichi.
  • Log del server, nell'app desktop, elenca le pagine HTML che Googlebot non ha mai visitato nella finestra del log e gli URL richiesti dai bot che il crawl non conosce.
  • Controlli come URL indicizzabili con parametri di ricerca o filtro, gli stessi parametri in ordine diverso, frasi da soft 404, URL con redirect nelle sitemap XML e un intervallo di nuova scansione di Googlebot cresciuto del 50% o più.
Un crawl in corso: URL scaricati su quelli trovati, il limite di velocità, Ripartizione degli URL, Scoperta e la Mappa del crawl live per clic dall'URL iniziale
Un crawl in corso: URL scaricati su quelli trovati, il limite di velocità, Ripartizione degli URL, Scoperta e la Mappa del crawl live per clic dall'URL iniziale

Anche Neova scansiona con garbo: 3 URL al secondo di default, e dimezza la velocità quando il server rallenta o risponde 429 o 503. Vedi le Funzionalità o scarica Neova per provarlo.

Checklist del crawl budget

SegnaleIn salutePosizione
Tempo di rispostaStabile o in caloStatistiche di scansione
Quota di 3xx e 4xxNon in crescitaStatistiche di scansione, log
URL scansionabili rispetto alle pagine voluteVicino a 1 a 1Il tuo crawl
Crawl trap0Il tuo crawl
Passaggi di redirectAl massimo 1Il tuo crawl
Pagine rimosse404 o 410Il tuo crawl
Voci della sitemapSolo indicizzabili con 200Il tuo crawl
URL per file sitemapMassimo 50.000Il tuo crawl
Giorni di log letti30 o piùLog del server
Nuove pagine chiaveVisitate da GooglebotLog del server

Domande

Che cos'è il crawl budget nella SEO?

È il numero di URL che un motore di ricerca può e vuole scansionare sul tuo sito in un certo periodo. Google lo descrive come la combinazione di capacità di scansione e domanda di scansione.

Il crawl budget conta per i siti piccoli?

Di solito no. Google dice che è un problema soprattutto per siti molto grandi, siti che cambiano ogni giorno e siti con molte pagine rilevate ma non indicizzate. I siti piccoli guadagnano di più da contenuti migliori e link interni.

Come aumento il crawl budget?

Rendi il server veloce e stabile, e dai a Google motivi per scansionare: pagine che le persone linkano e visitano, e contenuti che cambiano. Poi smetti di sprecare ciò che hai in parametri, redirect e duplicati.

Noindex fa risparmiare crawl budget?

No. Google deve scansionare una pagina per leggerne il noindex. Per tenere Googlebot lontano da uno schema di URL per sempre, bloccalo in robots.txt e correggi i link che lo creano.

Googlebot rispetta crawl-delay?

No. Google non supporta crawl-delay in robots.txt. Bing ne ha documentato il supporto. Neova segnala un crawl-delay impostato per tutti gli user agent così puoi decidere se serve ancora.

Porta questa guida con te

I link agli assistenti si aprono con una domanda su questa pagina già scritta.

Scansiona il tuo sito con NeovaIl piano Free esegue ogni controllo su Mac, Windows e Linux. Nessuna carta di credito richiesta.

Continua a leggere