NeovaPiattaforma SEO avanzata

Tester robots.txt: come testare le regole del robots.txt prima che blocchino le pagine sbagliate

Il robots.txt è un breve file di testo con molto potere. Una riga può tenere un motore di ricerca lontano da una cartella che volevi nascondere, o dall'intero sito che volevi posizionare. Un tester del robots.txt ti dice, URL per URL, cosa può scaricare ogni crawler, così lo scopri prima di Googlebot.

Crawling e indicizzazioneTester robots.txtAggiornato il 21 novembre 2026A cura del team di Neova

Cosa fa un tester del robots.txt

Un tester del robots.txt prende un file robots.txt e un URL, sceglie il gruppo di regole che si applica a un dato user agent e ti dice se quell'URL è consentito o in disallow, e quale riga lo ha deciso. Uno buono segnala anche le righe che il parser non riesce a leggere, i campi che ignora e le regole che si annullano a vicenda.

Testare un URL alla volta è utile per una domanda veloce. Testare ogni URL di un crawl è ciò che fa emergere le sorprese: una regola scritta per una cartella che colpisce anche un filtro prodotti, o un carattere jolly che blocca il CSS di cui le pagine hanno bisogno per il rendering.

Google ha ritirato il suo tester del robots.txt

Per anni Search Console ha avuto uno Strumento di test del file robots.txt in cui potevi modificare il file e testare gli URL. A fine 2023 Google lo ha ritirato e sostituito con il report robots.txt. Il report mostra quali file robots.txt Google ha trovato per i primi 20 host di una proprietà, quando ognuno è stato scansionato l'ultima volta ed eventuali avvisi o errori. Ti consente anche di richiedere una nuova scansione del file dopo una correzione urgente.

Il report ti dice come Google ha letto il tuo file live. Non testa una regola che non è ancora live, e non confronta l'intero elenco dei tuoi URL con il file. Per questo ti serve un tester separato. Google pubblica il proprio parser robots.txt open source, e Bing Webmaster Tools ha un tester del robots.txt comodo per verificare come Bingbot legge un file.

Come funzionano le regole del robots.txt

Il file si trova alla radice di un host, per esempio https://www.example.com/robots.txt. Le regole sono definite dall'RFC 9309, il Robots Exclusion Protocol, e Google documenta come le legge in Come Google interpreta la specifica robots.txt. Un file è fatto di gruppi. Ogni gruppo inizia con una o più righe User-agent, seguite da regole Allow e Disallow:

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

I punti che i tester controllano, come li documenta Google. Il riferimento completo sul robots.txt di SEO ProCheck passa in rassegna ogni campo.

  • Un gruppo per crawler. Un crawler segue solo il gruppo più specifico che corrisponde al suo nome. Se Googlebot ha un gruppo proprio, ignora completamente il gruppo *.
  • Vince la corrispondenza più lunga. Quando sia un Allow sia un Disallow corrispondono a un URL, si applica la regola con il percorso più lungo. In caso di parità, Google usa la regola meno restrittiva.
  • Due caratteri jolly. * corrisponde a qualsiasi sequenza di caratteri e $ indica la fine dell'URL.
  • I percorsi distinguono maiuscole e minuscole. Disallow: /Admin non blocca /admin.
  • Un file per host. Le regole si applicano solo al protocollo, all'host e alla porta da cui il file viene servito. Un sottodominio ha bisogno del suo file.

Cosa non fa il robots.txt

Il robots.txt controlla la scansione, non l'indicizzazione. L'introduzione al robots.txt di Google è chiara: un URL in disallow può comunque essere indicizzato se altre pagine lo linkano, e di solito compare senza descrizione. Se vuoi una pagina fuori dai risultati di ricerca, lasciala scansionare e usa invece noindex. Una pagina che Google non può scaricare è una pagina di cui non vedrà mai il noindex.

Alcuni altri limiti da conoscere:

  • Nessuna riga noindex. Google ha smesso di supportare il noindex nel robots.txt nel 2019, insieme alle regole nofollow e crawl-delay al suo interno.
  • Nessun crawl-delay per Google. Googlebot ignora Crawl-delay. Alcuni altri crawler lo leggono, ed è per questo che un valore impostato per tutti gli user agent può rallentarli molto.
  • Nessuna sicurezza. Il file è pubblico e i crawler rispettosi lo seguono per scelta. Tutto ciò che è privato richiede un login.

Errori comuni nel robots.txt che un tester intercetta

ErroreEffettoCorrezione
Disallow: / lasciato dallo stagingTutto il sito bloccatoRimuovi la riga
Gruppo dedicato senza le regole comuniRegole * perse per quel botCopia al suo interno le regole comuni
CSS, JavaScript, immagini bloccatiLa pagina non si renderizzaConsenti i file
Carattere jolly troppo ampio/*? blocca filtri, pagineRestringi il pattern
Regola prima di User-agent, refusoRiga saltataCorreggi la sintassi
Disallow per deindicizzareIl noindex non viene mai lettoConsenti, poi noindex
www e non-www diversiRegole diverse per hostServi un solo file

Bloccare un URL che elenchi anche nella sitemap XML manda segnali contrastanti. La guida alla verifica della sitemap XML copre quel lato.

Errori del server e dimensione del file

Come viene servito il file conta quanto ciò che dice. Google documenta ogni caso:

CasoCosa fa GooglePer quanto tempo
4xx, non 429Scansiona come se non ci fosse il fileFinché non viene corretto
5xx o 429Smette di scansionare il sitoPrime 12 ore
Ancora in erroreUsa l'ultima copia validaFino a 30 giorni
File oltre 500 KiBIgnora il restoOltre i 500 KiB
Qualsiasi modificaUsa la copia in cacheFino a 24 ore

La richiesta di nuova scansione nel report robots.txt è per le correzioni urgenti. Un robots.txt che va in timeout nel momento sbagliato può mettere in pausa la scansione di tutto il sito; la guida al crawl budget spiega perché conta soprattutto sui siti grandi.

Cosa abbiamo trovato nel nostro robots.txt

Il nostro controllo SEO di neova.app, il 20 novembre 2026, ha trovato due regole che bloccavano più di quanto volessimo:

Cosa era bloccatoPagine colpiteCosa vedeva GoogleCorrezione
Script email di Cloudflare sotto /cdn-cgi/1.320Uno script che non poteva scaricareScript consentito
/favicon e /apple-touch-icon.pngOgni risultatoUna semplice lettera, niente logoEntrambi i file consentiti

I file della favicon stavano dietro una regola Disallow: /. Le linee guida sulla favicon di Google richiedono che il file sia scansionabile da Googlebot-Image, quindi i risultati di ricerca mostravano una lettera invece del nostro logo accanto a neova.app. Nessuna delle due regole sembrava sbagliata nel file. Entrambe sono emerse solo quando le regole sono state testate su ogni URL e file caricato dalle pagine.

Come testare il robots.txt in sicurezza

  1. Scansiona il sito così hai un elenco completo di URL reali, non solo i pochi che ricordi.
  2. Testa il file live su quell'elenco per ogni crawler che ti interessa: Googlebot, Googlebot-Image, Bingbot e i crawler AI.
  3. Scrivi la modifica come bozza e testa la bozza sullo stesso elenco. Guarda gli URL che risultano bloccati o consentiti per la prima volta.
  4. Controlla le risorse. Assicurati che nessuna pagina indicizzabile perda script, fogli di stile o immagini.
  5. Pubblicala, poi verifica nel report robots.txt di Search Console che Google abbia scaricato la nuova versione senza errori.
  6. Scansiona di nuovo e confronta, così intercetti una modifica accidentale futura.

Se stai decidendo cosa possono scaricare i crawler AI, la guida ai crawler AI elenca i loro nomi e cosa fa ognuno. Le pagine bloccate compaiono anche nella guida alla verifica dell'indicizzabilità.

Testa il robots.txt con Neova

Il Tester di robots.txt di Neova spiega a parole semplici ogni riga del file live, o di una bozza, come lo documenta Google e come lo definisce l'RFC 9309, con gli URL scansionati a cui corrisponde ogni regola. La sua vista Tutti i crawler mostra cosa possono scaricare Googlebot, Bingbot e i crawler AI, con gli URL da cui ognuno è bloccato. Segnala quando il gruppo proprio di un crawler perde le regole del gruppo *, e il test della bozza elenca ogni URL del crawl che una modifica bloccherebbe o consentirebbe per la prima volta. Puoi poi scansionare rispettando la bozza per vederne l'effetto completo. I controlli dietro questo strumento:

Neova conserva ogni versione del robots.txt letta dai suoi crawl, così puoi vedere quando una regola è cambiata. Con l'impostazione User agent puoi scansionare come Googlebot, Bingbot, un crawler AI o una stringa personalizzata. Vedi le Funzionalità o scarica Neova.

Domande

Google ha ancora un tester del robots.txt?

No. Google ha ritirato lo Strumento di test del file robots.txt di Search Console nel 2023 e lo ha sostituito con il report robots.txt, che mostra come Google ha letto il tuo file live ed eventuali errori. Per testare una modifica prima che sia live, usa un tester del robots.txt separato.

Come verifico se un URL è bloccato dal robots.txt?

Trova il gruppo che corrisponde allo user agent del crawler, poi il percorso Allow o Disallow più lungo che corrisponde all'URL. Quella regola decide. Un tester del robots.txt lo fa per te e indica la riga, per un URL o per ogni URL di un crawl. Le FAQ sul robots.txt di SEO ProCheck rispondono ai casi limite.

robots.txt impedisce che una pagina venga indicizzata?

No. Blocca la scansione. Un URL in disallow può comunque essere indicizzato se altre pagine lo linkano. Usa il noindex su una pagina che Google può scansionare se la vuoi fuori dai risultati di ricerca.

Perché Googlebot ignora le mie regole User-agent: *?

Perché il file ha un gruppo dedicato a Googlebot. Un crawler segue solo il gruppo più specifico che gli corrisponde, quindi copia le regole comuni anche nel gruppo di Googlebot.

Quanto ci mette una modifica al robots.txt a fare effetto?

Google in genere mette in cache il robots.txt fino a 24 ore. Dopo una correzione urgente puoi richiedere una nuova scansione nel report robots.txt di Search Console.

Porta questa guida con te

I link agli assistenti si aprono con una domanda su questa pagina già scritta.

Scansiona il tuo sito con NeovaIl piano Free esegue ogni controllo su Mac, Windows e Linux. Nessuna carta di credito richiesta.

Continua a leggere