Tester robots.txt: come testare le regole del robots.txt prima che blocchino le pagine sbagliate
Il robots.txt è un breve file di testo con molto potere. Una riga può tenere un motore di ricerca lontano da una cartella che volevi nascondere, o dall'intero sito che volevi posizionare. Un tester del robots.txt ti dice, URL per URL, cosa può scaricare ogni crawler, così lo scopri prima di Googlebot.
Cosa fa un tester del robots.txt
Un tester del robots.txt prende un file robots.txt e un URL, sceglie il gruppo di regole che si applica a un dato user agent e ti dice se quell'URL è consentito o in disallow, e quale riga lo ha deciso. Uno buono segnala anche le righe che il parser non riesce a leggere, i campi che ignora e le regole che si annullano a vicenda.
Testare un URL alla volta è utile per una domanda veloce. Testare ogni URL di un crawl è ciò che fa emergere le sorprese: una regola scritta per una cartella che colpisce anche un filtro prodotti, o un carattere jolly che blocca il CSS di cui le pagine hanno bisogno per il rendering.
Google ha ritirato il suo tester del robots.txt
Per anni Search Console ha avuto uno Strumento di test del file robots.txt in cui potevi modificare il file e testare gli URL. A fine 2023 Google lo ha ritirato e sostituito con il report robots.txt. Il report mostra quali file robots.txt Google ha trovato per i primi 20 host di una proprietà, quando ognuno è stato scansionato l'ultima volta ed eventuali avvisi o errori. Ti consente anche di richiedere una nuova scansione del file dopo una correzione urgente.
Il report ti dice come Google ha letto il tuo file live. Non testa una regola che non è ancora live, e non confronta l'intero elenco dei tuoi URL con il file. Per questo ti serve un tester separato. Google pubblica il proprio parser robots.txt open source, e Bing Webmaster Tools ha un tester del robots.txt comodo per verificare come Bingbot legge un file.
Come funzionano le regole del robots.txt
Il file si trova alla radice di un host, per esempio https://www.example.com/robots.txt. Le regole sono definite dall'RFC 9309, il Robots Exclusion Protocol, e Google documenta come le legge in Come Google interpreta la specifica robots.txt. Un file è fatto di gruppi. Ogni gruppo inizia con una o più righe User-agent, seguite da regole Allow e Disallow:
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
I punti che i tester controllano, come li documenta Google. Il riferimento completo sul robots.txt di SEO ProCheck passa in rassegna ogni campo.
- Un gruppo per crawler. Un crawler segue solo il gruppo più specifico che corrisponde al suo nome. Se Googlebot ha un gruppo proprio, ignora completamente il gruppo
*. - Vince la corrispondenza più lunga. Quando sia un Allow sia un Disallow corrispondono a un URL, si applica la regola con il percorso più lungo. In caso di parità, Google usa la regola meno restrittiva.
- Due caratteri jolly.
*corrisponde a qualsiasi sequenza di caratteri e$indica la fine dell'URL. - I percorsi distinguono maiuscole e minuscole.
Disallow: /Adminnon blocca/admin. - Un file per host. Le regole si applicano solo al protocollo, all'host e alla porta da cui il file viene servito. Un sottodominio ha bisogno del suo file.
Cosa non fa il robots.txt
Il robots.txt controlla la scansione, non l'indicizzazione. L'introduzione al robots.txt di Google è chiara: un URL in disallow può comunque essere indicizzato se altre pagine lo linkano, e di solito compare senza descrizione. Se vuoi una pagina fuori dai risultati di ricerca, lasciala scansionare e usa invece noindex. Una pagina che Google non può scaricare è una pagina di cui non vedrà mai il noindex.
Alcuni altri limiti da conoscere:
- Nessuna riga noindex. Google ha smesso di supportare il noindex nel robots.txt nel 2019, insieme alle regole nofollow e crawl-delay al suo interno.
- Nessun crawl-delay per Google. Googlebot ignora
Crawl-delay. Alcuni altri crawler lo leggono, ed è per questo che un valore impostato per tutti gli user agent può rallentarli molto. - Nessuna sicurezza. Il file è pubblico e i crawler rispettosi lo seguono per scelta. Tutto ciò che è privato richiede un login.
Errori comuni nel robots.txt che un tester intercetta
| Errore | Effetto | Correzione |
|---|---|---|
Disallow: / lasciato dallo staging | Tutto il sito bloccato | Rimuovi la riga |
| Gruppo dedicato senza le regole comuni | Regole * perse per quel bot | Copia al suo interno le regole comuni |
| CSS, JavaScript, immagini bloccati | La pagina non si renderizza | Consenti i file |
| Carattere jolly troppo ampio | /*? blocca filtri, pagine | Restringi il pattern |
| Regola prima di User-agent, refuso | Riga saltata | Correggi la sintassi |
| Disallow per deindicizzare | Il noindex non viene mai letto | Consenti, poi noindex |
| www e non-www diversi | Regole diverse per host | Servi un solo file |
Bloccare un URL che elenchi anche nella sitemap XML manda segnali contrastanti. La guida alla verifica della sitemap XML copre quel lato.
Errori del server e dimensione del file
Come viene servito il file conta quanto ciò che dice. Google documenta ogni caso:
| Caso | Cosa fa Google | Per quanto tempo |
|---|---|---|
| 4xx, non 429 | Scansiona come se non ci fosse il file | Finché non viene corretto |
| 5xx o 429 | Smette di scansionare il sito | Prime 12 ore |
| Ancora in errore | Usa l'ultima copia valida | Fino a 30 giorni |
| File oltre 500 KiB | Ignora il resto | Oltre i 500 KiB |
| Qualsiasi modifica | Usa la copia in cache | Fino a 24 ore |
La richiesta di nuova scansione nel report robots.txt è per le correzioni urgenti. Un robots.txt che va in timeout nel momento sbagliato può mettere in pausa la scansione di tutto il sito; la guida al crawl budget spiega perché conta soprattutto sui siti grandi.
Cosa abbiamo trovato nel nostro robots.txt
Il nostro controllo SEO di neova.app, il 20 novembre 2026, ha trovato due regole che bloccavano più di quanto volessimo:
| Cosa era bloccato | Pagine colpite | Cosa vedeva Google | Correzione |
|---|---|---|---|
| Script email di Cloudflare sotto /cdn-cgi/ | 1.320 | Uno script che non poteva scaricare | Script consentito |
| /favicon e /apple-touch-icon.png | Ogni risultato | Una semplice lettera, niente logo | Entrambi i file consentiti |
I file della favicon stavano dietro una regola Disallow: /. Le linee guida sulla favicon di Google richiedono che il file sia scansionabile da Googlebot-Image, quindi i risultati di ricerca mostravano una lettera invece del nostro logo accanto a neova.app. Nessuna delle due regole sembrava sbagliata nel file. Entrambe sono emerse solo quando le regole sono state testate su ogni URL e file caricato dalle pagine.
Come testare il robots.txt in sicurezza
- Scansiona il sito così hai un elenco completo di URL reali, non solo i pochi che ricordi.
- Testa il file live su quell'elenco per ogni crawler che ti interessa: Googlebot, Googlebot-Image, Bingbot e i crawler AI.
- Scrivi la modifica come bozza e testa la bozza sullo stesso elenco. Guarda gli URL che risultano bloccati o consentiti per la prima volta.
- Controlla le risorse. Assicurati che nessuna pagina indicizzabile perda script, fogli di stile o immagini.
- Pubblicala, poi verifica nel report robots.txt di Search Console che Google abbia scaricato la nuova versione senza errori.
- Scansiona di nuovo e confronta, così intercetti una modifica accidentale futura.
Se stai decidendo cosa possono scaricare i crawler AI, la guida ai crawler AI elenca i loro nomi e cosa fa ognuno. Le pagine bloccate compaiono anche nella guida alla verifica dell'indicizzabilità.
Testa il robots.txt con Neova
Il Tester di robots.txt di Neova spiega a parole semplici ogni riga del file live, o di una bozza, come lo documenta Google e come lo definisce l'RFC 9309, con gli URL scansionati a cui corrisponde ogni regola. La sua vista Tutti i crawler mostra cosa possono scaricare Googlebot, Bingbot e i crawler AI, con gli URL da cui ognuno è bloccato. Segnala quando il gruppo proprio di un crawler perde le regole del gruppo *, e il test della bozza elenca ogni URL del crawl che una modifica bloccherebbe o consentirebbe per la prima volta. Puoi poi scansionare rispettando la bozza per vederne l'effetto completo. I controlli dietro questo strumento:
- Il robots.txt ha una sintassi non valida o campi sconosciuti
- Il robots.txt è irraggiungibile o troppo grande, per 5xx, 429, nessuna risposta o oltre 500 KiB
- Un URL interno è in disallow nel robots.txt
- La pagina HTML usa un file JavaScript in disallow nel robots.txt, un foglio di stile e un'immagine
- Crawl-delay impostato per tutti gli user agent nel robots.txt
- Il robots.txt di una variante dell'host è diverso da quello dell'host canonical
- Le regole del robots.txt sono cambiate rispetto al crawl precedente
- Favicon mancante, non funzionante o bloccata, compresa una favicon in disallow per Googlebot-Image
- Un URL in disallow è elencato in una sitemap XML
Neova conserva ogni versione del robots.txt letta dai suoi crawl, così puoi vedere quando una regola è cambiata. Con l'impostazione User agent puoi scansionare come Googlebot, Bingbot, un crawler AI o una stringa personalizzata. Vedi le Funzionalità o scarica Neova.
Domande
Google ha ancora un tester del robots.txt?
No. Google ha ritirato lo Strumento di test del file robots.txt di Search Console nel 2023 e lo ha sostituito con il report robots.txt, che mostra come Google ha letto il tuo file live ed eventuali errori. Per testare una modifica prima che sia live, usa un tester del robots.txt separato.
Come verifico se un URL è bloccato dal robots.txt?
Trova il gruppo che corrisponde allo user agent del crawler, poi il percorso Allow o Disallow più lungo che corrisponde all'URL. Quella regola decide. Un tester del robots.txt lo fa per te e indica la riga, per un URL o per ogni URL di un crawl. Le FAQ sul robots.txt di SEO ProCheck rispondono ai casi limite.
robots.txt impedisce che una pagina venga indicizzata?
No. Blocca la scansione. Un URL in disallow può comunque essere indicizzato se altre pagine lo linkano. Usa il noindex su una pagina che Google può scansionare se la vuoi fuori dai risultati di ricerca.
Perché Googlebot ignora le mie regole User-agent: *?
Perché il file ha un gruppo dedicato a Googlebot. Un crawler segue solo il gruppo più specifico che gli corrisponde, quindi copia le regole comuni anche nel gruppo di Googlebot.
Quanto ci mette una modifica al robots.txt a fare effetto?
Google in genere mette in cache il robots.txt fino a 24 ore. Dopo una correzione urgente puoi richiedere una nuova scansione nel report robots.txt di Search Console.