Crawler AI: cosa fanno GPTBot, ClaudeBot e PerplexityBot e come controllarli
I crawler AI scaricano le tue pagine per addestrare modelli linguistici, per costruire indici di ricerca AI o per rispondere sul momento alla domanda di una persona. Ogni tipo ha un proprio nome nel robots.txt, quindi puoi consentirne alcuni e bloccarne altri. Ecco chi sono, cosa fa ciascuno e come verificare cosa ricevono davvero.
Cosa sono i crawler AI?
I crawler AI, detti anche crawler LLM, sono bot gestiti dalle aziende di AI. Non sono tutti uguali, e trattarli come un unico gruppo porta a regole sbagliate nel robots.txt. Ce ne sono di tre tipi:
- Crawler di addestramento: raccolgono pagine che potrebbero servire ad addestrare modelli futuri. GPTBot e ClaudeBot sono i più noti.
- Crawler di ricerca: costruiscono l'indice in cui cerca un assistente AI quando risponde con fonti e link. OAI-SearchBot, Claude-SearchBot e PerplexityBot fanno parte di questo gruppo.
- Fetcher attivati dagli utenti: caricano una pagina perché una persona ha chiesto all'assistente di quella pagina, per esempio incollando un URL. ChatGPT-User, Claude-User e Perplexity-User funzionano così.
Bloccare un crawler di addestramento tiene le tue pagine fuori dai futuri set di addestramento. Bloccare un crawler di ricerca può tenerti fuori dalle risposte AI con citazioni, che spesso è l'opposto di ciò che un'azienda vuole.
I principali crawler AI e i loro token nel robots.txt
Ogni fornitore documenta i propri bot. Questi sono i nomi da usare nel robots.txt, con il link alla pagina del fornitore:
| Token | Società | Tipo | Bot proprio |
|---|---|---|---|
| GPTBot | OpenAI | Addestramento | ✓ |
| OAI-SearchBot | OpenAI | Ricerca AI | ✓ |
| ChatGPT-User | OpenAI | Richiesta dell'utente | ✓ |
| ClaudeBot | Anthropic | Addestramento | ✓ |
| Claude-SearchBot | Anthropic | Ricerca AI | ✓ |
| Claude-User | Anthropic | Richiesta dell'utente | ✓ |
| PerplexityBot | Perplexity | Ricerca AI | ✓ |
| Perplexity-User | Perplexity | Richiesta dell'utente | ✓ |
| Google-Extended | Uso dei contenuti da parte di Gemini | – | |
| Applebot-Extended | Apple | Addestramento dei modelli Apple | – |
| CCBot | Common Crawl | Archivio aperto del web | ✓ |
Google-Extended e Applebot-Extended sono token, non bot separati: controllano come possono essere usati i contenuti che Googlebot o Applebot scansionano già. Google dice che Google-Extended non influisce sull'inclusione nella Ricerca Google né sul ranking. Per limitare come i tuoi contenuti compaiono nelle funzionalità AI della Ricerca di Google, Google rimanda ai controlli degli snippet come nosnippet. Per un elenco più lungo con ogni bot e il suo scopo, vedi la mappa dei crawler AI su SEO ProCheck.
Conviene bloccare i crawler LLM?
Non c'è un'unica risposta giusta. Dipende da a cosa servono i tuoi contenuti. In termini di robots.txt, tre politiche coprono la maggior parte dei siti:
| Politica | Addestramento | Ricerca AI | Richiesta dell'utente |
|---|---|---|---|
| Aperto a tutti | ✓ | ✓ | ✓ |
| Citato, non usato per l'addestramento | – | ✓ | ✓ |
| Chiuso all'AI | – | – | ◐ |
- Consenti i crawler di ricerca se vuoi essere citato e linkato in ChatGPT Search, Claude e Perplexity. Per la maggior parte delle aziende è visibilità che conviene avere.
- Valuta di bloccare i crawler di addestramento se i tuoi contenuti sono il tuo prodotto: notizie, ricerche, corsi, dati a pagamento. Il blocco ferma la raccolta futura; non rimuove ciò che è già stato raccolto.
- Pensaci due volte prima di bloccare i fetcher attivati dagli utenti. Agiscono per una persona che ha chiesto della tua pagina, e alcuni fornitori dicono che potrebbero non seguire il robots.txt come fanno i crawler, da qui il "in parte" qui sopra.
Metti la decisione per iscritto: quali bot sono consentiti, quali bloccati e perché. Poi fai in modo che il robots.txt la rispecchi. Una politica scritta è ciò che impedisce a un futuro sviluppatore di bloccare tutto durante un redesign.
robots.txt per i bot AI: esempi
Ecco una configurazione comune: consentire la ricerca AI, bloccare l'addestramento.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
Più righe User-agent possono condividere un unico gruppo di regole. Attenzione a una trappola. Secondo lo standard del robots.txt, RFC 9309, un crawler segue solo il gruppo più specifico che lo nomina. Se aggiungi un gruppo per GPTBot, GPTBot ignora completamente il gruppo *, compreso il tuo Disallow: /search/. Ecco perché il gruppo di ricerca qui sopra ripete le due regole comuni. Tutto ciò che un gruppo nominato non blocca è consentito.
Per bloccare all'addestramento una sola cartella invece dell'intero sito:
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
Per i fetcher attivati dagli utenti, leggi la pagina di ogni fornitore prima di affidarti al robots.txt.
Testa ogni regola su URL reali prima di pubblicarla. Il 20 novembre 2026 abbiamo trovato su neova.app due regole che bloccavano più del previsto:
| Regola colpita | Effetto | Portata |
|---|---|---|
| /cdn-cgi/ bloccato | Script email di Cloudflare bloccato | 1.320 pagine |
| Disallow: / sulle favicon | Una lettera semplice al posto del logo in Google | Ogni risultato di ricerca |
Entrambe sono state corrette consentendo i percorsi. Un Disallow scritto per un bot o una cartella raggiunge ogni file al di sotto, script e icone compresi.
Oltre il robots.txt: firewall, CDN e verifica
Il robots.txt è una richiesta, non una serratura. Le aziende di AI citate sopra documentano come i loro crawler lo trattano, ma altri bot possono ignorarlo.
- Controlla anche il firewall. Alcune CDN e WAF hanno impostazioni che bloccano i crawler AI, a volte di default. Un sito può consentire GPTBot nel robots.txt e rispondergli comunque con un 403. Verifica cosa riceve davvero ogni crawler.
- Verifica prima di fidarti. OpenAI e Perplexity pubblicano gli elenchi IP dei loro bot, e Google e Microsoft dei propri. Una richiesta che si presenta come un bot ma arriva da un indirizzo fuori dall'elenco della sua azienda non è quel bot.
- Blocca i malintenzionati all'edge. Per gli scraper che ignorano il robots.txt, le regole nella CDN o sul server sono l'unica cosa che funziona.
Quanto spesso va storto nella pratica: SEO ProCheck ha testato cosa ricevono davvero i crawler AI su 400 siti in Can AI Crawlers Actually Read Your Site? 400 Sites Measured.
Rendi le tue pagine leggibili per i crawler AI
Consentire un crawler è metà della SEO per i crawler AI. L'altra metà è assicurarsi che possa leggere ciò che scarica.
- Metti il contenuto principale nell'HTML. Non tutti i crawler eseguono JavaScript. Se il tuo testo compare solo dopo l'esecuzione degli script, considera che alcuni crawler AI non lo vedranno mai.
- Vai subito al punto. Menu lunghi e testo standard prima del contenuto principale spingono la risposta più in basso nella pagina.
- Non nascondere i fatti chiave in immagini, PDF o widget. Prezzi, specifiche e contatti vanno nel testo HTML semplice.
- Restituisci codici di stato reali. Una pagina rotta o reindirizzata che le risposte AI citano manda i loro lettori su un errore.
- Tieni l'HTML leggero. Googlebot legge i primi 2 MB di un file HTML; Neova segnala le pagine oltre questo limite in L'HTML supera i 2 MB o i Core Web Vitals non sono nella fascia buona.
- llms.txt è facoltativo. È un formato proposto, non uno standard del web. Se ne pubblichi uno, tienilo valido e aggiornato.
Come controllare cosa vedono i crawler AI
Neova mostra cosa è consentito a ogni crawler AI e cosa riceve davvero, nell'app desktop e in Neova Online:
- Cosa riceve ogni assistente AI richiede un campione di pagine come 10 agenti AI, tra cui ChatGPT, Claude e Perplexity e i loro crawler, Meta AI, Google-Extended e Common Crawl, e mostra chi ottiene accesso completo e cosa consente il robots.txt.
- Scansiona come un crawler AI. Esegui un intero crawl come GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot o un altro user agent AI.
- Il Tester del robots.txt mostra cosa possono scaricare Googlebot, Bingbot e i crawler AI, con gli URL bloccati per ciascuno, e avvisa quando il gruppo proprio di un crawler fa cadere le regole del gruppo
*. - La schermata Rendering mostra quante pagine richiedono JavaScript e cosa riceve ogni crawler AI.
- Log del server, nell'app desktop, mostra le visite verificate dei crawler AI e i rifiuti per URL.
- Citazioni AI da Bing Webmaster Tools e dall'AI Visibility di Microsoft Clarity, quando li colleghi. Vedi Microsoft Clarity.
Controlli da cui partire: una richiesta con lo user agent di un crawler di ricerca AI viene bloccata, una regola per un crawler AI nel robots.txt differisce dalla politica scritta, un fetcher AI attivato dagli utenti viene bloccato, una pagina chiave limita gli snippet o blocca i crawler di ricerca AI e bot AI che richiedono URL che rispondono con un errore. Il piano Free include le viste di Ricerca AI; vedi Prezzi o scarica Neova.
Checklist SEO per i crawler AI
| Voce | Fatto quando |
|---|---|
| Politica scritta | Ogni bot AI: consentito o bloccato |
| robots.txt | Rispecchia la politica |
| Gruppi nominati | Regole comuni ripetute |
| Crawler di ricerca AI | Consentiti sulle pagine da citare |
| Firewall e CDN | Come la politica |
| Cosa riceve ogni crawler | 200 e la pagina completa |
| Contenuto principale | Nell'HTML, all'inizio |
| Fatti chiave | Nel testo, non nelle immagini |
| Log | Visite verificate, falsi contati a parte |
| Pagine citate | Rispondono 200 |
Domande
Cos'è GPTBot?
GPTBot è il crawler di OpenAI che raccoglie contenuti che potrebbero servire ad addestrare i suoi modelli. È distinto da OAI-SearchBot, che trova le pagine per ChatGPT Search. Vedi la pagina di OpenAI sui crawler.
Bloccare GPTBot rimuove il mio sito da ChatGPT Search?
No. OpenAI usa bot separati, e ognuno legge le proprie regole nel robots.txt. ChatGPT Search si basa su OAI-SearchBot, quindi puoi bloccare GPTBot e consentire comunque OAI-SearchBot.
Google-Extended influisce sul mio ranking in Google?
Google dice di no: non influisce sull'inclusione nella Ricerca Google e non è un segnale di ranking. Controlla se i tuoi contenuti possono essere usati per i modelli Gemini.
Come si bloccano i crawler LLM?
Aggiungi al robots.txt un gruppo che nomina ogni crawler, come GPTBot, ClaudeBot e CCBot, con Disallow: /. Per i bot che ignorano il robots.txt, aggiungi una regola nel firewall o nella CDN.
Come faccio a sapere se i crawler AI visitano il mio sito?
Leggi i log del server o della CDN e verifica ogni richiesta con l'elenco IP pubblicato dalla relativa azienda. Lo strumento Log del server di Neova lo fa per URL. Vedi Importa invece di connettere per i formati di log.