Crawler SEO con AI: dove l'AI aiuta un audit e come fare l'audit per la ricerca AI
"Crawler SEO con AI" significa due cose: un crawler che usa l'AI e un crawler che controlla come il tuo sito appare alla ricerca AI. Uno utile fa entrambe le cose, e tiene separati i risultati che vengono da un modello da quelli che vengono da regole.
I due significati di crawler SEO con AI
Quando si cerca un crawler SEO con AI, si vuole una di due cose.
- Un crawler che usa l'AI nell'audit. Un modello linguistico legge le pagine e giudica ciò che le regole non possono: se una pagina risponde alla sua intestazione, se un'affermazione ha qualcosa a sostegno.
- Un crawler che fa l'audit per la ricerca AI. Controlla cosa possono scaricare GPTBot, ClaudeBot, PerplexityBot e gli altri crawler AI, cosa il tuo server consegna loro davvero e se le risposte AI citano le tue pagine.
Il primo riguarda come si fa l'audit. Il secondo riguarda cosa copre. Uno strumento può essere bravo nell'uno e debole nell'altro.
Dove l'AI aiuta in un audit SEO, e dove no
Gran parte di un audit tecnico è contare e confrontare. Le regole lo fanno con esattezza, sempre allo stesso modo. Un modello lì non aggiunge nulla e può sbagliare un numero. L'AI si guadagna il posto sulle domande che richiedono lettura.
| Compito | Regole | Modello |
|---|---|---|
| Codici di stato e redirect | ✓ | – |
| Canonical e hreflang | ✓ | – |
| Lunghezza di title e description | ✓ | – |
| robots.txt per crawler | ✓ | – |
| Il testo risponde all'intestazione | – | ✓ |
| Affermazioni senza cifre a sostegno | – | ✓ |
| Intento di ricerca ed entità principali | – | ✓ |
| Bozze di meta description | – | ✓ |
Due cose da verificare in qualsiasi strumento di audit SEO con AI. I risultati del modello sono tenuti separati da quelli basati su regole, così un'ipotesi non gonfia mai il numero di errori? E dove va il testo delle tue pagine: a un modello in cloud o a uno sul tuo computer?
I crawler AI e i loro token nel robots.txt
Ogni azienda di AI gestisce più di un agente, e ognuno rispetta il proprio gruppo nel robots.txt. Bloccare il crawler di addestramento non blocca quello di ricerca.
| Token del robots.txt | Società | Job |
|---|---|---|
| GPTBot | OpenAI | Addestramento |
| OAI-SearchBot | OpenAI | Ricerca |
| ChatGPT-User | OpenAI | Scaricamento per un utente |
| ClaudeBot | Anthropic | Addestramento |
| Claude-SearchBot | Anthropic | Ricerca |
| Claude-User | Anthropic | Scaricamento per un utente |
| PerplexityBot | Perplexity | Ricerca |
| Perplexity-User | Perplexity | Scaricamento per un utente |
| Google-Extended | Solo token, nessun crawler |
Fonti: la pagina di OpenAI sui crawler, la pagina di Perplexity sui bot e l'elenco dei crawler di Google, che dice che Google-Extended non ha uno user agent proprio: è un token del robots.txt letto dai crawler esistenti di Google. SEO ProCheck tiene un elenco più lungo in AI bot user agents explained.
Da cosa dipende la visibilità nella ricerca AI
Gli assistenti AI trovano le pagine tramite i propri crawler, fetcher attivati dagli utenti e indici di ricerca come quelli di Bing e Google. Il tuo sito può inciampare a ogni passaggio.
| Passaggio | Cosa va storto | Controllo di Neova |
|---|---|---|
| robots.txt | Una regola ampia blocca i crawler AI | La regola per un crawler AI nel robots.txt differisce dalla politica scritta |
| Firewall e CDN | 403 o una pagina di verifica | Una richiesta con lo user agent di un crawler di ricerca AI viene bloccata |
| Rendering | Il testo richiede JavaScript | La maggior parte del testo principale compare solo nell'HTML renderizzato |
| Ordine della pagina | Il testo inizia dopo 5.000 caratteri | Il contenuto principale inizia dopo i primi 5.000 caratteri del testo |
| Controlli degli snippet | nosnippet sulle pagine chiave | Una pagina HTML chiave limita gli snippet o blocca i crawler di ricerca AI |
| URL citati | La pagina citata restituisce 404 | Gli assistenti AI citano un URL che restituisce 404 o 410 |
Il caso del robots.txt l'abbiamo trovato sul nostro sito. Durante il nostro controllo SEO di neova.app del 20 novembre 2026, il robots.txt bloccava lo script email di Cloudflare sotto /cdn-cgi/ su 1.320 pagine finché non l'abbiamo consentito, e i file della favicon erano dietro Disallow: /, così Google mostrava una lettera semplice invece del nostro logo. Le regole ampie bloccano più di quanto intendevi. SEO ProCheck ha misurato l'accesso dei crawler AI su 400 siti se vuoi vedere quanto è comune.
Google spiega come le sue funzionalità AI usano i tuoi contenuti in Funzionalità AI e il tuo sito web.
Come controllare cosa possono vedere i crawler AI
- Leggi il robots.txt per crawler. Un crawler con un gruppo proprio ignora le regole del gruppo *.
- Richiedi le pagine chiave con ogni user agent AI. Confronta il codice di stato e la dimensione della risposta con quello che riceve un browser. Un 403 o una risposta minuscola significano che qualcosa davanti al sito lo blocca.
- Confronta HTML grezzo e renderizzato. Se testo principale, link o title compaiono solo dopo JavaScript, correggilo nell'HTML del server.
- Controlla llms.txt se ne pubblichi uno. È facoltativo; uno rotto è peggio di nessuno. Vedi llms.txt non è valido o restituisce un errore del server e SEO ProCheck su se l'AI usa davvero llms.txt.
- Leggi il log del server. Le visite verificate dei crawler AI per URL mostrano cosa scaricano, e le risposte 403 e 429 che ricevono. Le richieste che si limitano a dichiarare il nome di un crawler vengono segnalate da Richieste di crawler AI non verificati hanno ricevuto 2xx.
Misurare la visibilità nella ricerca AI
L'accesso è la parte che controlli. Essere citati è il risultato, e per vederlo servono dati esterni.
| Fonte | Mostra | In Neova |
|---|---|---|
| Bing Webmaster Tools | Citazioni nelle risposte AI di Bing | ✓ |
| Google Analytics 4 | Sessioni dagli assistenti AI | ✓ |
| Microsoft Clarity | Pagine citate, richieste dei bot AI | ✓ |
| Test dei prompt | Brand in ChatGPT, Perplexity | Il tuo account DataForSEO |
| AI Overview | Mostrato, e citato o no | Il tuo account DataForSEO |
| Log del server | Visite verificate dei crawler AI | ✓ |
Considerale tendenze, non conteggi esatti. Le risposte variano da un'esecuzione all'altra. La pagina su Clarity mostra come funziona quel collegamento.
Come Neova usa l'AI e fa l'audit per la ricerca AI
Neova tiene separati i due significati.
| Funzionalità | Funziona su | Il testo delle pagine lascia il computer |
|---|---|---|
| Revisione AI, 44 controlli | Ollama, il tuo computer | – |
| Chiedi | Ollama, il tuo computer | – |
| Prompt AI | Ollama o la tua chiave | Solo al fornitore che hai scelto |
| Server MCP | Il tuo computer | – |
- Le segnalazioni della Revisione AI restano fuori dai conteggi Da correggere e Da controllare.
- Prompt AI esegue i tuoi prompt per pagina con Ollama o con la tua chiave Anthropic, OpenAI o Google Gemini.
- Chiedi prende la risposta da ciò che la finestra mostra già, quindi non si inventa numeri.
- La categoria Ricerca AI ha 45 controlli su cosa possono scaricare i crawler AI, cosa riceve ogni assistente, llms.txt e file per agenti.
- Cosa riceve ogni assistente: un campione di pagine richiesto come 10 agenti AI, o un intero crawl come GPTBot, ClaudeBot, PerplexityBot e altri.
La Revisione AI gira nell'app desktop dal piano Desktop in su; vedi i prezzi.
Checklist di crawl per la ricerca AI
- Le regole del robots.txt per ogni crawler AI corrispondono a ciò che ha deciso la tua azienda.
- Le pagine chiave rispondono 200 agli user agent dei crawler AI, non 403 o una pagina di verifica.
- I fetcher attivati dagli utenti non sono bloccati dal firewall o dalla CDN.
- Testo principale, title e link sono nell'HTML del server.
- Il contenuto principale inizia entro i primi 5.000 caratteri del testo.
- Nessun nosnippet accidentale sulle pagine che vuoi vedere citate.
- llms.txt, se pubblicato, è valido.
- Le pagine citate dalle risposte AI non sono rotte né reindirizzate.
Domande
Cos'è un crawler SEO con AI?
O un crawler che usa l'AI per giudicare le pagine, o uno che controlla come un sito appare alla ricerca AI: cosa possono scaricare i crawler AI, cosa ricevono e se le risposte AI lo citano. Uno buono fa entrambe le cose e indica quali risultati vengono da un modello.
I crawler AI renderizzano JavaScript?
Di molti non risulta. I contenuti che compaiono solo dopo l'esecuzione di JavaScript potrebbero non raggiungerli mai, quindi tieni testo principale, title e link nell'HTML del server.
Devo bloccare GPTBot e gli altri crawler AI?
È una decisione di business, non un'impostazione SEO predefinita. I crawler di addestramento e di ricerca hanno token diversi, quindi puoi consentirne uno e bloccare l'altro. Qualunque cosa decidi, verifica che robots.txt e firewall dicano la stessa cosa.
Bloccare Google-Extended mi toglie dalla Ricerca Google?
No. Google dice che Google-Extended è un token del robots.txt senza un crawler proprio, e che non influisce sull'inclusione nella Ricerca Google.
llms.txt è obbligatorio?
No. È facoltativo, e Neova non segnala un sito che non ce l'ha. Se ne pubblichi uno, tienilo valido e aggiornato.
Neova invia le mie pagine a un fornitore di AI?
Non per la Revisione AI o Chiedi, che usano un modello sul tuo computer tramite Ollama. Prompt AI può usare la tua chiave Anthropic, OpenAI o Gemini, e Neova ti avvisa quando il testo delle pagine va al fornitore che hai scelto.