Crawler SEO avanzato: JavaScript, siti grandi, confronto tra crawl e monitoraggio
Qualsiasi crawler trova un 404. Un crawler SEO avanzato gestisce i siti che mettono in crisi quelli semplici: framework JavaScript, milioni di URL, navigazione a faccette, migrazioni e siti che cambiano ogni giorno.
Cosa rende avanzato un crawler SEO
Ogni crawler scarica, analizza, segue i link e produce report. Quello avanzato si distingue per come si comporta quando il sito si fa difficile.
| Caso difficile | Cosa cercare | In Neova |
|---|---|---|
| Siti JavaScript | Grezzo vs renderizzato, per pagina | ✓ |
| Crawl trap | Individuate ed escluse durante il crawl | Scoperta, ogni minuto |
| Siti molto grandi | Crawl conservato su disco | 60 MB di memoria a 60.000 URL |
| Cambiamenti nel tempo | Crawl contro crawl | Confronta i crawl |
| Rilasci quotidiani | Pianificazioni e avvisi | Slack, Microsoft Teams |
| Lavoro di squadra | CLI, gate in CI, API | ✓ |
| Più siti | Crawl affiancati | Fino a 4 alla volta |
Fino a 4 crawl alla volta è disponibile dal piano Desktop in su, in una sola finestra. I crawl grandi sono limitati dal disco, non dalla memoria.
Crawling SEO di JavaScript: HTML grezzo contro renderizzato
Google scansiona prima l'HTML e renderizza la pagina più tardi, quando le risorse lo permettono, come spiegano le sue nozioni di base sulla SEO per JavaScript. Molti crawler AI potrebbero non renderizzare mai. Quindi la domanda è cosa manca prima del rendering.
| Solo nell'HTML renderizzato | Controllo di Neova |
|---|---|
| Testo principale | La maggior parte del testo principale compare solo nell'HTML renderizzato |
| Link interni | I link interni compaiono solo nell'HTML renderizzato |
| Canonical | Il canonical è impostato solo da JavaScript |
| Title | Il title compare solo nell'HTML renderizzato |
| Redirect | La pagina HTML reindirizza tramite JavaScript |
Il rendering è lento e pesante. Su un sito grande, renderizza prima poche pagine per template. Un template interamente renderizzato lato server non ha bisogno di altro. La guida al crawler SEO per JavaScript approfondisce.
Cosa serve a un crawler SEO enterprise: scala, trappole e template
Le note di Google sulla gestione del crawl budget dicono chi deve preoccuparsene.
| Sito | Pagine uniche | Il contenuto cambia |
|---|---|---|
| Grande | 1 milione o più | Ogni settimana |
| Medio o più grande | 10.000 o più | Ogni giorno |
Sotto queste soglie, il crawl budget è raramente il problema. SEO ProCheck spiega più nel dettaglio quando conta il crawl budget. I siti grandi però falliscono i crawl in modi prevedibili, e quasi sempre si comincia da una crawl trap.
| Crawl trap | URL di esempio | Soluzione tipica |
|---|---|---|
| Calendario | /events/2031/04/ | Escludi il pattern |
| Cartella ripetuta | /shop/shop/shop/ | Correggi il link relativo |
| ID di sessione | /?sid=8f3a2c | Tieni gli ID fuori dai link |
| Combinazioni di filtri | ?color=red&size=9&sort=price | Scegli quali faccette sono pagine |
| Ordinamento e vista | ?sort=price&view=grid | Canonical verso l'URL semplice |
Per i filtri, la guida alla navigazione a faccette di SEO ProCheck spiega quali faccette meritano una pagina propria. Anche il campionamento aiuta: un numero fisso di pagine per template copre ogni template in pochi minuti. I segmenti per regex mostrano i codici di stato per sezione, e l'estrazione tramite XPath, selettore CSS o regex estrae prezzi, autori o campi schema.

La scala sul nostro sito, seoprocheck.com, il 17 ottobre 2026: un crawl completo ha scaricato 10.222 URL in 61 minuti, e 1,66 GB di contenuti grezzi delle pagine sono stati salvati in 340 MB.
Confronto tra crawl: vedere cosa è cambiato
Un audit ti dice lo stato del sito. Confrontarne due ti dice cosa gli è successo. Guarda:
- URL nuovi, rimossi o modificati tra i due
- Segnalazioni nuove e segnalazioni risolte
- Title, meta description e H1, prima e dopo
- Le regole del robots.txt che sono cambiate. Vedi Regole del robots.txt cambiate rispetto al crawl precedente.
- Un cambiamento netto nel numero di URL scansionabili
Confronta cose omogenee: un crawl completo con un crawl completo, con le stesse impostazioni. Un campione confrontato con un crawl completo mostra differenze che riguardano solo il perimetro.
Monitoraggio: crawl pianificati e avvisi
Il monitoraggio è un confronto tra crawl che gira da solo. Adatta la pianificazione alla frequenza con cui il sito pubblica modifiche.
| Sito | Crawl completo | Istantanea dei Core Web Vitals |
|---|---|---|
| Negozio molto attivo | Ogni giorno | Ogni settimana |
| La maggior parte dei siti | Ogni settimana | Ogni settimana |
| Sito tranquillo | Mensile | Mensile |
Una volta a settimana basta per i dati sul campo dei Core Web Vitals, perché il Chrome UX Report è una media mobile su 28 giorni. Buoni trigger per gli avvisi: nuove segnalazioni rispetto all'ultimo crawl, un calo dei clic, un voto peggiore nei Core Web Vitals, una ricerca monitorata che esce dalla top 10. Manda gli avvisi dove le persone guardano già, e tienili pochi.
Migrazioni e siti di staging
Le migrazioni sono il momento in cui il crawling si ripaga. Scansiona il vecchio sito, scansiona lo staging e confronta codici di stato, noindex, canonical, title, H1 e URL che esistono da una sola parte. Costruisci la mappa dei redirect dal vecchio al nuovo e controlla ogni redirect live dopo il lancio.
Lo staging di solito richiede l'autenticazione HTTP, un robots.txt che blocca tutto e link che puntano al dominio live. Un crawler che riscrive i link del dominio live verso l'host di staging fa risparmiare ore. Le FAQ sulla migrazione dei siti di SEO ProCheck rispondono alle domande che emergono il giorno del lancio.
Abbiamo trovato due errori di lancio sul nostro sito. Fino al nostro controllo SEO del 20 novembre 2026, http://neova.app rispondeva 200 invece di un 301 verso https, e gli indirizzi sconosciuti rispondevano 503 da una pagina "in arrivo" invece di 404. Ora sono entrambi corretti, ed entrambi sono ciò che un crawl prima e dopo il lancio dovrebbe intercettare. Vedi L'URL HTTP restituisce 200 su un sito HTTPS.
Automazione: CLI, CI e API
Su larga scala, il crawling diventa parte del rilascio.
| Elemento | Job | In Neova |
|---|---|---|
| Riga di comando | Avviare crawl, leggere i risultati | CLI neova |
| Gate in CI | Far fallire una build con nuove segnalazioni | neova check |
| API | Dashboard, strumenti interni | REST API, 60 richieste al minuto |
| Server MCP | Gli assistenti AI leggono i crawl | ✓ |
| Ticket | Uno per problema e template | Jira, Linear, Asana |
La REST API fa parte di Neova Online, dal piano Desktop + Online in su. Un gate in CI funziona meglio con un crawl di riferimento dell'ultimo rilascio valido: la build fallisce solo per le segnalazioni nuove, così il debito vecchio non blocca ogni deploy.
Come Neova gestisce il crawling avanzato
- Rendering: renderizza in Chrome, tutte le pagine o alcune per gruppo di pagine, e classifica ogni pagina come Renderizzata lato server, Idratata o Richiede JavaScript.
- Scala: conserva il crawl su disco, offre il Campione per gruppo di pagine, e Scoperta propone Continua il crawl, Salta o Escludi per ogni trappola.
- Storico: Confronta i crawl, e i Dati storici conservano ogni crawl, ogni versione del robots.txt e ogni sitemap XML.
- Log del server: log di Apache o Nginx, o il tuo account Cloudflare; Googlebot, Bingbot e i crawler AI contano solo quando il loro indirizzo è nell'elenco che ogni azienda pubblica.
- Oltre le fonti: conserva ogni mese di dati di Search Console dopo che Google li elimina a 16 mesi.
- Migrazioni: Mappa dei redirect con un grado di affidabilità per URL, Verifica live dei redirect, Staging rispetto a produzione e Riscrittura degli URL.
Vedi tutte le funzionalità nella pagina delle funzionalità, o come si confronta Neova in Confronto.
Domande
Cos'è un crawler SEO avanzato?
Un crawler pensato per i siti difficili: renderizza JavaScript e lo confronta con l'HTML grezzo, gestisce crawl trap e siti molto grandi, confronta i crawl nel tempo, gira secondo una pianificazione e si integra con ticket, CI e API.
Devo renderizzare ogni pagina con JavaScript?
Di solito no. Renderizza prima un campione per template. I template che hanno tutto il contenuto nell'HTML del server non hanno bisogno del rendering completo; quelli che dipendono da JavaScript sì.
Quando conta il crawl budget?
Google dice soprattutto per i siti con 1 milione o più di pagine uniche che cambiano ogni settimana, o 10.000 o più che cambiano ogni giorno. I siti più piccoli raramente ci arrivano.
Quanto può essere grande un sito per un crawler SEO enterprise?
Dipende dallo strumento e, per i crawler desktop, dal computer. Neova conserva il crawl su disco e arriva fino a 5 milioni di URL per crawl con il piano Desktop, a seconda del tuo computer. Vedi i prezzi.
Posso bloccare un deploy per problemi SEO?
Sì, con un gate in CI. In Neova, neova check confronta un crawl con uno di riferimento ed esce con un codice di errore quando compaiono nuove segnalazioni, così la pipeline può fermare il rilascio.