Crawler SEO avancé : JavaScript, gros sites, comparaison de crawls et suivi
N'importe quel crawler trouve une 404. Un crawler SEO avancé gère les sites qui mettent les outils simples en échec : frameworks JavaScript, millions d'URL, navigation à facettes, migrations, et sites qui changent tous les jours.
Ce qui rend un crawler SEO avancé
Tous les crawlers récupèrent, analysent, suivent les liens et produisent un rapport. Ce qui distingue un crawler avancé, c'est son comportement quand le site devient difficile.
| Cas difficile | Ce qu'il faut regarder | Dans Neova |
|---|---|---|
| Sites JavaScript | Brut ou rendu, page par page | ✓ |
| Pièges à crawl | Repérés et exclus pendant le crawl | Découverte, chaque minute |
| Très gros sites | Crawl conservé sur disque | 60 Mo de mémoire à 60 000 URL |
| Évolution dans le temps | Crawl contre crawl | Comparer les crawls |
| Mises en production quotidiennes | Planifications et alertes | Slack, Microsoft Teams |
| Travail en équipe | CLI, barrière CI, API | ✓ |
| Plusieurs sites | Crawls côte à côte | Jusqu'à 4 à la fois |
Jusqu'à 4 crawls à la fois, c'est à partir de l'offre Desktop, dans une seule fenêtre. Les gros crawls sont limités par votre disque, pas par votre mémoire.
Crawl SEO JavaScript : HTML brut contre HTML rendu
Google crawle d'abord le HTML et rend la page plus tard, quand les ressources le permettent, comme l'expliquent ses principes de base du SEO JavaScript. Beaucoup de crawlers IA ne font peut-être jamais le rendu. La question est donc ce qui manque avant le rendu.
| Seulement dans le HTML rendu | Check Neova |
|---|---|
| Texte principal | L'essentiel du texte principal n'apparaît que dans le HTML rendu |
| Liens internes | Liens internes visibles seulement dans le HTML rendu |
| Canonical | Canonical définie uniquement par JavaScript |
| Title | Title visible seulement dans le HTML rendu |
| Redirection | Page HTML qui redirige via JavaScript |
Le rendu est lent et lourd. Sur un gros site, rendez d'abord quelques pages par template. Un template entièrement rendu côté serveur n'en demande pas plus. Le guide du crawler SEO JavaScript va plus loin.
Besoins d'un crawler SEO enterprise : volume, pièges et templates
Les notes de Google sur la gestion du budget de crawl disent qui doit s'en soucier.
| Site | Pages uniques | Changements de contenu |
|---|---|---|
| Gros | 1 million ou plus | Hebdomadaires |
| Moyen ou plus | 10 000 ou plus | Quotidiens |
En dessous, le budget de crawl est rarement le problème. SEO ProCheck explique plus en détail quand le budget de crawl compte. Les gros sites échouent pourtant leurs crawls de façon prévisible, et la plupart du temps tout commence par un piège à crawl.
| Piège à crawl | Exemple d'URL | Correction habituelle |
|---|---|---|
| Calendrier | /events/2031/04/ | Exclure le motif |
| Dossier répété | /shop/shop/shop/ | Corriger le lien relatif |
| ID de session | /?sid=8f3a2c | Garder les ID hors des liens |
| Combinaisons de filtres | ?color=red&size=9&sort=price | Choisir quelles facettes sont des pages |
| Tri et affichage | ?sort=price&view=grid | Canonical vers l'URL simple |
Pour les filtres, le guide de la navigation à facettes de SEO ProCheck indique quelles facettes méritent leur propre page. L'échantillonnage aide aussi : un nombre fixe de pages par template couvre tous les templates en quelques minutes. Les segments par regex montrent les codes HTTP par section, et l'extraction par XPath, sélecteur CSS ou regex récupère prix, auteurs ou champs schema.

Le volume sur notre propre site, seoprocheck.com, le 17 octobre 2026 : un crawl complet a récupéré 10 222 URL en 61 minutes, et 1,66 Go de corps de pages bruts ont été stockés en 340 Mo.
Comparaison de crawls : voir ce qui a changé
Un audit vous donne l'état du site. En comparer deux vous dit ce qui lui est arrivé. Regardez :
- Les URL nouvelles, supprimées ou modifiées entre les deux
- Les nouveaux flags et les flags résolus
- Titles, meta descriptions et H1, avant et après
- Les règles robots.txt qui ont changé. Voir Règles robots.txt modifiées depuis le crawl précédent.
- Un changement brutal du nombre d'URL crawlables
Comparez ce qui est comparable : un crawl complet avec un crawl complet, mêmes réglages. Un échantillon face à un crawl complet montre des différences qui ne tiennent qu'au périmètre.
Suivi : crawls planifiés et alertes
Le suivi, c'est la comparaison de crawls qui tourne toute seule. Calez le planning sur le rythme des mises en production du site.
| Site | Crawl complet | Instantané Core Web Vitals |
|---|---|---|
| Boutique très active | Quotidiens | Hebdomadaires |
| La plupart des sites | Hebdomadaires | Hebdomadaires |
| Site calme | Mensuel | Mensuel |
Une fois par semaine suffit pour les données terrain des Core Web Vitals, car le Chrome UX Report est une moyenne glissante sur 28 jours. De bons déclencheurs d'alerte : de nouveaux flags depuis le dernier crawl, une baisse des clics, une note Core Web Vitals qui se dégrade, une recherche suivie qui sort du top 10. Envoyez les alertes là où les gens regardent déjà, et gardez-en peu.
Migrations et sites de préproduction
C'est lors des migrations que le crawl se rentabilise. Crawlez l'ancien site, crawlez la préproduction, et comparez codes HTTP, noindex, canonicals, titles, H1, et les URL qui n'existent que d'un côté. Construisez le plan de redirection de l'ancien vers le nouveau et vérifiez chaque redirection en ligne après le lancement.
La préproduction demande en général une authentification HTTP, un robots.txt qui interdit tout, et des liens qui pointent vers le domaine en ligne. Un crawler qui réécrit les liens du domaine en ligne vers l'hôte de préproduction fait gagner des heures. La FAQ migration de site de SEO ProCheck répond aux questions qui surgissent le jour du lancement.
Nous avons trouvé deux erreurs de lancement sur notre propre site. Jusqu'à notre passe SEO du 20 novembre 2026, http://neova.app répondait 200 au lieu d'une 301 vers https, et les adresses inconnues répondaient 503 depuis une page « bientôt disponible » au lieu de 404. Les deux sont corrigées, et ce sont exactement les erreurs qu'un crawl avant et après lancement doit attraper. Voir URL HTTP qui renvoie 200 sur un site HTTPS.
Automatisation : CLI, CI et API
À grande échelle, le crawl fait partie de la mise en production.
| Élément | Tâche | Dans Neova |
|---|---|---|
| Ligne de commande | Lancer des crawls, lire les résultats | CLI neova |
| Barrière CI | Faire échouer un build sur de nouveaux flags | neova check |
| API | Tableaux de bord, outils internes | API REST, 60 requêtes par minute |
| Serveur MCP | Les assistants IA lisent les crawls | ✓ |
| Tickets | Un par problème et par template | Jira, Linear, Asana |
L'API REST fait partie de Neova Online, à partir de l'offre Desktop + Online. Une barrière CI fonctionne mieux avec un crawl de référence de la dernière version saine : le build n'échoue que sur les flags nouveaux, et l'ancienne dette ne bloque pas chaque déploiement.
Comment Neova gère le crawl avancé
- Rendu : rend dans Chrome, toutes les pages ou quelques-unes par groupe de pages, et marque chaque page Server-Rendered, Hydrated ou Needs JavaScript.
- Volume : garde le crawl sur disque, propose Sample per Page Group, et Discovery propose Keep Crawling, Skip ou Exclude pour chaque piège.
- Historique : Compare Crawls, et Historical Data garde chaque crawl, chaque version de robots.txt et chaque sitemap XML.
- Logs serveur : logs Apache ou Nginx, ou votre propre compte Cloudflare ; Googlebot, Bingbot et les crawlers IA ne comptent que si leur adresse figure sur la liste publiée par chaque entreprise.
- Au-delà des sources : garde chaque mois de données Search Console après que Google les supprime au bout de 16 mois.
- Migrations : Redirect Map avec un indice de confiance par URL, Live Redirect Check, Staging vs. Production et URL Rewriting.
Voyez toutes les fonctions sur la page des fonctionnalités, ou comment Neova se compare sur Comparer.
Questions
Qu'est-ce qu'un crawler SEO avancé ?
Un crawler conçu pour les sites difficiles : il rend le JavaScript et le compare au HTML brut, gère les pièges à crawl et les très gros sites, compare les crawls dans le temps, tourne selon un planning et s'intègre aux tickets, à la CI et aux API.
Faut-il rendre chaque page en JavaScript ?
En général non. Rendez d'abord un échantillon par template. Les templates dont tout le contenu est dans le HTML serveur n'ont pas besoin d'un rendu complet ; ceux qui dépendent du JavaScript, si.
Quand le budget de crawl compte-t-il ?
Google parle surtout des sites de 1 million de pages uniques ou plus qui changent chaque semaine, ou de 10 000 ou plus qui changent chaque jour. Les sites plus petits l'atteignent rarement.
Quelle taille de site un crawler SEO enterprise peut-il gérer ?
Cela dépend de l'outil et, pour les crawlers de bureau, de l'ordinateur. Neova garde le crawl sur disque et va jusqu'à 5 millions d'URL par crawl avec l'offre Desktop, selon votre ordinateur. Voir les tarifs.
Peut-on faire échouer un déploiement sur des problèmes SEO ?
Oui, avec une barrière CI. Dans Neova, neova check compare un crawl à une référence et sort avec un code d'erreur quand de nouveaux flags apparaissent, pour que le pipeline puisse arrêter la mise en production.