Crawler SEO JavaScript : comment crawler un site JavaScript
Un site construit avec React, Vue, Angular ou Next.js peut sembler parfait dans un navigateur et pourtant livrer aux crawlers une page presque vide. Un crawler SEO JavaScript vous montre les deux versions, le HTML envoyé par le serveur et la page après exécution des scripts, et les endroits où elles diffèrent.
Pourquoi les sites JavaScript demandent un autre crawl
Google traite les pages JavaScript en trois phases : crawl, rendu dans un Chromium headless quand il en a les ressources, puis indexation. Les principes de base du SEO JavaScript de Google expliquent la file d'attente entre crawl et rendu. Tant que le rendu n'a pas eu lieu, Google travaille avec le HTML brut.
D'autres crawlers ne font peut-être jamais de rendu. Beaucoup de crawlers IA et certains moteurs de recherche ne lisent que le HTML envoyé par le serveur. La vraie question est donc ce qui manque avant le rendu, et si quelque chose change en chemin.
Un crawler HTML simple ne voit que la réponse brute. Un crawler SEO JavaScript charge chaque page dans un vrai navigateur, attend qu'elle se stabilise, et garde les deux versions côte à côte. SEO ProCheck explique étape par étape comment les moteurs de recherche et les crawlers IA rendent vos pages.
Pages rendues côté client, côté serveur, statiques et hydratées
La façon dont le site construit ses pages décide de ce que le HTML brut doit contenir.
| Construction de la page | Le HTML brut contient | Texte sans JavaScript | Configuration typique |
|---|---|---|---|
| Rendu côté client | Une div racine, des balises script | – | Application React, Vue ou Angular |
| Rendu côté serveur | La page complète | ✓ | Next.js, Nuxt, Angular SSR |
| Génération statique | La page complète, pré-construite | ✓ | Exports statiques, générateurs de sites |
| Hydratation | La page complète, puis les scripts | ✓ | La plupart des sites à framework |
| Mixte | Dépend du template | ◐ | La plupart des vrais sites |
Un site Next.js peut servir les fiches produit depuis le serveur et construire les résultats de recherche ou les pages de compte dans le navigateur. C'est pourquoi on vérifie template par template : un seul template rendu côté client peut cacher des milliers d'URL.
HTML rendu vs HTML brut : quoi comparer
Comparez élément par élément. Pour chacun : est-il présent dans le HTML brut, et JavaScript le modifie-t-il ?
| Élément | Risque s'il n'est que rendu | Check Neova |
|---|---|---|
| Title | La page n'a pas de nom | Title visible seulement dans le HTML rendu |
| Meta description | Pas de source pour le snippet | Meta description présente seulement dans le HTML rendu |
| H1 | Pas de sujet visible | H1 présent seulement dans le HTML rendu |
| Canonical | Deux signaux différents | Canonical modifiée ou supprimée par JavaScript |
| Noindex | Google peut sauter le rendu | Directive noindex retirée par JavaScript |
| Liens internes | Découvert tard, ou jamais | Liens internes visibles seulement dans le HTML rendu |
| Texte principal | Page brute trop maigre | L'essentiel du texte principal n'apparaît que dans le HTML rendu |
Les données structurées et le hreflang peuvent eux aussi être injectés par des scripts. Vérifiez qu'ils sont présents, et identiques, dans les deux versions. Le schéma le plus sûr est sans surprise : tout ce qui compte pour la recherche est dans le HTML serveur, et JavaScript n'ajoute que l'interaction.
Les chiffres qui comptent sur un site JavaScript
| Limite | Valeur | Source |
|---|---|---|
| HTML récupéré par Googlebot par fichier | Les 15 premiers Mo | |
| Temps de rendu signalé | Plus de 4 secondes | Le rendu JavaScript prend plus de 4 secondes |
| Texte principal seulement dans le HTML rendu | Plus de la moitié, 50 mots ou plus | Le groupe de pages dépend du rendu JavaScript pour le texte principal ou la navigation |
| Liens de navigation seulement rendus | La moitié ou plus | Le groupe de pages dépend du rendu JavaScript pour le texte principal ou la navigation |
| Routes en hash envoyées au serveur | Rien après le # | RFC 3986 |
Les seuils de 4 secondes et de la moitié du texte sont ceux de Neova, indiqués dans la règle de chaque check. Les 15 Mo et la règle du fragment viennent de Google et de la norme URI.
Comment configurer un crawl SEO JavaScript
- Crawlez d'abord sans rendu. Un crawl brut rapide montre ce que le serveur envoie. S'il trouve très peu de pages, la navigation a probablement besoin de JavaScript.
- Rendez un échantillon par template. Quelques pages par groupe de pages montrent quels templates dépendent des scripts. Ne rendez tout le site que là où c'est le cas.
- Laissez les pages se stabiliser. Attendez que le réseau se calme et que la page cesse de changer.
- Ne bloquez pas les scripts. Voir Page HTML utilisant un fichier JavaScript bloqué par robots.txt.
- Gardez une vitesse polie. Une page rendue peut représenter des dizaines de requêtes pour les scripts, les styles et les appels d'API.
- Lisez aussi les échecs. Voir Rendu JavaScript en échec ou expiré.

Le guide comment crawler un site couvre le périmètre, la vitesse et l'autorisation.
Les problèmes de SEO JavaScript courants qu'un crawler trouve
- Des liens qui n'en sont pas. Google suit les éléments
aavec unhref. Un bouton avec un gestionnaire de clic n'est pas un lien. Voir le guide de Google sur les liens explorables. - Des routes derrière un hash.
/#/productsressemble à une seule page, car la partie après le hash n'atteint jamais le serveur. Utilisez l'History API et de vrais chemins. - Soft 404. Une single page app répond souvent 200 pour chaque route, puis affiche un message « introuvable » dans le navigateur.
- Du contenu qui attend un clic ou un scroll. Les crawlers ne cliquent pas sur les onglets. Les notes de Google sur le contenu en chargement différé montrent comment le charger pour qu'il soit indexé.
- Des métadonnées bloquées sur la première route. Le title et la canonical gardent les valeurs de la première page si le routeur ne les met pas à jour.
- Des redirections en JavaScript. Prises en compte plus lentement qu'une redirection serveur, et certains crawlers ne les voient jamais.
- Des erreurs qui suppriment du contenu. Un seul appel d'API en échec peut laisser une page sans son title ou son texte principal. Voir Erreurs JavaScript qui suppriment title, canonical ou texte principal au rendu.
Plus de réponses dans la FAQ SEO JavaScript de SEO ProCheck.
Crawler des sites React, Next.js et single page apps
Une single page app. Attendez-vous à un HTML brut presque vide et à un petit crawl brut. Rendez un échantillon de chaque type de route et vérifiez que chaque route a sa propre URL, son title et sa canonical, et un vrai statut 404 pour les pages qui n'existent pas. Le rendu côté serveur ou la génération statique est la correction qui aide tous les crawlers à la fois.
Un site Next.js ou Nuxt. La plupart des pages sont déjà dans le HTML brut. Cherchez les exceptions : routes construites dans le navigateur, métadonnées définies par un composant client, menus qui ne s'affichent qu'après l'hydratation.
Un mélange. Regroupez les URL par template et regardez, par groupe, la part des pages dont le contenu est dans le HTML brut. Un groupe très en dessous des autres correspond en général à un template à corriger. Testez après chaque mise en production : un petit changement de composant peut faire passer un title ou un lien du serveur au navigateur.
Au-delà de Google : les crawlers IA et le HTML brut
Les assistants IA récupèrent des pages pour répondre aux questions, et beaucoup de leurs crawlers lisent le HTML tel qu'il arrive. Une page qui a besoin de JavaScript pour son texte principal peut être presque vide pour eux, même quand Google l'indexe sans problème. SEO ProCheck détaille SSR vs CSR et la visibilité IA.
Un crawl SEO JavaScript doit donc aussi montrer ce que reçoit chaque crawler IA. Le guide des crawlers IA couvre les tokens et les règles robots.txt.
Comment Neova crawle les sites JavaScript
Neova tourne sur Mac (Apple silicon), Windows et Linux, avec Neova Online dans le navigateur. Le rendu JavaScript est inclus dans toutes les offres, l'offre Free comprise.
| Fonctionnalité | Ce que ça fait |
|---|---|
| Rendu dans Chrome | Toutes les pages, ou quelques-unes par groupe |
| Attente du rendu | Attend que la page se stabilise |
| Colonne Rendu | Rendu côté serveur, Hydraté, Nécessite JavaScript |
| Source, brut et rendu | Les deux versions HTML, côte à côte |
| Écran Rendu | Ce que reçoit chaque crawler IA |
| Badge Crawlé sans rendu | Checks ignorés, recrawl en un clic |
| Crawler avec Chrome | Pour les sites avec une protection anti-bots |
Le rendu est désactivé par défaut, pour qu'un premier crawl reste rapide. Crawler avec Chrome est dans l'application de bureau. La page des fonctionnalités liste le reste, Comparer montre comment les autres crawlers gèrent le rendu, et le guide du crawler SEO avancé couvre le rendu à grande échelle.
Questions
Qu'est-ce qu'un crawler SEO JavaScript ?
Un crawler qui charge les pages dans un vrai navigateur, exécute leurs scripts et garde la page rendue à côté du HTML brut envoyé par le serveur. Comparer les deux révèle les titles, liens, canonicals et textes qui n'existent qu'après l'exécution de JavaScript.
Google fait-il le rendu du JavaScript ?
Oui. Google crawle une URL, la met en file d'attente pour le rendu dans un Chromium headless, puis indexe la page rendue. Le rendu peut arriver après le crawl, et beaucoup de crawlers IA ne lisent que le HTML brut.
Quelle est la différence entre HTML brut et HTML rendu ?
Le HTML brut est ce que le serveur envoie avant l'exécution de tout script. Le HTML rendu est la page après que le navigateur a exécuté son JavaScript. Sur un site rendu côté serveur, les deux sont proches ; sur une application rendue côté client, le HTML brut peut être presque vide.
Faut-il rendre chaque page d'un site JavaScript ?
En général non. Rendez d'abord quelques pages par template. Les templates entièrement présents dans le HTML serveur n'ont pas besoin d'un rendu complet ; ceux qui dépendent de JavaScript, si.
Puis-je crawler un site React ou Next.js gratuitement ?
Oui. L'offre Free de Neova inclut le rendu JavaScript dans Chrome, jusqu'à 1 000 URL par crawl, avec tous les checks. Consultez les tarifs ou téléchargez Neova.