Crawler SEO technique : à quoi il sert et comment le choisir
Un crawler SEO technique lit un site comme le fait un moteur de recherche et vous dit ce qui gêne. Voici ce qu'il doit vérifier, les chiffres derrière chaque check, ce qu'a révélé un crawl complet de notre propre site, et comment choisir un outil.
Ce que fait un crawler SEO technique
Un crawler SEO technique part d'une URL, la récupère, lit les liens et les suit, la même boucle que fait tourner Googlebot. Pour chaque URL, il enregistre le code HTTP, les en-têtes, le HTML, la canonical, les directives robots et les liens entrants et sortants.
Le crawl, c'est la moitié du travail. L'autre moitié consiste à comparer les pages entre elles et avec les règles que publient les moteurs. Un lien cassé se voit facilement. Une canonical qui pointe vers une redirection sur 3 000 fiches produits, non, et c'est là qu'un crawler prouve son utilité.
La plupart des crawlers lisent aussi les sitemaps XML et le robots.txt : ils montrent quelles pages le site dit importantes, lesquelles il bloque, et où ces deux versions se contredisent.
Ce qu'un outil d'audit SEO technique doit vérifier
Tout crawler d'audit de site sérieux couvre les mêmes domaines de base. Les voici, avec l'objectif à viser et le check Neova qui signale un écart.
| Domaine | Objectif | Check Neova |
|---|---|---|
| Codes HTTP | 0 lien interne vers des 4xx ou 5xx | URL interne qui renvoie 4xx, 5xx ou aucune réponse |
| Redirections | 1 saut, pas de chaîne | URL interne dans une chaîne de redirections |
| Canoniques | Pointer vers une URL qui répond 200 | Canonical qui pointe vers une URL qui redirige |
| Taille du sitemap XML | 50 000 URL, 50 Mo par fichier | Sitemap XML de plus de 50 000 entrées |
| Couverture des sitemaps XML | Chaque page indexable listée | URL indexable absente de tout sitemap XML |
| robots.txt | 500 Kio lus par Google | robots.txt inaccessible ou trop volumineux |
| Profondeur de crawl | 3 clics ou moins | URL indexable à une profondeur de crawl de 4 ou plus |
| Titles | 60 caractères (valeur par défaut courante) | Title de plus de 60 caractères |
| Meta descriptions | 155 caractères (valeur par défaut courante) | Meta description de plus de 155 caractères |
| hreflang | Lien de retour sur chaque cible | Lien de retour hreflang manquant |
Les limites strictes viennent des sources : 50 000 URL et 50 Mo par fichier selon le protocole sitemaps.org, 500 Kio selon la spécification du robots.txt de Google, les liens de retour selon le guide hreflang de Google. Les longueurs de title et de description sont des valeurs d'affichage par défaut, pas des règles : Google coupe selon la largeur en pixels, alors traitez-les en À vérifier, pas en À corriger.
Pour un parcours plus long de chaque domaine, voir la checklist d'audit SEO technique sur SEO ProCheck.
Ce qu'a trouvé un crawl complet de notre propre site
Nous avons crawlé notre propre site, seoprocheck.com, avec Neova le 17 octobre 2026, un crawl complet avec les sitemaps XML. Voici les chiffres.
| Mesure | seoprocheck.com, 17 oct. 2026 |
|---|---|
| URL récupérées | 10 222 |
| Durée | 61 minutes |
| Pages HTML qui répondent 200 | 4 561 |
| URL dans les sitemaps XML | 1 835 |
| Atteintes par des liens, dans aucun sitemap | 2 727 |
| Dans un sitemap, atteintes par aucun lien | 1 |
| Complétude | 99.98% |
| Corps des pages | 1,66 Go bruts, 340 Mo stockés |
| Flag | URL |
|---|---|
| Meta description de plus de 155 caractères | 582 |
| Title de plus de 60 caractères | 557 |
| Balise title dupliquée entre pages HTML | 56 |
| Canonical vers une autre URL interne | 5 |
| Image sans texte alternatif | 2 |
Deux leçons. D'abord, les sitemaps ne racontaient que la moitié de l'histoire : 2 727 URL étaient accessibles par des liens mais n'étaient listées nulle part, ce que seul un crawl qui suit les liens et lit les sitemaps peut montrer. Ensuite, les plus gros chiffres étaient des flags de longueur, qui relèvent du jugement. Les 5 canonicals et les 2 textes alt manquants sont moins nombreux mais plus vite réglés. Triez selon ce que touche un flag, pas selon la taille de son chiffre.
Comment lancer un crawl SEO technique
- Choisissez l'URL de départ. Utilisez la version de la page d'accueil qui répond 200. Si http ou l'autre hôte répond aussi 200, c'est votre premier constat.
- Fixez le périmètre. Tout le site, quelques dossiers, ou un échantillon de chaque template. Sur un gros site, un échantillon par template trouve le schéma plus vite.
- Activez XML Sitemaps. Les crawler après les liens fait apparaître les pages que listent les sitemaps mais qu'aucun lien n'atteint.
- Décidez du rendu JavaScript. Sur un site à framework, faites le rendu d'un échantillon et comparez-le au HTML brut.
- Réglez une vitesse courtoise. Quelques URL par seconde suffisent largement. N'allez plus vite que sur un site qui vous appartient.
- Surveillez les premières minutes. Si le nombre d'URL grimpe bien plus vite que prévu, vous avez trouvé un piège à crawl : un calendrier, un filtre à facettes ou un identifiant de session. Excluez-le et continuez.
- Lisez d'abord le résumé. Partez des problèmes qui touchent le plus de pages indexables.
Vous débutez ? Votre premier crawl vous guide dans Neova.
Lire les résultats sans s'y noyer
Un audit complet d'un site moyen peut produire des milliers de flags. La plupart viennent de quelques causes, en général un template.
- Regroupez par template. Si 90 % des fiches produits partagent un flag, c'est une seule correction, pas 4 000 tickets.
- Pondérez par le trafic. Une page cassée qui reçoit des clics de recherche compte plus qu'une page que personne ne visite. Associez les données de Google Search Console au crawl.
- Séparez À corriger et À vérifier. Une 5xx sur une page clé est à corriger. Un title qui dépasse la limite de quelques caractères relève du jugement.
- Vérifiez la source. Quand un développeur demande pourquoi une règle existe, répondez avec un document de Google ou du W3C. La référence des codes HTTP de SEO ProCheck explique ce que signifie chaque code.
- Crawlez à nouveau après la correction. Comparer deux crawls est la seule preuve que la correction est en ligne et n'a rien cassé d'autre.

Comment choisir le meilleur crawler SEO pour vous
Il n'existe pas de meilleur crawler SEO unique. Un freelance qui audite de petits sites n'a pas les mêmes besoins qu'une équipe interne avec un million d'URL. Ces questions aident à faire le tri.
| Question | À chercher | Neova |
|---|---|---|
| Où tourne-t-il ? | Vos ordinateurs, ou un navigateur | |
| Quelle taille peut atteindre un crawl ? | Limite d'URL, stockage sur disque | Jusqu'à 5 millions d'URL |
| Fait-il le rendu JavaScript ? | Brut et rendu, côte à côte | ✓ |
| Les checks sont-ils expliqués ? | Règle, signification, correction, source | 694 checks |
| Compare-t-il les crawls ? | URL nouvelles, corrigées, modifiées | ✓ |
| Et après ? | Exports, tickets, alertes | ✓ |
| Peut-on l'essayer gratuitement ? | Une offre ou un essai | 1 000 URL, tous les checks |
Le chiffre de 5 millions concerne l'offre Desktop et dépend de votre ordinateur. Notre page de comparaison place Neova à côté de Screaming Frog, Sitebulb et d'autres, ligne par ligne, d'après leur propre documentation.
Comment Neova fait le crawl SEO technique
Neova est un crawler SEO de bureau pour Mac (Apple silicon), Windows et Linux, avec Neova Online dans le navigateur sur le même compte. Il crawle à partir d'une URL de départ, de ses liens et de ses sitemaps XML, puis lance 694 checks. Chaque check dit quand il signale, ce que cela signifie en général et ce que vous pourriez faire, avec un lien vers sa source.
- Périmètre : un crawl complet, des dossiers, un échantillon par groupe de pages, ou une liste d'URL.
- Courtois par défaut : 3 URL par seconde, en ralentissant de lui-même quand le serveur répond 429 ou 503.
- Chaque URL prise en compte : chaque URL trouvée tombe dans une catégorie, et Découverte propose d'exclure un piège à crawl sans s'arrêter.
- Rendu : rendu JavaScript optionnel dans Chrome, comparé au HTML brut.
- Après le crawl : des flags À corriger et À vérifier, des tickets par check et par groupe de pages, un plan d'action, Comparer les crawls, et des exports du CSV au PDF à votre marque.
La page des fonctionnalités donne la liste complète, et Comparer la met en regard des autres crawlers.
Une courte checklist de crawl SEO technique
- Une seule version de la page d'accueil répond 200 ; les autres redirigent vers elle.
- Aucun lien interne vers des URL en 4xx ou 5xx.
- Aucune chaîne ni boucle de redirection entre URL internes.
- Les canonicals pointent vers des URL indexables qui répondent 200.
- Chaque page indexable est dans un sitemap XML, et rien d'autre n'y est.
- Aucune page clé à plus de 3 clics de la page d'accueil.
- Aucune page ne répond 200 avec un message « introuvable ». Voir Balise title ou H1 avec une formule de soft 404.
- Les titles, les liens et le texte principal sont dans le HTML brut.
- Le robots.txt ne bloque que ce qu'il est censé bloquer.
Gardez ouvert le guide de Google sur les URL canoniques pendant que vous travaillez, ainsi que la FAQ sur l'audit SEO de SEO ProCheck pour les questions que posent les clients.
Questions
Qu'est-ce qu'un crawler SEO technique ?
Un programme qui récupère un site page par page, en suivant les liens comme le fait un moteur de recherche, et enregistre les codes HTTP, les directives, les canonicals et les liens. Il confronte ensuite ces données aux règles des moteurs et signale ce qui gêne le crawl et l'indexation.
Quel est le meilleur crawler SEO ?
Celui qui convient à vos sites. Comparez où il tourne, quelle taille un crawl peut atteindre, s'il fait le rendu JavaScript, la clarté avec laquelle chaque constat est expliqué, et s'il compare les crawls. Essayez-le sur votre propre site avant de décider.
Un crawler d'audit de site, est-ce la même chose que Google Search Console ?
Non. Search Console montre ce que Google a vu et fait. Un crawler montre ce que votre site sert en ce moment, sur chaque URL qu'il peut atteindre. Ils fonctionnent mieux ensemble, c'est pourquoi beaucoup de crawlers associent les données de Search Console au crawl.
Combien de temps dure un crawl SEO technique ?
Cela dépend de la taille et de la vitesse que vous réglez. Notre propre crawl complet de seoprocheck.com a récupéré 10 222 URL en 61 minutes le 17 octobre 2026. Un échantillon par template prend quelques minutes.
À quelle fréquence lancer un crawl SEO technique ?
Après chaque mise en production importante, et chaque semaine pour les sites qui changent souvent. Comparez chaque crawl au précédent pour que les changements ressortent.
Puis-je essayer Neova gratuitement ?
Oui. L'offre Free crawle jusqu'à 1 000 URL par crawl avec tous les checks, et l'offre Desktop propose un essai de 14 jours sans carte bancaire. Voir les tarifs ou télécharger Neova.