NeovaPlateforme SEO avancée

Crawler SEO technique : à quoi il sert et comment le choisir

Un crawler SEO technique lit un site comme le fait un moteur de recherche et vous dit ce qui gêne. Voici ce qu'il doit vérifier, les chiffres derrière chaque check, ce qu'a révélé un crawl complet de notre propre site, et comment choisir un outil.

Choisir un crawlercrawler seo techniqueMis à jour le 21 novembre 2026Par l'équipe Neova

Ce que fait un crawler SEO technique

Un crawler SEO technique part d'une URL, la récupère, lit les liens et les suit, la même boucle que fait tourner Googlebot. Pour chaque URL, il enregistre le code HTTP, les en-têtes, le HTML, la canonical, les directives robots et les liens entrants et sortants.

Le crawl, c'est la moitié du travail. L'autre moitié consiste à comparer les pages entre elles et avec les règles que publient les moteurs. Un lien cassé se voit facilement. Une canonical qui pointe vers une redirection sur 3 000 fiches produits, non, et c'est là qu'un crawler prouve son utilité.

La plupart des crawlers lisent aussi les sitemaps XML et le robots.txt : ils montrent quelles pages le site dit importantes, lesquelles il bloque, et où ces deux versions se contredisent.

Ce qu'un outil d'audit SEO technique doit vérifier

Tout crawler d'audit de site sérieux couvre les mêmes domaines de base. Les voici, avec l'objectif à viser et le check Neova qui signale un écart.

DomaineObjectifCheck Neova
Codes HTTP0 lien interne vers des 4xx ou 5xxURL interne qui renvoie 4xx, 5xx ou aucune réponse
Redirections1 saut, pas de chaîneURL interne dans une chaîne de redirections
CanoniquesPointer vers une URL qui répond 200Canonical qui pointe vers une URL qui redirige
Taille du sitemap XML50 000 URL, 50 Mo par fichierSitemap XML de plus de 50 000 entrées
Couverture des sitemaps XMLChaque page indexable listéeURL indexable absente de tout sitemap XML
robots.txt500 Kio lus par Googlerobots.txt inaccessible ou trop volumineux
Profondeur de crawl3 clics ou moinsURL indexable à une profondeur de crawl de 4 ou plus
Titles60 caractères (valeur par défaut courante)Title de plus de 60 caractères
Meta descriptions155 caractères (valeur par défaut courante)Meta description de plus de 155 caractères
hreflangLien de retour sur chaque cibleLien de retour hreflang manquant

Les limites strictes viennent des sources : 50 000 URL et 50 Mo par fichier selon le protocole sitemaps.org, 500 Kio selon la spécification du robots.txt de Google, les liens de retour selon le guide hreflang de Google. Les longueurs de title et de description sont des valeurs d'affichage par défaut, pas des règles : Google coupe selon la largeur en pixels, alors traitez-les en À vérifier, pas en À corriger.

Pour un parcours plus long de chaque domaine, voir la checklist d'audit SEO technique sur SEO ProCheck.

Ce qu'a trouvé un crawl complet de notre propre site

Nous avons crawlé notre propre site, seoprocheck.com, avec Neova le 17 octobre 2026, un crawl complet avec les sitemaps XML. Voici les chiffres.

Mesureseoprocheck.com, 17 oct. 2026
URL récupérées10 222
Durée61 minutes
Pages HTML qui répondent 2004 561
URL dans les sitemaps XML1 835
Atteintes par des liens, dans aucun sitemap2 727
Dans un sitemap, atteintes par aucun lien1
Complétude99.98%
Corps des pages1,66 Go bruts, 340 Mo stockés
FlagURL
Meta description de plus de 155 caractères582
Title de plus de 60 caractères557
Balise title dupliquée entre pages HTML56
Canonical vers une autre URL interne5
Image sans texte alternatif2

Deux leçons. D'abord, les sitemaps ne racontaient que la moitié de l'histoire : 2 727 URL étaient accessibles par des liens mais n'étaient listées nulle part, ce que seul un crawl qui suit les liens et lit les sitemaps peut montrer. Ensuite, les plus gros chiffres étaient des flags de longueur, qui relèvent du jugement. Les 5 canonicals et les 2 textes alt manquants sont moins nombreux mais plus vite réglés. Triez selon ce que touche un flag, pas selon la taille de son chiffre.

Comment lancer un crawl SEO technique

  1. Choisissez l'URL de départ. Utilisez la version de la page d'accueil qui répond 200. Si http ou l'autre hôte répond aussi 200, c'est votre premier constat.
  2. Fixez le périmètre. Tout le site, quelques dossiers, ou un échantillon de chaque template. Sur un gros site, un échantillon par template trouve le schéma plus vite.
  3. Activez XML Sitemaps. Les crawler après les liens fait apparaître les pages que listent les sitemaps mais qu'aucun lien n'atteint.
  4. Décidez du rendu JavaScript. Sur un site à framework, faites le rendu d'un échantillon et comparez-le au HTML brut.
  5. Réglez une vitesse courtoise. Quelques URL par seconde suffisent largement. N'allez plus vite que sur un site qui vous appartient.
  6. Surveillez les premières minutes. Si le nombre d'URL grimpe bien plus vite que prévu, vous avez trouvé un piège à crawl : un calendrier, un filtre à facettes ou un identifiant de session. Excluez-le et continuez.
  7. Lisez d'abord le résumé. Partez des problèmes qui touchent le plus de pages indexables.

Vous débutez ? Votre premier crawl vous guide dans Neova.

Lire les résultats sans s'y noyer

Un audit complet d'un site moyen peut produire des milliers de flags. La plupart viennent de quelques causes, en général un template.

  • Regroupez par template. Si 90 % des fiches produits partagent un flag, c'est une seule correction, pas 4 000 tickets.
  • Pondérez par le trafic. Une page cassée qui reçoit des clics de recherche compte plus qu'une page que personne ne visite. Associez les données de Google Search Console au crawl.
  • Séparez À corriger et À vérifier. Une 5xx sur une page clé est à corriger. Un title qui dépasse la limite de quelques caractères relève du jugement.
  • Vérifiez la source. Quand un développeur demande pourquoi une règle existe, répondez avec un document de Google ou du W3C. La référence des codes HTTP de SEO ProCheck explique ce que signifie chaque code.
  • Crawlez à nouveau après la correction. Comparer deux crawls est la seule preuve que la correction est en ligne et n'a rien cassé d'autre.
Tous les flags dans Neova : 12 checks À corriger et 30 À vérifier sur un crawl de démo, chacun avec Signalé quand, Ce que cela signifie en général et Ce que vous pourriez faire
Tous les flags dans Neova : 12 checks À corriger et 30 À vérifier sur un crawl de démo, chacun avec Signalé quand, Ce que cela signifie en général et Ce que vous pourriez faire

Comment choisir le meilleur crawler SEO pour vous

Il n'existe pas de meilleur crawler SEO unique. Un freelance qui audite de petits sites n'a pas les mêmes besoins qu'une équipe interne avec un million d'URL. Ces questions aident à faire le tri.

QuestionÀ chercherNeova
Où tourne-t-il ?Vos ordinateurs, ou un navigateur
Quelle taille peut atteindre un crawl ?Limite d'URL, stockage sur disqueJusqu'à 5 millions d'URL
Fait-il le rendu JavaScript ?Brut et rendu, côte à côte✓
Les checks sont-ils expliqués ?Règle, signification, correction, source694 checks
Compare-t-il les crawls ?URL nouvelles, corrigées, modifiées✓
Et après ?Exports, tickets, alertes✓
Peut-on l'essayer gratuitement ?Une offre ou un essai1 000 URL, tous les checks

Le chiffre de 5 millions concerne l'offre Desktop et dépend de votre ordinateur. Notre page de comparaison place Neova à côté de Screaming Frog, Sitebulb et d'autres, ligne par ligne, d'après leur propre documentation.

Comment Neova fait le crawl SEO technique

Neova est un crawler SEO de bureau pour Mac (Apple silicon), Windows et Linux, avec Neova Online dans le navigateur sur le même compte. Il crawle à partir d'une URL de départ, de ses liens et de ses sitemaps XML, puis lance 694 checks. Chaque check dit quand il signale, ce que cela signifie en général et ce que vous pourriez faire, avec un lien vers sa source.

  • Périmètre : un crawl complet, des dossiers, un échantillon par groupe de pages, ou une liste d'URL.
  • Courtois par défaut : 3 URL par seconde, en ralentissant de lui-même quand le serveur répond 429 ou 503.
  • Chaque URL prise en compte : chaque URL trouvée tombe dans une catégorie, et Découverte propose d'exclure un piège à crawl sans s'arrêter.
  • Rendu : rendu JavaScript optionnel dans Chrome, comparé au HTML brut.
  • Après le crawl : des flags À corriger et À vérifier, des tickets par check et par groupe de pages, un plan d'action, Comparer les crawls, et des exports du CSV au PDF à votre marque.

La page des fonctionnalités donne la liste complète, et Comparer la met en regard des autres crawlers.

Une courte checklist de crawl SEO technique

  • Une seule version de la page d'accueil répond 200 ; les autres redirigent vers elle.
  • Aucun lien interne vers des URL en 4xx ou 5xx.
  • Aucune chaîne ni boucle de redirection entre URL internes.
  • Les canonicals pointent vers des URL indexables qui répondent 200.
  • Chaque page indexable est dans un sitemap XML, et rien d'autre n'y est.
  • Aucune page clé à plus de 3 clics de la page d'accueil.
  • Aucune page ne répond 200 avec un message « introuvable ». Voir Balise title ou H1 avec une formule de soft 404.
  • Les titles, les liens et le texte principal sont dans le HTML brut.
  • Le robots.txt ne bloque que ce qu'il est censé bloquer.

Gardez ouvert le guide de Google sur les URL canoniques pendant que vous travaillez, ainsi que la FAQ sur l'audit SEO de SEO ProCheck pour les questions que posent les clients.

Questions

Qu'est-ce qu'un crawler SEO technique ?

Un programme qui récupère un site page par page, en suivant les liens comme le fait un moteur de recherche, et enregistre les codes HTTP, les directives, les canonicals et les liens. Il confronte ensuite ces données aux règles des moteurs et signale ce qui gêne le crawl et l'indexation.

Quel est le meilleur crawler SEO ?

Celui qui convient à vos sites. Comparez où il tourne, quelle taille un crawl peut atteindre, s'il fait le rendu JavaScript, la clarté avec laquelle chaque constat est expliqué, et s'il compare les crawls. Essayez-le sur votre propre site avant de décider.

Un crawler d'audit de site, est-ce la même chose que Google Search Console ?

Non. Search Console montre ce que Google a vu et fait. Un crawler montre ce que votre site sert en ce moment, sur chaque URL qu'il peut atteindre. Ils fonctionnent mieux ensemble, c'est pourquoi beaucoup de crawlers associent les données de Search Console au crawl.

Combien de temps dure un crawl SEO technique ?

Cela dépend de la taille et de la vitesse que vous réglez. Notre propre crawl complet de seoprocheck.com a récupéré 10 222 URL en 61 minutes le 17 octobre 2026. Un échantillon par template prend quelques minutes.

À quelle fréquence lancer un crawl SEO technique ?

Après chaque mise en production importante, et chaque semaine pour les sites qui changent souvent. Comparez chaque crawl au précédent pour que les changements ressortent.

Puis-je essayer Neova gratuitement ?

Oui. L'offre Free crawle jusqu'à 1 000 URL par crawl avec tous les checks, et l'offre Desktop propose un essai de 14 jours sans carte bancaire. Voir les tarifs ou télécharger Neova.

Emportez ce guide

Les liens vers les assistants s'ouvrent avec une question sur cette page déjà rédigée.

Crawlez votre site avec NeovaL'offre Free lance tous les checks sur Mac, Windows et Linux. Sans carte bancaire.

À lire ensuite