NeovaPlateforme SEO avancée

SEO Spider : définition, fonctionnement et comment le choisir

Un SEO spider est un programme qui parcourt un site lien par lien, comme le fait un moteur de recherche, et note ce que répond chaque URL. Voici comment il fonctionne sous le capot, ce qu'il faut tester avant de faire confiance à ses chiffres, et lesquels essayer.

Choisir un crawlerseo spiderMis à jour le 21 novembre 2026Par l'équipe Neova

Ce qu'est un SEO spider

Le web est une toile, alors les programmes qui la parcourent en suivant les liens ont été appelés des araignées, des spiders. On parle aussi de crawler, de bot et de robot. Tous désignent la même chose de base : un logiciel qui récupère une page, lit ses liens, et passe aux pages vers lesquelles ces liens pointent.

Les moteurs de recherche font tourner les plus gros. Googlebot est un spider. Un SEO spider applique la même idée à votre propre site, conçu pour signaler ce sur quoi un moteur de recherche trébucherait : liens cassés, redirections, pages bloquées, titles manquants, contenu dupliqué et pages vers lesquelles rien ne pointe.

Beaucoup connaissent le terme grâce à Screaming Frog, dont le crawler de bureau s'appelle le SEO Spider, et l'expression désigne désormais toute la catégorie. Quel que soit le nom sur la boîte, un SEO spider se distingue de deux outils avec lesquels on le confond :

  • Un scraper extrait des données précises des pages, comme des prix. Un spider cartographie tout le site et la façon dont ses pages sont reliées.
  • Un outil de backlinks lit d'autres sites pour trouver les liens vers vous. Un spider lit votre site, de l'intérieur.

Comment fonctionne un SEO spider, étape par étape

Sous le capot, chaque SEO spider tourne dans la même boucle jusqu'à épuiser ses URL ou atteindre une limite que vous avez fixée :

  1. Partir d'une file d'attente. La file contient l'URL de départ, et souvent aussi les URL des sitemaps XML.
  2. Vérifier les règles. Avant de récupérer une URL, le spider consulte le robots.txt et ses propres réglages de périmètre : cet hôte, ce dossier, ces motifs. SEO ProCheck tient une référence complète du robots.txt.
  3. Récupérer et enregistrer. Il demande l'URL et stocke la réponse : code HTTP, en-têtes, temps de réponse et corps.
  4. Analyser la page. Dans le HTML, il lit le title, la balise meta robots, la canonical, les titres et chaque lien, avec son texte d'ancre.
  5. Nettoyer les liens. Les liens relatifs deviennent des URL complètes, les fragments sont retirés, et chaque URL est comparée à celles déjà vues pour que rien ne soit récupéré deux fois.
  6. Mettre en file ce qui est nouveau. Les nouvelles URL dans le périmètre vont en fin de file. C'est ce parcours dans l'ordre qui donne à chaque page sa profondeur de crawl, le nombre de clics depuis l'URL de départ.
  7. Attendre, puis recommencer. Un spider courtois espace ses requêtes et ralentit quand le serveur résiste.

Quand la file est vide, le vrai travail commence : le spider compare chaque page aux autres et aux règles que publient les moteurs, et transforme les données en constats. Certains spiders affichent aussi d'abord les pages dans un navigateur, pour voir les liens et le contenu qui n'apparaissent qu'après l'exécution du JavaScript.

Ce qu'un SEO spider enregistre pour chaque URL

Les constats ne valent que ce que valent les données qui les portent. Pour chaque URL, un bon SEO spider conserve :

DomaineCe qu'il enregistre
RéponseCode HTTP, cible de redirection, en-têtes, temps de réponse, taille
Signaux d'indexationMeta robots, X-Robots-Tag, canonical, autorisation par le robots.txt
ContenuTitle, meta description, titres, nombre de mots
LiensLiens entrants et sortants, texte d'ancre, emplacement de chaque lien dans la page
StructureProfondeur de crawl, dossier, template utilisé par la page
DécouverteComment l'URL a été trouvée : un lien, un sitemap XML, une redirection

Les checks en découlent. Quelques exemples de ce à quoi ils ressemblent : URL interne qui renvoie 4xx, 5xx ou aucune réponse, URL interne dans une chaîne de redirections, URL orpheline qui répond 200 et est indexable et URL en 4xx listée dans un sitemap XML. Le guide du crawler SEO technique parcourt la liste complète des domaines qu'un audit doit couvrir.

SEO spider à télécharger ou SEO spider en ligne

On cherche les deux, et ce sont deux configurations différentes.

Spider de bureauSpider en ligne
Fonctionne sur
Données conservéesVotre disqueLes serveurs de l'éditeur
Taille du crawl fixée parVotre ordinateurVotre offre
Préproduction derrière un VPN✓◐ Avec une liste d'IP autorisées
Crawle portable fermé–✓
Partager un crawlUn fichier ou une synchroUn lien

Aucun n'est meilleur dans l'absolu. Les consultants qui auditent beaucoup de sites aiment souvent une application de bureau ; les équipes qui surveillent quelques gros sites en continu préfèrent souvent le cloud. Certains outils proposent les deux.

Ce qu'il faut tester avant de faire confiance à un SEO spider

La façon dont un spider se comporte sur un vrai site compte plus que sa liste de fonctionnalités. Crawlez un site que vous connaissez bien et regardez ceci :

  • Le nombre d'URL est-il cohérent ? Comparez-le à vos sitemaps XML. Un nombre bien plus élevé signifie en général des paramètres, des filtres ou un piège à crawl, et l'outil doit vous aider à voir lesquels.
  • Est-il courtois ? Cherchez un réglage de vitesse en URL par seconde et un ralentissement automatique quand le serveur répond 429 ou 503.
  • Comment traite-t-il le robots.txt ? Il doit le respecter par défaut, et vous laisser l'ignorer pour un site qui vous appartient, comme une préproduction.
  • Peut-il crawler une liste ? Le mode liste, pour vérifier un ensemble d'URL après une migration, fait gagner beaucoup de temps.
  • Fait-il le rendu JavaScript, et montre-t-il la différence ? Voir le HTML brut et le HTML rendu côte à côte, c'est ce qui vous dit si le rendu compte pour le site.
  • Peut-il s'arrêter et reprendre ? Les gros crawls sont interrompus. Reprendre là où il s'est arrêté vaut mieux que tout recommencer.
  • Pouvez-vous agir sur un constat ? Ouvrez un flag et voyez s'il dit pourquoi il compte et comment le corriger.

Voici le test du nombre d'URL sur notre propre site. Neova a crawlé seoprocheck.com le 17 octobre 2026 :

seoprocheck.com, crawl completNombre
URL récupérées10 222
Durée61 minutes
Pages HTML qui répondent 2004 561
URL dans les sitemaps XML1 835
Atteintes par des liens, absentes des sitemaps2 727
Dans un sitemap, atteintes par aucun lien1
Complétude99.98%
Corps des pages, bruts1,66 Go
Stocké sur disque, compressé340 Mo

Le crawl a trouvé bien plus d'URL que n'en listent les sitemaps. L'essentiel de l'écart, ce sont des pages qu'il est normal de crawler mais qui manquent au sitemap, ce que signale URL indexable absente de tout sitemap XML. La seule URL listée qu'aucun lien n'atteint est une URL orpheline dans un sitemap XML. Sur un gros site, ce genre d'écart est l'endroit où le budget de crawl commence à compter.

Les outils de SEO spider à connaître

Il existe de bonnes options pour chaque type de travail. Voici ce pour quoi chacun est reconnu, d'après les pages de chaque éditeur, lues les 11 et 21 novembre 2026 :

OutilFonctionne surPour l'essayerReconnu pour
Screaming Frog SEO Spider500 URL gratuitesConfiguration, extraction, ligne de commande
SitebulbEssai de 14 joursPlus de 300 Hints priorisés
LumarUne propositionPetits et gros crawls en même temps
JetOctopusEssai de 7 joursCrawls et sièges illimités
Semrush Site AuditAvec la suiteFait partie d'une suite SEO
Ahrefs Site AuditAvec la suiteFait partie d'une suite SEO
Neova1 000 URL gratuites694 checks, chacun avec une source

C'est le crawler de bureau de Screaming Frog qui a donné son nom à la catégorie, et sa version gratuite ne demande aucune inscription. La page de comparaison les aligne fonctionnalité par fonctionnalité, avec une source pour chaque marque. Si vous utilisez déjà Screaming Frog et voulez voir comment un autre crawler s'y ajoute, le guide de l'alternative à Screaming Frog le couvre, et le guide du crawler SEO gratuit compare les offres gratuites.

Le crawl Spider de Neova

Neova est un crawler SEO de bureau pour Mac (Apple silicon), Windows et Linux, avec Neova Online dans le navigateur, par Neova LLC. Son mode qui suit les liens s'appelle littéralement Spider : Nouveau crawl, Mode de crawl, Spider. Il suit les liens internes depuis l'URL de départ, puis les sitemaps XML, et lance 694 checks sur ce qu'il a récupéré, chacun avec sa source.

  • Vérification de l'URL de départ : avant de crawler, il choisit la version de la page d'accueil qui répond 200 et dit ce que font les autres versions.
  • Courtois par défaut : 3 URL par seconde, en divisant sa vitesse par deux quand le serveur ralentit ou répond 429 ou 503, et en respectant Retry-After. Jusqu'à 50 par seconde sur un site dont vous confirmez qu'il vous appartient.
  • Chaque URL expliquée : la Répartition des URL range chaque URL dans une catégorie (pages propres, variantes à paramètres, URL malformées, pièges à crawl, images, etc.), et Découverte propose d'exclure un piège pendant que le crawl tourne.
  • Mode liste aussi : le Crawl de liste ne récupère que les URL que vous collez ou importez.
  • Gros crawls sur disque : le crawl vit sur le disque, pas en mémoire, et Reprendre poursuit un crawl arrêté avec ses réglages restaurés.
  • Le rendu quand vous en avez besoin : rendu JavaScript dans Chrome, comparé au HTML brut.
  • Vos anciens crawls vous suivent : Importer un crawl ouvre un export Internal de Screaming Frog ou un export d'URL de Sitebulb et y lance les checks.
Un crawl Neova en cours : 257 URL sur 612 à 2 par seconde, avec la Répartition des URL, Découverte et une carte du crawl en direct, en anneaux selon le nombre de clics depuis l'URL de départ
Un crawl Neova en cours : 257 URL sur 612 à 2 par seconde, avec la Répartition des URL, Découverte et une carte du crawl en direct, en anneaux selon le nombre de clics depuis l'URL de départ

L'offre Free crawle jusqu'à 1 000 URL par crawl avec tous les checks, et Desktop peut s'essayer gratuitement 14 jours sans carte bancaire. Voir les fonctionnalités et les tarifs.

Votre premier crawl Spider

  1. Téléchargez Neova pour votre ordinateur et ouvrez-le.
  2. Choisissez Crawl, puis Nouveau crawl, saisissez l'adresse du site et cliquez sur Lancer le crawl.
  3. Regardez les premières minutes. Si Découverte montre un calendrier ou un filtre qui multiplie les URL, excluez-le et laissez le crawl continuer.
  4. Quand les checks sont terminés, partez de la Vue d'ensemble, puis de Tous les flags, À corriger en premier. Les premières trouvailles courantes : les titles dupliqués et les meta descriptions de plus de 155 caractères. Notre propre crawl de seoprocheck.com en avait 56 et 582.

La page d'aide Votre premier crawl montre chaque écran, et le guide comment crawler un site détaille le périmètre et les exclusions.

Questions

Qu'est-ce qu'un SEO spider ?

Un programme qui crawle un site comme le fait un moteur de recherche : il récupère une page, suit ses liens et note ce que répond chaque URL. Un SEO spider vérifie ensuite ces données pour trouver ce qui gêne le crawl et l'indexation.

Existe-t-il un SEO spider gratuit ?

Oui. Le SEO Spider de Screaming Frog a une version gratuite jusqu'à 500 URL par crawl, et Neova a une offre Free jusqu'à 1 000 URL par crawl avec les 694 checks. Le guide du crawler SEO gratuit compare les options.

Existe-t-il un SEO spider en ligne ?

Oui. Les crawlers cloud comme Lumar et JetOctopus, Sitebulb Cloud, et les audits de site de Semrush et d'Ahrefs tournent dans le navigateur. Neova tourne sur votre ordinateur et dans le navigateur avec Neova Online, sur le même compte.

Un SEO spider va-t-il ralentir mon site ?

Pas à une vitesse courtoise. Quelques URL par seconde, c'est un travail léger pour la plupart des serveurs, et les bons spiders ralentissent d'eux-mêmes quand un serveur répond 429 ou 503. Ne crawlez plus vite que sur un site qui vous appartient, ou avec l'accord du propriétaire.

Puis-je télécharger un SEO spider pour Mac ?

Oui. Neova tourne en natif sur les Mac Apple silicon, ainsi que sous Windows et Linux. Téléchargez Neova et commencez avec l'offre Free.

Emportez ce guide

Les liens vers les assistants s'ouvrent avec une question sur cette page déjà rédigée.

Crawlez votre site avec NeovaL'offre Free lance tous les checks sur Mac, Windows et Linux. Sans carte bancaire.

À lire ensuite