NeovaPlateforme SEO avancée

Comment crawler un site pour le SEO, étape par étape

Crawler un site, c'est récupérer ses pages comme le fait un moteur de recherche, en suivant les liens de page en page. Voici comment crawler un site correctement : poliment, complètement et sans se faire bloquer.

Crawl et indexationcrawler un siteMis à jour le 21 novembre 2026Par l'équipe Neova

Ce que signifie crawler un site

Un crawler SEO part d'une URL, la télécharge, lit les liens du HTML et les ajoute à une file d'attente. Il prend ensuite l'URL suivante de la file et recommence, jusqu'à ce que rien de nouveau n'apparaisse ou qu'il atteigne une limite. Les moteurs de recherche le font à l'échelle du web. Un crawler SEO le fait pour un site, et enregistre ce que chaque URL a répondu pour que vous puissiez l'auditer.

Pour chaque URL, un crawl enregistre en général le code HTTP, les en-têtes de réponse, la balise title et la meta description, la canonique, les directives robots, les liens entrants et sortants, et le nombre de clics qui la séparent de la page de départ. Google décrit le fonctionnement de ses propres crawlers et fetchers dans sa présentation des robots d'exploration de Google.

Avant de crawler : autorisation, robots.txt et périmètre

Trois questions à régler avant d'appuyer sur Lancer :

  • Est-ce votre site, ou avez-vous l'autorisation ? Crawler votre propre site ou celui d'un client est courant. Pour le site de quelqu'un d'autre, restez poli : respectez le robots.txt et gardez une vitesse basse.
  • Que dit le robots.txt ? Ouvrez /robots.txt et lisez-le. Il indique aux crawlers ce qu'ils ne doivent pas récupérer, et liste en général les sitemaps XML. Les règles suivent la RFC 9309, et Google explique comment il les lit dans son introduction au robots.txt. La référence complète du robots.txt sur SEO ProCheck le détaille ligne par ligne.
  • De combien avez-vous besoin ? Le site entier, une section, ou un échantillon de chaque template. Un échantillon répond en quelques minutes à la plupart des questions sur les templates ; il faut un crawl complet pour les liens cassés et les pages orphelines.

Comment crawler un site étape par étape

  1. Trouvez la bonne URL de départ. Demandez http et https, avec et sans www. L'une doit répondre 200 et les autres rediriger vers elle. Partez de celle-là.
  2. Choisissez un mode. Le mode spider suit les liens depuis l'URL de départ. Le mode liste crawle seulement les URL que vous lui donnez, ce qui sert à vérifier un ensemble d'anciennes URL après une migration.
  3. Ajoutez les sitemaps XML. Crawler les URL des sitemaps après les pages liées montre quelles pages le site liste sans jamais les lier.
  4. Fixez des limites. Une limite d'URL, une limite de profondeur et des règles pour les paramètres de requête empêchent les filtres d'emballer le crawl. Le guide SEO de la navigation à facettes de SEO ProCheck montre quelles URL de filtre méritent d'être crawlées.
  5. Excluez ce dont vous n'avez pas besoin. Espaces d'administration, URL de panier et de paiement, résultats de recherche interne. Utilisez des motifs d'inclusion et d'exclusion, et testez une URL dessus avant de démarrer.
  6. Choisissez un user agent. Le nom de votre propre crawler est le choix honnête par défaut. Crawler en tant que Googlebot montre ce qui est servi à Google, mais certains serveurs traitent un faux Googlebot comme une attaque.
  7. Lancez, puis surveillez les premières minutes. Si le nombre de nouvelles URL grimpe beaucoup plus vite que la taille du site, regardez d'où elles viennent. Les calendriers et les filtres sans fin sont la cause habituelle.
  8. Laissez les checks tourner. À la fin du crawl, commencez par les problèmes qui touchent le plus de pages indexables.
Nouveau crawl, Vitesse et rendu : la vitesse en URL par seconde, réduite quand le serveur ralentit, le user agent envoyé avec chaque requête et le rendu JavaScript
Nouveau crawl, Vitesse et rendu : la vitesse en URL par seconde, réduite quand le serveur ralentit, le user agent envoyé avec chaque requête et le rendu JavaScript

Comment crawler toutes les URL d'un site

Suivre les liens ne trouve que les pages que les liens atteignent. Pour crawler toutes les URL d'un site, combinez plusieurs sources :

SourcePages liéesPages non liéesProvient de
Crawl des liens✓–L'URL de départ
Sitemaps XML◐✓robots.txt ou /sitemap.xml
URL de départ◐✓Votre propre liste
Logs serveur◐✓Serveur ou CDN
Search Console◐✓Votre propriété Google

Nous avons mesuré l'enjeu sur notre propre site. Dans le crawl complet de seoprocheck.com par Neova le 17 octobre 2026 :

Mesureseoprocheck.com
URL récupérées10 222
Durée61 minutes
Pages HTML qui répondent 2004 561
URL dans les sitemaps XML1 835
Atteintes par des liens, dans aucun sitemap2 727
Dans un sitemap, atteintes par aucun lien1
Complétude99.98%
Corps des pages1,66 Go bruts, 340 Mo stockés

Un audit basé sur les seuls sitemaps aurait manqué 2 727 URL, et un crawl des seuls liens aurait manqué la page orpheline. Les pages qui ne viennent que des sitemaps, des logs ou de Search Console sont orphelines. Les orphelines indexables qui reçoivent du trafic de recherche ont en général besoin de liens internes. Checks utiles ici : URL orpheline qui répond 200 et est indexable, URL indexable absente de tout sitemap XML et Sitemap XML impossible à récupérer ou à lire.

Comment crawler un site sans se faire bloquer

La plupart des blocages viennent d'un crawl trop rapide ou d'un bot qui n'inspire pas confiance au serveur. Crawlez comme le propriétaire du site le voudrait :

  • Gardez une vitesse basse. 2 ou 3 URL par seconde suffisent pour la plupart des audits. Plus vite seulement sur votre propre site.
  • Dites qui vous êtes. Un user agent clair, avec un lien vers une page qui présente le crawler, est plus facile à autoriser qu'une fausse chaîne de navigateur.
  • Respectez le robots.txt. C'est la volonté affichée du site, et l'ignorer sur le site de quelqu'un d'autre est le moyen le plus rapide de se faire bloquer.
  • Demandez à être autorisé. Sur un site client derrière un pare-feu ou une protection anti-bots, demandez à l'équipe informatique d'autoriser votre crawler, par exemple grâce à un en-tête secret que seul votre crawler envoie.

Lisez ensuite les réponses. Chaque code HTTP dit quelque chose de différent :

AnswerSignificationÀ faire
429Trop de requêtesDiviser la vitesse par deux, respecter Retry-After
503Serveur occupé ou en panneRalentir, réessayer plus tard
403RefuséS'arrêter et demander
401Connexion requiseDemander un accès
Série de 5xxServeur en difficultéMettre le crawl en pause

La page de Google sur les codes HTTP et erreurs réseau explique comment Googlebot lui-même traite les réponses 429 et 5xx.

Crawler des sites JavaScript

Si le site est construit avec React, Vue, Angular ou un framework similaire, le HTML envoyé par le serveur peut être presque vide, le contenu étant ajouté par des scripts. Un crawl simple trouve alors peu de liens et peu de texte. Activez le rendu JavaScript, qui charge chaque page dans un navigateur headless, et comparez la page rendue au HTML brut. Ce qui compte, c'est ce qui manque avant le rendu : texte principal, liens, balises title et canoniques qui n'apparaissent qu'après l'exécution des scripts. Le rendu est plus lent : rendez d'abord un échantillon de chaque template.

Crawler mon site avec Neova

Pour crawler votre propre site avec Neova, téléchargez l'application, puis choisissez Crawl, Nouveau crawl, saisissez l'adresse et cliquez sur Lancer le crawl. La page Votre premier crawl montre chaque écran.

RéglagePar défaut
Fonctionne sur
User agentNeovaBot
Vitesse3 URL par seconde
En cas de 429 ou 503Divise la vitesse par deux, respecte Retry-After
robots.txtRespecté
CAPTCHAJamais résolu
Offre gratuite1 000 URL par crawl
  • Vérification de l'URL de départ choisit la version du site (http ou https, avec ou sans www) qui répond 200 et indique ce que font les autres.
  • Modes et périmètre : Spider ou Liste, Site entier, Dossiers spécifiques ou Échantillon par groupe de pages, plus les sitemaps XML, les URL de départ et les règles d'inclusion et d'exclusion.
  • Votre propre site : une fois que vous confirmez qu'il est à vous, Neova peut aller plus vite et ignorer le robots.txt. L'En-tête de liste blanche crée un en-tête secret envoyé uniquement à ce site, avec la règle à transmettre à l'équipe informatique.
  • Crawl bloqué expliqué : quand un site refuse le crawl, Neova dit pourquoi (limitation de débit, blocage par un pare-feu, accès interdit) et que faire ensuite.
  • Découverte et Répartition des URL : pendant le crawl, chaque URL trouvée est rangée dans une catégorie et les formes de pièges à crawl sont signalées, avec Passer ou Exclure sur-le-champ.
  • Pause, Arrêter et Reprendre : arrêtez quand vous voulez et lancez les checks sur ce qui a été crawlé, ou reprenez plus tard là où le crawl s'est arrêté.

Les propriétaires de sites peuvent lire comment le crawler s'identifie, et comment le bloquer, sur la page NeovaBot.

Que faire du crawl

Un crawl est un instantané. Sa valeur tient à ce que vous corrigez. Triez les résultats selon le nombre de pages indexables qu'ils touchent, corrigez les problèmes de template une fois plutôt que page par page, et recrawlez pour confirmer. Une courte première passe qui paie en général :

La checklist d'audit SEO technique met toute la revue dans l'ordre.

Questions

Comment crawler toutes les URL d'un site ?

Combinez un crawl des liens avec les sitemaps XML, puis ajoutez les URL de Google Search Console et des logs serveur. Toute page que seules ces sources trouvent, et qu'aucun lien interne n'atteint, est une orpheline qui mérite un coup d'œil.

Comment crawler un site sans se faire bloquer ?

Crawlez lentement, utilisez un user agent honnête, respectez le robots.txt et ralentissez quand le serveur répond 429 ou 503. Sur un site client derrière un pare-feu, demandez à l'équipe informatique d'autoriser votre crawler plutôt que d'essayer de contourner le blocage.

Est-il légal de crawler un site ?

Crawler des pages publiques est une pratique courante, mais les règles varient selon les pays et les conditions du site. Crawlez librement vos propres sites et ceux de vos clients, respectez partout le robots.txt, et lisez les conditions du site en cas de doute. Ceci n'est pas un conseil juridique.

Combien de temps faut-il pour crawler un site ?

À peu près le nombre d'URL divisé par la vitesse. Notre crawl complet de seoprocheck.com le 17 octobre 2026 a récupéré 10 222 URL en 61 minutes, soit environ 2,8 URL par seconde. À 3 URL par seconde, 1 000 URL prennent environ 6 minutes et 100 000 environ 9 heures, hors rendu. Échantillonner chaque template est beaucoup plus rapide.

Puis-je crawler mon site gratuitement ?

Oui. L'offre Free de Neova crawle jusqu'à 1 000 URL par crawl avec tous les checks, sur Mac, Windows et Linux. Voir les tarifs pour les offres plus grandes.

Emportez ce guide

Les liens vers les assistants s'ouvrent avec une question sur cette page déjà rédigée.

Crawlez votre site avec NeovaL'offre Free lance tous les checks sur Mac, Windows et Linux. Sans carte bancaire.

À lire ensuite