Comment crawler un site pour le SEO, étape par étape
Crawler un site, c'est récupérer ses pages comme le fait un moteur de recherche, en suivant les liens de page en page. Voici comment crawler un site correctement : poliment, complètement et sans se faire bloquer.
Ce que signifie crawler un site
Un crawler SEO part d'une URL, la télécharge, lit les liens du HTML et les ajoute à une file d'attente. Il prend ensuite l'URL suivante de la file et recommence, jusqu'à ce que rien de nouveau n'apparaisse ou qu'il atteigne une limite. Les moteurs de recherche le font à l'échelle du web. Un crawler SEO le fait pour un site, et enregistre ce que chaque URL a répondu pour que vous puissiez l'auditer.
Pour chaque URL, un crawl enregistre en général le code HTTP, les en-têtes de réponse, la balise title et la meta description, la canonique, les directives robots, les liens entrants et sortants, et le nombre de clics qui la séparent de la page de départ. Google décrit le fonctionnement de ses propres crawlers et fetchers dans sa présentation des robots d'exploration de Google.
Avant de crawler : autorisation, robots.txt et périmètre
Trois questions à régler avant d'appuyer sur Lancer :
- Est-ce votre site, ou avez-vous l'autorisation ? Crawler votre propre site ou celui d'un client est courant. Pour le site de quelqu'un d'autre, restez poli : respectez le robots.txt et gardez une vitesse basse.
- Que dit le robots.txt ? Ouvrez /robots.txt et lisez-le. Il indique aux crawlers ce qu'ils ne doivent pas récupérer, et liste en général les sitemaps XML. Les règles suivent la RFC 9309, et Google explique comment il les lit dans son introduction au robots.txt. La référence complète du robots.txt sur SEO ProCheck le détaille ligne par ligne.
- De combien avez-vous besoin ? Le site entier, une section, ou un échantillon de chaque template. Un échantillon répond en quelques minutes à la plupart des questions sur les templates ; il faut un crawl complet pour les liens cassés et les pages orphelines.
Comment crawler un site étape par étape
- Trouvez la bonne URL de départ. Demandez http et https, avec et sans www. L'une doit répondre 200 et les autres rediriger vers elle. Partez de celle-là.
- Choisissez un mode. Le mode spider suit les liens depuis l'URL de départ. Le mode liste crawle seulement les URL que vous lui donnez, ce qui sert à vérifier un ensemble d'anciennes URL après une migration.
- Ajoutez les sitemaps XML. Crawler les URL des sitemaps après les pages liées montre quelles pages le site liste sans jamais les lier.
- Fixez des limites. Une limite d'URL, une limite de profondeur et des règles pour les paramètres de requête empêchent les filtres d'emballer le crawl. Le guide SEO de la navigation à facettes de SEO ProCheck montre quelles URL de filtre méritent d'être crawlées.
- Excluez ce dont vous n'avez pas besoin. Espaces d'administration, URL de panier et de paiement, résultats de recherche interne. Utilisez des motifs d'inclusion et d'exclusion, et testez une URL dessus avant de démarrer.
- Choisissez un user agent. Le nom de votre propre crawler est le choix honnête par défaut. Crawler en tant que Googlebot montre ce qui est servi à Google, mais certains serveurs traitent un faux Googlebot comme une attaque.
- Lancez, puis surveillez les premières minutes. Si le nombre de nouvelles URL grimpe beaucoup plus vite que la taille du site, regardez d'où elles viennent. Les calendriers et les filtres sans fin sont la cause habituelle.
- Laissez les checks tourner. À la fin du crawl, commencez par les problèmes qui touchent le plus de pages indexables.

Comment crawler toutes les URL d'un site
Suivre les liens ne trouve que les pages que les liens atteignent. Pour crawler toutes les URL d'un site, combinez plusieurs sources :
| Source | Pages liées | Pages non liées | Provient de |
|---|---|---|---|
| Crawl des liens | ✓ | – | L'URL de départ |
| Sitemaps XML | ◐ | ✓ | robots.txt ou /sitemap.xml |
| URL de départ | ◐ | ✓ | Votre propre liste |
| Logs serveur | ◐ | ✓ | Serveur ou CDN |
| Search Console | ◐ | ✓ | Votre propriété Google |
Nous avons mesuré l'enjeu sur notre propre site. Dans le crawl complet de seoprocheck.com par Neova le 17 octobre 2026 :
| Mesure | seoprocheck.com |
|---|---|
| URL récupérées | 10 222 |
| Durée | 61 minutes |
| Pages HTML qui répondent 200 | 4 561 |
| URL dans les sitemaps XML | 1 835 |
| Atteintes par des liens, dans aucun sitemap | 2 727 |
| Dans un sitemap, atteintes par aucun lien | 1 |
| Complétude | 99.98% |
| Corps des pages | 1,66 Go bruts, 340 Mo stockés |
Un audit basé sur les seuls sitemaps aurait manqué 2 727 URL, et un crawl des seuls liens aurait manqué la page orpheline. Les pages qui ne viennent que des sitemaps, des logs ou de Search Console sont orphelines. Les orphelines indexables qui reçoivent du trafic de recherche ont en général besoin de liens internes. Checks utiles ici : URL orpheline qui répond 200 et est indexable, URL indexable absente de tout sitemap XML et Sitemap XML impossible à récupérer ou à lire.
Comment crawler un site sans se faire bloquer
La plupart des blocages viennent d'un crawl trop rapide ou d'un bot qui n'inspire pas confiance au serveur. Crawlez comme le propriétaire du site le voudrait :
- Gardez une vitesse basse. 2 ou 3 URL par seconde suffisent pour la plupart des audits. Plus vite seulement sur votre propre site.
- Dites qui vous êtes. Un user agent clair, avec un lien vers une page qui présente le crawler, est plus facile à autoriser qu'une fausse chaîne de navigateur.
- Respectez le robots.txt. C'est la volonté affichée du site, et l'ignorer sur le site de quelqu'un d'autre est le moyen le plus rapide de se faire bloquer.
- Demandez à être autorisé. Sur un site client derrière un pare-feu ou une protection anti-bots, demandez à l'équipe informatique d'autoriser votre crawler, par exemple grâce à un en-tête secret que seul votre crawler envoie.
Lisez ensuite les réponses. Chaque code HTTP dit quelque chose de différent :
| Answer | Signification | À faire |
|---|---|---|
| 429 | Trop de requêtes | Diviser la vitesse par deux, respecter Retry-After |
| 503 | Serveur occupé ou en panne | Ralentir, réessayer plus tard |
| 403 | Refusé | S'arrêter et demander |
| 401 | Connexion requise | Demander un accès |
| Série de 5xx | Serveur en difficulté | Mettre le crawl en pause |
La page de Google sur les codes HTTP et erreurs réseau explique comment Googlebot lui-même traite les réponses 429 et 5xx.
Crawler des sites JavaScript
Si le site est construit avec React, Vue, Angular ou un framework similaire, le HTML envoyé par le serveur peut être presque vide, le contenu étant ajouté par des scripts. Un crawl simple trouve alors peu de liens et peu de texte. Activez le rendu JavaScript, qui charge chaque page dans un navigateur headless, et comparez la page rendue au HTML brut. Ce qui compte, c'est ce qui manque avant le rendu : texte principal, liens, balises title et canoniques qui n'apparaissent qu'après l'exécution des scripts. Le rendu est plus lent : rendez d'abord un échantillon de chaque template.
Crawler mon site avec Neova
Pour crawler votre propre site avec Neova, téléchargez l'application, puis choisissez Crawl, Nouveau crawl, saisissez l'adresse et cliquez sur Lancer le crawl. La page Votre premier crawl montre chaque écran.
| Réglage | Par défaut |
|---|---|
| Fonctionne sur | |
| User agent | NeovaBot |
| Vitesse | 3 URL par seconde |
| En cas de 429 ou 503 | Divise la vitesse par deux, respecte Retry-After |
| robots.txt | Respecté |
| CAPTCHA | Jamais résolu |
| Offre gratuite | 1 000 URL par crawl |
- Vérification de l'URL de départ choisit la version du site (http ou https, avec ou sans www) qui répond 200 et indique ce que font les autres.
- Modes et périmètre : Spider ou Liste, Site entier, Dossiers spécifiques ou Échantillon par groupe de pages, plus les sitemaps XML, les URL de départ et les règles d'inclusion et d'exclusion.
- Votre propre site : une fois que vous confirmez qu'il est à vous, Neova peut aller plus vite et ignorer le robots.txt. L'En-tête de liste blanche crée un en-tête secret envoyé uniquement à ce site, avec la règle à transmettre à l'équipe informatique.
- Crawl bloqué expliqué : quand un site refuse le crawl, Neova dit pourquoi (limitation de débit, blocage par un pare-feu, accès interdit) et que faire ensuite.
- Découverte et Répartition des URL : pendant le crawl, chaque URL trouvée est rangée dans une catégorie et les formes de pièges à crawl sont signalées, avec Passer ou Exclure sur-le-champ.
- Pause, Arrêter et Reprendre : arrêtez quand vous voulez et lancez les checks sur ce qui a été crawlé, ou reprenez plus tard là où le crawl s'est arrêté.
Les propriétaires de sites peuvent lire comment le crawler s'identifie, et comment le bloquer, sur la page NeovaBot.
Que faire du crawl
Un crawl est un instantané. Sa valeur tient à ce que vous corrigez. Triez les résultats selon le nombre de pages indexables qu'ils touchent, corrigez les problèmes de template une fois plutôt que page par page, et recrawlez pour confirmer. Une courte première passe qui paie en général :
- Les liens internes vers des URL en 4xx et 5xx. Voir URL interne qui renvoie 4xx, 5xx ou aucune réponse.
- Les chaînes de redirections entre URL internes. Voir URL interne dans une chaîne de redirections.
- Les pages indexables bloquées par le robots.txt. Voir URL interne bloquée par le robots.txt.
- Un robots.txt impossible à récupérer. Voir robots.txt inaccessible ou trop volumineux.
- Les pages absentes des sitemaps XML, et les sitemaps qui listent des pages qui redirigent ou sont en noindex.
- Les pages importantes à plus de 3 clics de la page d'accueil.
La checklist d'audit SEO technique met toute la revue dans l'ordre.
Questions
Comment crawler toutes les URL d'un site ?
Combinez un crawl des liens avec les sitemaps XML, puis ajoutez les URL de Google Search Console et des logs serveur. Toute page que seules ces sources trouvent, et qu'aucun lien interne n'atteint, est une orpheline qui mérite un coup d'œil.
Comment crawler un site sans se faire bloquer ?
Crawlez lentement, utilisez un user agent honnête, respectez le robots.txt et ralentissez quand le serveur répond 429 ou 503. Sur un site client derrière un pare-feu, demandez à l'équipe informatique d'autoriser votre crawler plutôt que d'essayer de contourner le blocage.
Est-il légal de crawler un site ?
Crawler des pages publiques est une pratique courante, mais les règles varient selon les pays et les conditions du site. Crawlez librement vos propres sites et ceux de vos clients, respectez partout le robots.txt, et lisez les conditions du site en cas de doute. Ceci n'est pas un conseil juridique.
Combien de temps faut-il pour crawler un site ?
À peu près le nombre d'URL divisé par la vitesse. Notre crawl complet de seoprocheck.com le 17 octobre 2026 a récupéré 10 222 URL en 61 minutes, soit environ 2,8 URL par seconde. À 3 URL par seconde, 1 000 URL prennent environ 6 minutes et 100 000 environ 9 heures, hors rendu. Échantillonner chaque template est beaucoup plus rapide.
Puis-je crawler mon site gratuitement ?
Oui. L'offre Free de Neova crawle jusqu'à 1 000 URL par crawl avec tous les checks, sur Mac, Windows et Linux. Voir les tarifs pour les offres plus grandes.