NeovaPlateforme SEO avancée

Budget de crawl : définition, comment le vérifier et comment arrêter le gaspillage

Le budget de crawl, c'est le nombre d'URL que Googlebot peut et veut récupérer sur votre site. La plupart des sites n'ont jamais à s'en soucier. Les sites volumineux ou qui changent vite, si, et la solution est presque toujours la même : empêcher Googlebot de perdre son temps sur des URL sans importance.

Crawl et indexationbudget de crawlMis à jour le 21 novembre 2026Par l'équipe Neova

Qu'est-ce que le budget de crawl ?

Google définit le budget de crawl comme l'ensemble des URL que Googlebot peut et veut explorer sur un site. Dans son guide de gestion du budget de crawl, il le décompose en deux parties :

  • Limite de capacité de crawl. Ce que Googlebot peut récupérer sans surcharger votre serveur. Si le site répond vite, la limite augmente. S'il ralentit ou renvoie des erreurs serveur, Googlebot lève le pied.
  • Besoin de crawl. Ce que Google veut explorer. Les URL populaires et celles qui changent sont crawlées davantage. Les URL obsolètes ou de faible valeur le sont moins.

Au total, le budget de crawl en SEO est le point de rencontre entre ce que votre serveur supporte et ce que Google juge utile de récupérer. Impossible d'en acheter davantage. Vous pouvez mieux utiliser celui que vous avez.

Le budget de crawl compte-t-il pour votre site ?

Selon Google, le budget de crawl concerne surtout trois types de sites. D'après son guide du budget de crawl :

SitePages uniquesChangements de contenuConcerné
Gros1 000 000+Hebdomadaires✓
Moyen ou plus10 000+Quotidiens✓
Beaucoup de pages Détectée, non indexéeSans limiteSans limite✓
La plupart des autres sitesQuelques milliersSans limite–

Si les nouvelles pages sont crawlées en un ou deux jours, le budget de crawl n'est pas votre problème. Regardez plutôt la qualité du contenu, le maillage interne et l'indexabilité. Le guide Détectée, actuellement non indexée de SEO ProCheck couvre ce statut et ses causes.

Les habitudes qui économisent le budget de crawl, comme des URL propres, peu de redirections et aucun piège à crawl, aident quand même tous les sites. Elles accélèrent aussi vos propres crawls et rendent vos audits plus lisibles.

Comment vérifier le budget de crawl

Il n'existe pas de chiffre unique du budget de crawl. Vous le lisez à trois endroits.

1. Le rapport Statistiques sur l'exploration de Search Console

Ouvrez Paramètres, puis Statistiques sur l'exploration. Vous obtenez le nombre total de requêtes d'exploration, la taille totale téléchargée et le temps de réponse moyen sur les 90 derniers jours, ventilés par code de réponse, type de fichier, objectif (découverte ou actualisation) et type de Googlebot. L'état de l'hôte indique si la récupération du robots.txt, le DNS ou la connectivité du serveur ont eu des problèmes.

Ce qu'il faut surveiller : une part croissante de réponses 3xx et 4xx, un temps de réponse qui grimpe, ou la plupart des requêtes consacrées à l'actualisation pendant que les nouvelles pages attendent.

2. Vos logs serveur

Les Statistiques sur l'exploration sont un résumé. Les logs montrent chaque requête : vous voyez exactement quelles URL Googlebot récupère, à quelle fréquence, et celles qu'il ne touche jamais. Importer au lieu de connecter liste les formats de logs que Neova lit et où chaque hébergeur les conserve.

3. Votre propre crawl

Un crawler montre les URL qu'exposent vos liens et vos sitemaps. Comparez son total avec le nombre de pages que vous voulez vraiment voir indexées. Nous l'avons fait sur notre propre site :

seoprocheck.com, 17 oct. 2026URL
Récupérées par le crawl complet10 222
Pages HTML qui répondent 2004 561
Listées dans les sitemaps XML1 835
Atteintes par des liens, dans aucun sitemap2 727

Moins de la moitié des URL récupérées étaient donc des pages HTML répondant 200 ; le reste, ce sont des fichiers, des redirections et d'autres réponses sur lesquels un bot dépense aussi des requêtes. Et 2 727 URL liées ne figurent dans aucun sitemap, ce qui mérite un coup d'œil avant d'accuser Google. Si un site de 20 000 produits produit 400 000 URL crawlables, vous avez trouvé votre gaspillage de budget de crawl.

D'où vient le gaspillage de budget de crawl

SourceSymptômeCorrection habituelle
Navigation à facettesUne URL par combinaison de filtresBloquer les combinaisons sans valeur
ParamètresSuivi, session, triLes retirer des liens internes
Pièges à crawlCalendriers, dossiers qui se répètentPlafonner, bloquer ou corriger les liens
Chaînes de redirection2 sauts ou plusLier vers l'URL finale
Soft 404Introuvable, répond 200Renvoyer 404 ou 410
URL en doubleCasse, slash, ordre des paramètresRediriger vers une seule version
Sitemaps salesRedirections, noindex, erreursURL indexables en 200 seulement
Réponses lentesTemps de réponse en hausseAccélérer le serveur

La navigation à facettes est la première source sur la plupart des boutiques ; l'explication du budget de crawl sur SEO ProCheck détaille quand chaque source compte.

Optimiser le budget de crawl, étape par étape

  1. Comptez ce qui doit être indexé. Notez combien de pages vous voulez dans Google. Tout ce qui dépasse est un gaspillage potentiel.
  2. Crawlez le site et triez les URL. Séparez les URL de pages propres des variantes à paramètres, des URL malformées, des pièges à crawl et des ressources.
  3. Trouvez les schémas. Le gaspillage est rarement aléatoire. C'est un filtre, un calendrier, un lien relatif cassé répété des milliers de fois.
  4. Bloquez ce qui n'a jamais besoin d'être crawlé. Utilisez le robots.txt pour les schémas d'URL sans valeur pour la recherche, comme les résultats de recherche interne ou les ordres de tri. Testez la règle sur vos URL crawlées avant de la mettre en ligne.
  5. Corrigez les liens qui créent le gaspillage. Bloquer masque les URL ; corriger les liens empêche qu'elles soient créées.
  6. Nettoyez les sitemaps XML. Uniquement des URL indexables qui répondent 200, avec des dates lastmod qui changent quand la page change.
  7. Renvoyez les bons codes HTTP. 404 ou 410 pour les pages supprimées, pas 200 avec un message « page introuvable ».
  8. Raccourcissez les chaînes de redirections et mettez à jour les liens internes pour qu'ils pointent vers les URL finales.
  9. Surveillez les logs et les Statistiques sur l'exploration pendant quelques semaines pour confirmer que Googlebot se reporte sur les pages qui comptent.

Ce qu'il ne faut pas faire

Quelques conseils courants sur le budget de crawl ne fonctionnent pas comme on le croit. D'après le guide du budget de crawl de Google et sa page sur la réduction de la fréquence d'exploration :

ConseilÉconomise du budgetPourquoi
Ajouter noindex–La page est quand même récupérée
Bloquer des pages un temps–Google le déconseille
Crawl-delay dans le robots.txt–Googlebot l'ignore
Renvoyer 503 ou 429◐Urgences, 1 à 2 jours
Lister les URL dans un sitemap◐Une indication, pas un ordre
Bloquer définitivement dans le robots.txt✓L'URL n'est jamais récupérée

Le noindex aide l'indexation, pas le crawl. Ne bloquez dans le robots.txt que les URL que vous ne voulez jamais voir crawlées, et corrigez les liens qui les créent.

Comment Neova aide sur le budget de crawl

Neova est un crawler, pas Googlebot : il ne peut pas montrer le budget propre à Google. Il montre où votre site donne du travail en trop à Googlebot :

  • Découverte tourne pendant le crawl. Chaque minute, elle indique d'où viennent les nouvelles URL par schéma et signale les formes de pièges à crawl, comme les calendriers, les dossiers qui se répètent, les identifiants de session, les nombreux paramètres et les URL très profondes, avec Continuer le crawl, Passer ou Exclure sur-le-champ.
  • Répartition des URL range chaque URL dans une catégorie : URL de pages propres, variantes à paramètres, URL malformées, pièges à crawl et ressources. Le total est toujours expliqué.
  • Le Testeur de robots.txt explique chaque ligne, et le test du brouillon liste les URL qu'un changement bloquerait ou autoriserait avant que vous le mettiez en ligne.
  • Log serveur, dans l'application desktop, liste les pages HTML que Googlebot n'a jamais visitées sur la période du log et les URL demandées par les bots que le crawl ne connaît pas.
  • Des checks comme URL indexables avec paramètres de recherche ou de filtre, mêmes paramètres dans un ordre différent, formules de soft 404, URL redirigées dans les sitemaps XML et intervalle de recrawl de Googlebot en hausse de 50 % ou plus.
Un crawl en cours : URL récupérées sur URL trouvées, limite de vitesse, Répartition des URL, Découverte et Carte du crawl en direct par clics depuis l'URL de départ
Un crawl en cours : URL récupérées sur URL trouvées, limite de vitesse, Répartition des URL, Découverte et Carte du crawl en direct par clics depuis l'URL de départ

Neova crawle aussi poliment : 3 URL par seconde par défaut, et il divise sa vitesse par deux quand le serveur ralentit ou répond 429 ou 503. Voir les Fonctionnalités ou télécharger Neova pour l'essayer.

Checklist du budget de crawl

SignalSainEmplacement
Temps de réponseStable ou en baisseStatistiques sur l'exploration
Part des 3xx et 4xxPas en hausseStatistiques sur l'exploration, logs
URL crawlables par rapport aux pages vouluesProche de 1 pour 1Votre crawl
Pièges à crawl0Votre crawl
Sauts de redirection1 au maximumVotre crawl
Pages supprimées404 ou 410Votre crawl
Entrées de sitemapIndexables en 200 seulementVotre crawl
URL par fichier sitemap50 000 maximumVotre crawl
Jours de logs lus30 ou plusLogs serveur
Nouvelles pages clésVisitées par GooglebotLogs serveur

Questions

Qu'est-ce que le budget de crawl en SEO ?

C'est le nombre d'URL qu'un moteur de recherche peut et veut explorer sur votre site en un temps donné. Google le décrit comme la combinaison de la capacité de crawl et du besoin de crawl.

Le budget de crawl compte-t-il pour les petits sites ?

En général, non. Selon Google, il concerne surtout les très grands sites, les sites qui changent chaque jour et les sites avec beaucoup de pages détectées mais non indexées. Les petits sites gagnent plus à améliorer leur contenu et leur maillage interne.

Comment augmenter le budget de crawl ?

Rendez le serveur rapide et stable, et donnez à Google des raisons de crawler : des pages que les gens lient et visitent, et du contenu qui évolue. Ensuite, arrêtez de gaspiller ce que vous avez sur les paramètres, les redirections et les doublons.

Le noindex économise-t-il du budget de crawl ?

Non. Google doit crawler une page pour lire son noindex. Pour tenir Googlebot durablement à l'écart d'un schéma d'URL, bloquez-le dans le robots.txt et corrigez les liens qui le créent.

Googlebot respecte-t-il le crawl-delay ?

Non. Google ne prend pas en charge le crawl-delay dans le robots.txt. Bing documente sa prise en charge. Neova signale un crawl-delay défini pour tous les user agents pour que vous décidiez s'il est toujours voulu.

Emportez ce guide

Les liens vers les assistants s'ouvrent avec une question sur cette page déjà rédigée.

Crawlez votre site avec NeovaL'offre Free lance tous les checks sur Mac, Windows et Linux. Sans carte bancaire.

À lire ensuite