NeovaPlateforme SEO avancée

Tester le robots.txt : vérifier les règles avant qu'elles bloquent les mauvaises pages

Le robots.txt est un petit fichier texte avec beaucoup de pouvoir. Une ligne peut éloigner un moteur de recherche d'un dossier que vous vouliez cacher, ou de tout le site que vous vouliez positionner. Un testeur robots.txt vous dit, URL par URL, ce que chaque crawler a le droit de récupérer, pour que vous le sachiez avant Googlebot.

Crawl et indexationTesteur robots.txtMis à jour le 21 novembre 2026Par l'équipe Neova

Ce que fait un testeur robots.txt

Un testeur robots.txt prend un fichier robots.txt et une URL, choisit le groupe de règles qui s'applique à un user agent donné, et vous dit si l'URL est autorisée ou bloquée, et quelle ligne en a décidé. Un bon testeur signale aussi les lignes que le parser ne peut pas lire, les champs qu'il ignore et les règles qui s'annulent.

Tester une URL à la fois est utile pour une question rapide. Tester toutes les URL d'un crawl, c'est ce qui révèle les surprises : une règle écrite pour un dossier qui touche aussi un filtre produit, ou un joker qui bloque le CSS dont vos pages ont besoin pour le rendu.

Google a retiré son testeur robots.txt

Pendant des années, Search Console a proposé un outil de test du robots.txt où l'on pouvait modifier le fichier et tester des URL. Fin 2023, Google l'a retiré et remplacé par le rapport robots.txt. Ce rapport montre quels fichiers robots.txt Google a trouvés pour les 20 premiers hôtes d'une propriété, quand chacun a été crawlé pour la dernière fois, et les éventuels avertissements ou erreurs. Il permet aussi de demander un nouveau crawl du fichier après une correction urgente.

Le rapport vous dit comment Google a lu votre fichier en ligne. Il ne teste pas une règle qui n'est pas encore en ligne, et il ne teste pas toute votre liste d'URL sur le fichier. Pour cela, il vous faut un testeur séparé. Google publie son propre parser robots.txt open source, et Bing Webmaster Tools a un testeur robots.txt pratique pour vérifier comment Bingbot lit un fichier.

Comment fonctionnent les règles robots.txt

Le fichier se trouve à la racine d'un hôte, par exemple https://www.example.com/robots.txt. Les règles sont définies par la RFC 9309, le Robots Exclusion Protocol, et Google documente sa lecture dans Comment Google interprète la spécification robots.txt. Un fichier est fait de groupes. Chaque groupe commence par une ou plusieurs lignes User-agent, suivies de règles Allow et Disallow :

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

Les points que vérifient les testeurs, tels que Google les documente. La référence complète du robots.txt de SEO ProCheck passe en revue chaque champ.

  • Un groupe par crawler. Un crawler ne suit que le groupe le plus spécifique qui correspond à son nom. Si Googlebot a son propre groupe, il ignore complètement le groupe *.
  • La correspondance la plus longue l'emporte. Quand un Allow et un Disallow correspondent tous deux à une URL, la règle au chemin le plus long s'applique. En cas d'égalité, Google utilise la règle la moins restrictive.
  • Deux jokers. * correspond à n'importe quelle suite de caractères et $ marque la fin de l'URL.
  • Les chemins sont sensibles à la casse. Disallow: /Admin ne bloque pas /admin.
  • Un fichier par hôte. Les règles ne s'appliquent qu'au protocole, à l'hôte et au port depuis lesquels le fichier est servi. Un sous-domaine a besoin de son propre fichier.

Ce que le robots.txt ne fait pas

Le robots.txt contrôle le crawl, pas l'indexation. L'introduction de Google au robots.txt est claire : une URL bloquée peut quand même être indexée si d'autres pages font des liens vers elle, en général affichée sans description. Si vous voulez retirer une page des résultats, laissez Google la crawler et utilisez plutôt noindex. Une page que Google ne peut pas récupérer est une page dont il ne verra jamais le noindex.

Quelques autres limites à connaître :

  • Pas de ligne noindex. Google a cessé de prendre en charge le noindex dans le robots.txt en 2019, ainsi que les règles nofollow et crawl-delay qu'on y mettait.
  • Pas de crawl-delay pour Google. Googlebot ignore Crawl-delay. D'autres crawlers le lisent, c'est pourquoi une valeur définie pour tous les user agents peut fortement les ralentir.
  • Pas de sécurité. Le fichier est public et les crawlers respectueux le suivent de leur plein gré. Tout ce qui est privé doit être protégé par une authentification.

Les erreurs de robots.txt courantes qu'un testeur repère

ErreurEffetCorrectif
Disallow: / resté de la préproductionTout le site bloquéSupprimez la ligne
Groupe nommé sans les règles communesRègles * ignorées pour ce botRecopiez les règles communes
CSS, JavaScript, images bloquésLa page ne peut pas être rendueAutorisez les fichiers
Joker trop large/*? bloque filtres et pagesResserrez le motif
Règle avant User-agent, faute de frappeLigne ignoréeCorrigez la syntaxe
Disallow pour désindexernoindex jamais luAutorisez, puis noindex
www et non-www différentsRègles différentes selon l'hôteServez un seul fichier

Bloquer une URL que vous listez aussi dans votre sitemap XML envoie des signaux contradictoires. Le guide du vérificateur de sitemap XML couvre ce côté.

Erreurs serveur et taille du fichier

La façon dont le fichier est servi compte autant que ce qu'il dit. Google documente chaque cas :

CasCe que fait GoogleDurée
4xx, sauf 429Crawle comme s'il n'y avait pas de fichierJusqu'à correction
5xx ou 429Arrête de crawler le site12 premières heures
Toujours en échecUtilise la dernière copie valideJusqu'à 30 jours
Fichier de plus de 500 KioIgnore le resteAu-delà de 500 Kio
Toute modificationUtilise sa copie en cacheJusqu'à 24 heures

La demande de nouveau crawl dans le rapport robots.txt est faite pour les corrections urgentes. Un robots.txt qui ne répond pas à temps au mauvais moment peut mettre en pause le crawl de tout le site ; le guide du budget de crawl explique pourquoi cela compte surtout sur les gros sites.

Ce que nous avons trouvé dans notre propre robots.txt

Notre propre revue SEO de neova.app, le 20 novembre 2026, a trouvé deux règles qui bloquaient plus que prévu :

Ce qui était bloquéPages touchéesCe que Google voyaitCorrectif
Script e-mail de Cloudflare sous /cdn-cgi/1 320Un script qu'il ne pouvait pas récupérerScript autorisé
/favicon et /apple-touch-icon.pngTous les résultatsUne simple lettre, pas de logoLes deux fichiers autorisés

Les fichiers favicon étaient derrière une règle Disallow: /. Les consignes de Google sur les favicons exigent que le fichier soit crawlable par Googlebot-Image : les résultats de recherche affichaient donc une lettre au lieu de notre logo à côté de neova.app. Aucune des deux règles ne semblait fausse dans le fichier. Toutes deux ne sont apparues qu'en testant les règles sur chaque URL et chaque fichier que chargent les pages.

Comment tester le robots.txt sans risque

  1. Crawlez le site pour avoir une liste complète de vraies URL, pas seulement les quelques-unes dont vous vous souvenez.
  2. Testez le fichier en ligne sur cette liste pour chaque crawler qui vous importe : Googlebot, Googlebot-Image, Bingbot et les crawlers IA.
  3. Écrivez la modification sous forme de brouillon et testez le brouillon sur la même liste. Regardez les URL qui deviennent bloquées et celles qui deviennent autorisées.
  4. Vérifiez les ressources. Assurez-vous qu'aucune page indexable ne perd ses scripts, feuilles de style ou images.
  5. Mettez en ligne, puis confirmez dans le rapport robots.txt de Search Console que Google a récupéré la nouvelle version sans erreur.
  6. Recrawlez et comparez, pour repérer plus tard tout changement accidentel.

Si vous décidez ce que les crawlers IA peuvent récupérer, le guide des crawlers IA liste leurs noms et ce que fait chacun. Les pages bloquées apparaissent aussi dans le guide du vérificateur d'indexabilité.

Testez le robots.txt avec Neova

Le Testeur robots.txt de Neova explique chaque ligne du fichier en ligne, ou d'un brouillon, en langage clair, tel que Google le documente et que la RFC 9309 le définit, avec les URL crawlées auxquelles chaque règle correspond. Sa vue Tous les crawlers montre ce que Googlebot, Bingbot et les crawlers IA peuvent récupérer, avec les URL bloquées pour chacun. Il signale quand le groupe propre d'un crawler écarte les règles du groupe *, et le test du brouillon liste chaque URL du crawl qu'une modification rendrait bloquée ou autorisée. Vous pouvez ensuite crawler en respectant le brouillon pour voir l'effet complet. Les checks derrière cet outil :

Neova garde chaque version du robots.txt lue par ses crawls, pour que vous voyiez quand une règle a changé. Avec le réglage User agent, vous pouvez crawler en tant que Googlebot, Bingbot, un crawler IA ou une chaîne personnalisée. Voir les fonctionnalités ou télécharger Neova.

Questions

Google a-t-il encore un testeur robots.txt ?

Non. Google a retiré l'outil de test du robots.txt de Search Console en 2023 et l'a remplacé par le rapport robots.txt, qui montre comment Google a lu votre fichier en ligne et les éventuelles erreurs. Pour tester une modification avant sa mise en ligne, utilisez un testeur robots.txt séparé.

Comment savoir si une URL est bloquée par le robots.txt ?

Trouvez le groupe qui correspond au user agent du crawler, puis le chemin Allow ou Disallow le plus long qui correspond à l'URL. C'est cette règle qui décide. Un testeur robots.txt le fait pour vous et nomme la ligne, pour une URL ou pour toutes les URL d'un crawl. La FAQ robots.txt de SEO ProCheck répond aux cas limites.

Le robots.txt empêche-t-il une page d'être indexée ?

Non. Il arrête le crawl. Une URL bloquée peut quand même être indexée si d'autres pages font des liens vers elle. Utilisez noindex sur une page que Google peut crawler si vous voulez la retirer des résultats.

Pourquoi Googlebot ignore-t-il mes règles User-agent: * ?

Parce que le fichier contient un groupe nommé pour Googlebot. Un crawler ne suit que le groupe le plus spécifique qui lui correspond : recopiez donc aussi les règles communes dans le groupe Googlebot.

Combien de temps faut-il pour qu'une modification du robots.txt prenne effet ?

Google met en général le robots.txt en cache jusqu'à 24 heures. Après une correction urgente, vous pouvez demander un nouveau crawl dans le rapport robots.txt de Search Console.

Emportez ce guide

Les liens vers les assistants s'ouvrent avec une question sur cette page déjà rédigée.

Crawlez votre site avec NeovaL'offre Free lance tous les checks sur Mac, Windows et Linux. Sans carte bancaire.

À lire ensuite