Tester le robots.txt : vérifier les règles avant qu'elles bloquent les mauvaises pages
Le robots.txt est un petit fichier texte avec beaucoup de pouvoir. Une ligne peut éloigner un moteur de recherche d'un dossier que vous vouliez cacher, ou de tout le site que vous vouliez positionner. Un testeur robots.txt vous dit, URL par URL, ce que chaque crawler a le droit de récupérer, pour que vous le sachiez avant Googlebot.
Ce que fait un testeur robots.txt
Un testeur robots.txt prend un fichier robots.txt et une URL, choisit le groupe de règles qui s'applique à un user agent donné, et vous dit si l'URL est autorisée ou bloquée, et quelle ligne en a décidé. Un bon testeur signale aussi les lignes que le parser ne peut pas lire, les champs qu'il ignore et les règles qui s'annulent.
Tester une URL à la fois est utile pour une question rapide. Tester toutes les URL d'un crawl, c'est ce qui révèle les surprises : une règle écrite pour un dossier qui touche aussi un filtre produit, ou un joker qui bloque le CSS dont vos pages ont besoin pour le rendu.
Google a retiré son testeur robots.txt
Pendant des années, Search Console a proposé un outil de test du robots.txt où l'on pouvait modifier le fichier et tester des URL. Fin 2023, Google l'a retiré et remplacé par le rapport robots.txt. Ce rapport montre quels fichiers robots.txt Google a trouvés pour les 20 premiers hôtes d'une propriété, quand chacun a été crawlé pour la dernière fois, et les éventuels avertissements ou erreurs. Il permet aussi de demander un nouveau crawl du fichier après une correction urgente.
Le rapport vous dit comment Google a lu votre fichier en ligne. Il ne teste pas une règle qui n'est pas encore en ligne, et il ne teste pas toute votre liste d'URL sur le fichier. Pour cela, il vous faut un testeur séparé. Google publie son propre parser robots.txt open source, et Bing Webmaster Tools a un testeur robots.txt pratique pour vérifier comment Bingbot lit un fichier.
Comment fonctionnent les règles robots.txt
Le fichier se trouve à la racine d'un hôte, par exemple https://www.example.com/robots.txt. Les règles sont définies par la RFC 9309, le Robots Exclusion Protocol, et Google documente sa lecture dans Comment Google interprète la spécification robots.txt. Un fichier est fait de groupes. Chaque groupe commence par une ou plusieurs lignes User-agent, suivies de règles Allow et Disallow :
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
Les points que vérifient les testeurs, tels que Google les documente. La référence complète du robots.txt de SEO ProCheck passe en revue chaque champ.
- Un groupe par crawler. Un crawler ne suit que le groupe le plus spécifique qui correspond à son nom. Si Googlebot a son propre groupe, il ignore complètement le groupe
*. - La correspondance la plus longue l'emporte. Quand un Allow et un Disallow correspondent tous deux à une URL, la règle au chemin le plus long s'applique. En cas d'égalité, Google utilise la règle la moins restrictive.
- Deux jokers.
*correspond à n'importe quelle suite de caractères et$marque la fin de l'URL. - Les chemins sont sensibles à la casse.
Disallow: /Adminne bloque pas/admin. - Un fichier par hôte. Les règles ne s'appliquent qu'au protocole, à l'hôte et au port depuis lesquels le fichier est servi. Un sous-domaine a besoin de son propre fichier.
Ce que le robots.txt ne fait pas
Le robots.txt contrôle le crawl, pas l'indexation. L'introduction de Google au robots.txt est claire : une URL bloquée peut quand même être indexée si d'autres pages font des liens vers elle, en général affichée sans description. Si vous voulez retirer une page des résultats, laissez Google la crawler et utilisez plutôt noindex. Une page que Google ne peut pas récupérer est une page dont il ne verra jamais le noindex.
Quelques autres limites à connaître :
- Pas de ligne noindex. Google a cessé de prendre en charge le noindex dans le robots.txt en 2019, ainsi que les règles nofollow et crawl-delay qu'on y mettait.
- Pas de crawl-delay pour Google. Googlebot ignore
Crawl-delay. D'autres crawlers le lisent, c'est pourquoi une valeur définie pour tous les user agents peut fortement les ralentir. - Pas de sécurité. Le fichier est public et les crawlers respectueux le suivent de leur plein gré. Tout ce qui est privé doit être protégé par une authentification.
Les erreurs de robots.txt courantes qu'un testeur repère
| Erreur | Effet | Correctif |
|---|---|---|
Disallow: / resté de la préproduction | Tout le site bloqué | Supprimez la ligne |
| Groupe nommé sans les règles communes | Règles * ignorées pour ce bot | Recopiez les règles communes |
| CSS, JavaScript, images bloqués | La page ne peut pas être rendue | Autorisez les fichiers |
| Joker trop large | /*? bloque filtres et pages | Resserrez le motif |
| Règle avant User-agent, faute de frappe | Ligne ignorée | Corrigez la syntaxe |
| Disallow pour désindexer | noindex jamais lu | Autorisez, puis noindex |
| www et non-www différents | Règles différentes selon l'hôte | Servez un seul fichier |
Bloquer une URL que vous listez aussi dans votre sitemap XML envoie des signaux contradictoires. Le guide du vérificateur de sitemap XML couvre ce côté.
Erreurs serveur et taille du fichier
La façon dont le fichier est servi compte autant que ce qu'il dit. Google documente chaque cas :
| Cas | Ce que fait Google | Durée |
|---|---|---|
| 4xx, sauf 429 | Crawle comme s'il n'y avait pas de fichier | Jusqu'à correction |
| 5xx ou 429 | Arrête de crawler le site | 12 premières heures |
| Toujours en échec | Utilise la dernière copie valide | Jusqu'à 30 jours |
| Fichier de plus de 500 Kio | Ignore le reste | Au-delà de 500 Kio |
| Toute modification | Utilise sa copie en cache | Jusqu'à 24 heures |
La demande de nouveau crawl dans le rapport robots.txt est faite pour les corrections urgentes. Un robots.txt qui ne répond pas à temps au mauvais moment peut mettre en pause le crawl de tout le site ; le guide du budget de crawl explique pourquoi cela compte surtout sur les gros sites.
Ce que nous avons trouvé dans notre propre robots.txt
Notre propre revue SEO de neova.app, le 20 novembre 2026, a trouvé deux règles qui bloquaient plus que prévu :
| Ce qui était bloqué | Pages touchées | Ce que Google voyait | Correctif |
|---|---|---|---|
| Script e-mail de Cloudflare sous /cdn-cgi/ | 1 320 | Un script qu'il ne pouvait pas récupérer | Script autorisé |
| /favicon et /apple-touch-icon.png | Tous les résultats | Une simple lettre, pas de logo | Les deux fichiers autorisés |
Les fichiers favicon étaient derrière une règle Disallow: /. Les consignes de Google sur les favicons exigent que le fichier soit crawlable par Googlebot-Image : les résultats de recherche affichaient donc une lettre au lieu de notre logo à côté de neova.app. Aucune des deux règles ne semblait fausse dans le fichier. Toutes deux ne sont apparues qu'en testant les règles sur chaque URL et chaque fichier que chargent les pages.
Comment tester le robots.txt sans risque
- Crawlez le site pour avoir une liste complète de vraies URL, pas seulement les quelques-unes dont vous vous souvenez.
- Testez le fichier en ligne sur cette liste pour chaque crawler qui vous importe : Googlebot, Googlebot-Image, Bingbot et les crawlers IA.
- Écrivez la modification sous forme de brouillon et testez le brouillon sur la même liste. Regardez les URL qui deviennent bloquées et celles qui deviennent autorisées.
- Vérifiez les ressources. Assurez-vous qu'aucune page indexable ne perd ses scripts, feuilles de style ou images.
- Mettez en ligne, puis confirmez dans le rapport robots.txt de Search Console que Google a récupéré la nouvelle version sans erreur.
- Recrawlez et comparez, pour repérer plus tard tout changement accidentel.
Si vous décidez ce que les crawlers IA peuvent récupérer, le guide des crawlers IA liste leurs noms et ce que fait chacun. Les pages bloquées apparaissent aussi dans le guide du vérificateur d'indexabilité.
Testez le robots.txt avec Neova
Le Testeur robots.txt de Neova explique chaque ligne du fichier en ligne, ou d'un brouillon, en langage clair, tel que Google le documente et que la RFC 9309 le définit, avec les URL crawlées auxquelles chaque règle correspond. Sa vue Tous les crawlers montre ce que Googlebot, Bingbot et les crawlers IA peuvent récupérer, avec les URL bloquées pour chacun. Il signale quand le groupe propre d'un crawler écarte les règles du groupe *, et le test du brouillon liste chaque URL du crawl qu'une modification rendrait bloquée ou autorisée. Vous pouvez ensuite crawler en respectant le brouillon pour voir l'effet complet. Les checks derrière cet outil :
- robots.txt avec une syntaxe invalide ou des champs inconnus
- robots.txt inaccessible ou trop volumineux, pour les 5xx, les 429, l'absence de réponse ou plus de 500 Kio
- URL interne bloquée par le robots.txt
- Page HTML utilisant un fichier JavaScript bloqué par robots.txt, une feuille de style ou une image
- Crawl-delay défini pour tous les user agents dans le robots.txt
- robots.txt d'une variante d'hôte différent de celui de l'hôte canonique
- Règles robots.txt modifiées depuis le crawl précédent
- Favicon manquant, cassé ou bloqué, y compris un favicon bloqué pour Googlebot-Image
- URL bloquée par Disallow listée dans un sitemap XML
Neova garde chaque version du robots.txt lue par ses crawls, pour que vous voyiez quand une règle a changé. Avec le réglage User agent, vous pouvez crawler en tant que Googlebot, Bingbot, un crawler IA ou une chaîne personnalisée. Voir les fonctionnalités ou télécharger Neova.
Questions
Google a-t-il encore un testeur robots.txt ?
Non. Google a retiré l'outil de test du robots.txt de Search Console en 2023 et l'a remplacé par le rapport robots.txt, qui montre comment Google a lu votre fichier en ligne et les éventuelles erreurs. Pour tester une modification avant sa mise en ligne, utilisez un testeur robots.txt séparé.
Comment savoir si une URL est bloquée par le robots.txt ?
Trouvez le groupe qui correspond au user agent du crawler, puis le chemin Allow ou Disallow le plus long qui correspond à l'URL. C'est cette règle qui décide. Un testeur robots.txt le fait pour vous et nomme la ligne, pour une URL ou pour toutes les URL d'un crawl. La FAQ robots.txt de SEO ProCheck répond aux cas limites.
Le robots.txt empêche-t-il une page d'être indexée ?
Non. Il arrête le crawl. Une URL bloquée peut quand même être indexée si d'autres pages font des liens vers elle. Utilisez noindex sur une page que Google peut crawler si vous voulez la retirer des résultats.
Pourquoi Googlebot ignore-t-il mes règles User-agent: * ?
Parce que le fichier contient un groupe nommé pour Googlebot. Un crawler ne suit que le groupe le plus spécifique qui lui correspond : recopiez donc aussi les règles communes dans le groupe Googlebot.
Combien de temps faut-il pour qu'une modification du robots.txt prenne effet ?
Google met en général le robots.txt en cache jusqu'à 24 heures. Après une correction urgente, vous pouvez demander un nouveau crawl dans le rapport robots.txt de Search Console.