Crawlers IA : ce que font GPTBot, ClaudeBot et PerplexityBot, et comment les contrôler
Les crawlers IA récupèrent vos pages pour entraîner des modèles de langage, pour construire des index de recherche IA, ou pour répondre sur le moment à la question d'une personne. Chaque type a son propre nom dans robots.txt : vous pouvez donc en autoriser certains et en bloquer d'autres. Voici qui ils sont, ce que fait chacun, et comment vérifier ce qu'ils reçoivent réellement.
Qu'est-ce qu'un crawler IA ?
Les crawlers IA, aussi appelés crawlers de LLM, sont des bots exploités par les entreprises d'IA. Ils ne sont pas tous pareils, et les traiter comme un seul groupe mène à de mauvaises règles robots.txt. Il en existe trois types :
- Les crawlers d'entraînement collectent des pages qui peuvent servir à entraîner de futurs modèles. GPTBot et ClaudeBot sont les plus connus.
- Les crawlers de recherche construisent l'index qu'un assistant IA interroge quand il répond avec des sources et des liens. OAI-SearchBot, Claude-SearchBot et PerplexityBot font partie de ce groupe.
- Les fetchers déclenchés par l'utilisateur chargent une page parce qu'une personne a interrogé l'assistant à son sujet, par exemple en collant une URL. ChatGPT-User, Claude-User et Perplexity-User fonctionnent ainsi.
Bloquer un crawler d'entraînement garde vos pages hors des futurs jeux d'entraînement. Bloquer un crawler de recherche peut vous exclure des réponses IA avec citations, ce qui est souvent l'inverse de ce que veut une entreprise.
Les principaux crawlers IA et leurs tokens robots.txt
Chaque éditeur documente ses propres bots. Voici les noms à utiliser dans robots.txt, avec un lien vers la page de l'éditeur :
| Token | Société | Type | Bot propre |
|---|---|---|---|
| GPTBot | OpenAI | Entraînement | ✓ |
| OAI-SearchBot | OpenAI | Recherche IA | ✓ |
| ChatGPT-User | OpenAI | Requête utilisateur | ✓ |
| ClaudeBot | Anthropic | Entraînement | ✓ |
| Claude-SearchBot | Anthropic | Recherche IA | ✓ |
| Claude-User | Anthropic | Requête utilisateur | ✓ |
| PerplexityBot | Perplexity | Recherche IA | ✓ |
| Perplexity-User | Perplexity | Requête utilisateur | ✓ |
| Google-Extended | Usage du contenu par Gemini | – | |
| Applebot-Extended | Apple | Entraînement des modèles Apple | – |
| CCBot | Common Crawl | Archive ouverte du web | ✓ |
Google-Extended et Applebot-Extended sont des tokens, pas des bots distincts : ils contrôlent l'usage qui peut être fait du contenu que Googlebot ou Applebot crawle déjà. Google précise que Google-Extended n'affecte ni l'inclusion dans la recherche Google ni le classement. Pour limiter l'apparition de votre contenu dans les fonctions IA de la recherche de Google, Google renvoie aux contrôles d'extraits comme nosnippet. Pour une liste plus longue avec chaque bot et sa finalité, voir la carte des crawlers IA sur SEO ProCheck.
Faut-il bloquer les crawlers de LLM ?
Il n'y a pas de réponse unique. Tout dépend de la finalité de votre contenu. En termes de robots.txt, trois politiques couvrent la plupart des sites :
| Politique | Entraînement | Recherche IA | Requête utilisateur |
|---|---|---|---|
| Ouvert à tous | ✓ | ✓ | ✓ |
| Cité, pas utilisé pour l'entraînement | – | ✓ | ✓ |
| Fermé à l'IA | – | – | ◐ |
- Autorisez les crawlers de recherche si vous voulez être cité et lié dans ChatGPT Search, Claude et Perplexity. Pour la plupart des entreprises, c'est une visibilité souhaitable.
- Envisagez de bloquer les crawlers d'entraînement si votre contenu est votre produit : actualités, études, formations, données payantes. Le blocage arrête la collecte future ; il ne supprime pas ce qui a déjà été récupéré.
- Réfléchissez avant de bloquer les fetchers déclenchés par l'utilisateur. Ils agissent pour une personne qui a posé une question sur votre page, et certains éditeurs indiquent qu'ils peuvent ne pas suivre robots.txt comme le font les crawlers, d'où le « en partie » ci-dessus.
Mettez la décision par écrit : quels bots sont autorisés, lesquels sont bloqués, et pourquoi. Puis alignez robots.txt dessus. Une politique écrite est ce qui empêche un futur développeur de tout bloquer pendant une refonte.
robots.txt pour les bots IA : exemples
Voici une configuration courante : autoriser la recherche IA, bloquer l'entraînement.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
Plusieurs lignes User-agent peuvent partager un même groupe de règles. Surveillez un piège de près. Selon le standard robots.txt, la RFC 9309, un crawler ne suit que le groupe le plus spécifique qui le nomme. Si vous ajoutez un groupe pour GPTBot, GPTBot ignore entièrement le groupe *, y compris votre Disallow: /search/. C'est pourquoi le groupe de recherche ci-dessus répète les deux règles communes. Tout ce qu'un groupe nommé n'interdit pas est autorisé.
Pour bloquer un seul dossier à l'entraînement plutôt que tout le site :
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
Pour les fetchers déclenchés par l'utilisateur, lisez la page de chaque éditeur avant de vous fier à robots.txt.
Testez chaque règle sur de vraies URL avant de la mettre en ligne. Le 20 novembre 2026, nous avons trouvé sur neova.app deux règles qui bloquaient plus que prévu :
| Règle touchée | Effet | Portée |
|---|---|---|
| /cdn-cgi/ bloqué | Script e-mail de Cloudflare bloqué | 1 320 pages |
| Disallow: / sur les favicons | Une simple lettre au lieu du logo dans Google | Chaque résultat de recherche |
Les deux ont été corrigées en autorisant les chemins. Un Disallow écrit pour un bot ou un dossier atteint chaque fichier en dessous, scripts et icônes compris.
Au-delà de robots.txt : pare-feu, CDN et vérification
robots.txt est une demande, pas un verrou. Les entreprises d'IA ci-dessus documentent la façon dont leurs crawlers le traitent, mais d'autres bots peuvent l'ignorer.
- Vérifiez aussi le pare-feu. Certains CDN et WAF ont des réglages qui bloquent les crawlers IA, parfois par défaut. Un site peut autoriser GPTBot dans robots.txt et lui répondre quand même par une 403. Testez ce que chaque crawler reçoit réellement.
- Vérifiez avant de faire confiance. OpenAI et Perplexity publient les listes d'IP de leurs bots, tout comme Google et Microsoft. Une requête qui se réclame d'un bot depuis une adresse absente de la liste de son entreprise n'est pas ce bot.
- Bloquez les acteurs malveillants en bordure. Pour les scrapers qui ignorent robots.txt, seules les règles de votre CDN ou de votre serveur fonctionnent.
À quelle fréquence cela tourne mal en pratique : SEO ProCheck a testé ce que les crawlers IA reçoivent réellement sur 400 sites dans Can AI Crawlers Actually Read Your Site? 400 Sites Measured.
Rendez vos pages lisibles par les crawlers IA
Autoriser un crawler, c'est la moitié du SEO pour les crawlers IA. L'autre moitié consiste à s'assurer qu'il peut lire ce qu'il récupère.
- Mettez le contenu principal dans le HTML. Tous les crawlers n'exécutent pas le JavaScript. Si votre texte n'apparaît qu'après l'exécution des scripts, partez du principe que certains crawlers IA ne le voient jamais.
- Allez vite à l'essentiel. De longs menus et du texte passe-partout avant le texte principal repoussent la réponse plus bas dans la page.
- Ne cachez pas les faits clés dans des images, des PDF ou des widgets. Prix, caractéristiques et coordonnées ont leur place en texte HTML simple.
- Renvoyez de vrais codes HTTP. Une page cassée ou redirigée que citent les réponses IA envoie leurs lecteurs vers une erreur.
- Gardez un HTML léger. Googlebot lit les 2 premiers Mo d'un fichier HTML ; Neova signale les pages au-delà dans HTML de plus de 2 Mo ou Core Web Vitals hors de la zone « bon ».
- llms.txt est facultatif. C'est un format proposé, pas un standard du web. Si vous en publiez un, gardez-le valide et à jour.
Comment vérifier ce que voient les crawlers IA
Neova montre ce que chaque crawler IA a le droit de récupérer et ce qu'il reçoit réellement, dans l'application de bureau et dans Neova Online :
- Ce que reçoit chaque assistant IA interroge des pages échantillons en se présentant comme 10 agents IA, dont ChatGPT, Claude et Perplexity et leurs crawlers, Meta AI, Google-Extended et Common Crawl, et montre qui obtient un accès complet et ce que robots.txt autorise.
- Crawler comme un crawler IA. Lancez un crawl entier en tant que GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot ou un autre user agent IA.
- Le testeur robots.txt montre ce que Googlebot, Bingbot et les crawlers IA peuvent récupérer, avec les URL dont chacun est bloqué, et signale quand le groupe propre à un crawler écarte les règles du groupe
*. - L'écran Rendu montre combien de pages ont besoin de JavaScript et ce que reçoit chaque crawler IA.
- Server Log, dans l'application de bureau, montre les visites vérifiées des crawlers IA et les refus par URL.
- Les citations IA de Bing Webmaster Tools et de l'AI Visibility de Microsoft Clarity, quand vous les connectez. Voir Microsoft Clarity.
Les checks pour commencer : une requête avec le user agent d'un crawler de recherche IA est bloquée, une règle robots.txt pour un crawler IA diffère de la politique écrite, un fetcher IA déclenché par l'utilisateur est bloqué, une page clé restreint les extraits ou bloque les crawlers de recherche IA et des bots IA demandent des URL qui répondent une erreur. L'offre Free inclut les vues Recherche IA ; voir les tarifs ou télécharger Neova.
Checklist SEO pour les crawlers IA
| Élément | Fait quand |
|---|---|
| Politique écrite | Chaque bot IA : autorisé ou bloqué |
| robots.txt | Conforme à la politique |
| Groupes nommés | Règles communes répétées |
| Crawlers de recherche IA | Autorisés sur les pages à citer |
| Pare-feu et CDN | Identiques à la politique |
| Ce que reçoit chaque crawler | 200 et la page complète |
| Contenu principal | Dans le HTML, tôt |
| Faits clés | En texte, pas en images |
| Logs | Visites vérifiées, faux bots comptés à part |
| Pages citées | Répondent 200 |
Questions
Qu'est-ce que GPTBot ?
GPTBot est le crawler d'OpenAI qui collecte du contenu pouvant servir à entraîner ses modèles. Il est distinct d'OAI-SearchBot, qui trouve les pages pour ChatGPT Search. Voir la page d'OpenAI sur ses crawlers.
Bloquer GPTBot retire-t-il mon site de ChatGPT Search ?
Non. OpenAI utilise des bots distincts, et chacun lit ses propres règles robots.txt. ChatGPT Search s'appuie sur OAI-SearchBot : vous pouvez donc bloquer GPTBot et autoriser OAI-SearchBot.
Google-Extended affecte-t-il mon classement dans Google ?
Google indique qu'il n'affecte pas l'inclusion dans la recherche Google et n'est pas un signal de classement. Il contrôle si votre contenu peut servir aux modèles Gemini.
Comment bloquer les crawlers de LLM ?
Ajoutez à robots.txt un groupe qui nomme chaque crawler, comme GPTBot, ClaudeBot et CCBot, avec Disallow: /. Pour les bots qui ignorent robots.txt, ajoutez une règle dans votre pare-feu ou votre CDN.
Comment savoir si des crawlers IA visitent mon site ?
Lisez vos logs serveur ou CDN, et vérifiez chaque requête par rapport à la liste d'IP publiée par son entreprise. L'outil Server Log de Neova le fait par URL. Voir Importer au lieu de connecter pour les formats de logs.