Crawler SEO IA : où l'IA aide un audit, et comment auditer pour la recherche IA
« Crawler SEO IA » veut dire deux choses : un crawler qui utilise l'IA, et un crawler qui vérifie comment votre site apparaît à la recherche IA. Un bon outil fait les deux, et sépare les constats issus d'un modèle de ceux issus de règles.
Les deux sens de « crawler SEO IA »
Quand on cherche un crawler SEO avec IA, on veut l'une de deux choses.
- Un crawler qui utilise l'IA dans l'audit. Un modèle de langage lit les pages et juge ce que les règles ne peuvent pas juger : si une page répond à son titre, si une affirmation repose sur quelque chose.
- Un crawler qui audite pour la recherche IA. Il vérifie ce que GPTBot, ClaudeBot, PerplexityBot et les autres crawlers IA peuvent récupérer, ce que votre serveur leur renvoie réellement, et si les réponses IA citent vos pages.
Le premier sens concerne la manière de faire l'audit. Le second, ce qu'il couvre. Un outil peut être bon sur l'un et faible sur l'autre.
Où l'IA aide dans un audit SEO, et où elle n'aide pas
L'essentiel d'un audit technique, c'est compter et comparer. Les règles le font exactement, de la même façon à chaque fois. Un modèle n'y apporte rien et peut se tromper sur un nombre. L'IA trouve sa place sur les questions qui demandent de lire.
| Tâche | Règles | Modèle |
|---|---|---|
| Codes HTTP et redirections | ✓ | – |
| Canonicals et hreflang | ✓ | – |
| Longueur des titles et descriptions | ✓ | – |
| robots.txt par crawler | ✓ | – |
| Le texte répond à son titre | – | ✓ |
| Affirmations sans chiffres à l'appui | – | ✓ |
| Intention de recherche et entités principales | – | ✓ |
| Brouillons de meta descriptions | – | ✓ |
Deux points à vérifier dans tout outil d'audit SEO avec IA. Les constats du modèle sont-ils séparés de ceux fondés sur des règles, pour qu'une supposition ne gonfle jamais votre nombre d'erreurs ? Et où va le texte de vos pages : vers un modèle dans le cloud, ou vers un modèle sur votre propre ordinateur ?
Les crawlers IA et leurs tokens robots.txt
Chaque entreprise d'IA exploite plusieurs agents, et chacun obéit à son propre groupe robots.txt. Bloquer le crawler d'entraînement ne bloque pas celui de recherche.
| Token robots.txt | Société | Tâche |
|---|---|---|
| GPTBot | OpenAI | Entraînement |
| OAI-SearchBot | OpenAI | Recherche |
| ChatGPT-User | OpenAI | Récupération pour un utilisateur |
| ClaudeBot | Anthropic | Entraînement |
| Claude-SearchBot | Anthropic | Recherche |
| Claude-User | Anthropic | Récupération pour un utilisateur |
| PerplexityBot | Perplexity | Recherche |
| Perplexity-User | Perplexity | Récupération pour un utilisateur |
| Google-Extended | Token seulement, pas de crawler |
Sources : la page d'OpenAI sur ses crawlers, la page de Perplexity sur ses bots et la liste des crawlers de Google, qui précise que Google-Extended n'a pas de user agent propre : c'est un token robots.txt lu par les crawlers existants de Google. SEO ProCheck tient une liste plus longue dans AI bot user agents explained.
De quoi dépend la visibilité dans la recherche IA
Les assistants IA trouvent les pages par leurs propres crawlers, par des fetchers déclenchés par l'utilisateur, et par des index de recherche comme ceux de Bing et de Google. Votre site peut trébucher à chaque étape.
| Étape | Ce qui coince | Check Neova |
|---|---|---|
| robots.txt | Une règle trop large bloque les crawlers IA | Règle robots.txt pour un crawler IA différente de la politique écrite |
| Pare-feu et CDN | 403 ou page de challenge | Requête avec le user agent d'un crawler de recherche IA bloquée |
| Rendu | Le texte a besoin de JavaScript | L'essentiel du texte principal n'apparaît que dans le HTML rendu |
| Ordre de la page | Le texte commence après 5 000 caractères | Le contenu principal commence après les 5 000 premiers caractères du body |
| Contrôles d'extraits | nosnippet sur des pages clés | Page HTML clé qui restreint les extraits ou bloque les crawlers de recherche IA |
| URL citées | Une page citée renvoie 404 | Les assistants IA citent une URL qui renvoie 404 ou 410 |
Nous avons trouvé le cas robots.txt sur notre propre site. Lors de notre passe SEO sur neova.app le 20 novembre 2026, robots.txt bloquait le script e-mail de Cloudflare sous /cdn-cgi/ sur 1 320 pages jusqu'à ce que nous l'autorisions, et les fichiers favicon étaient derrière Disallow: /, si bien que Google affichait une simple lettre au lieu de notre logo. Les règles larges bloquent plus que prévu. SEO ProCheck a mesuré l'accès des crawlers IA sur 400 sites si vous voulez voir à quel point c'est courant.
Google explique comment ses fonctions IA utilisent votre contenu dans AI features and your website.
Comment vérifier ce que les crawlers IA peuvent voir
- Lisez robots.txt crawler par crawler. Un crawler qui a son propre groupe ignore les règles du groupe *.
- Demandez les pages clés avec chaque user agent IA. Comparez le code HTTP et la taille de la réponse avec ce que reçoit un navigateur. Une 403 ou une réponse minuscule signifie que quelque chose devant le site le bloque.
- Comparez le HTML brut et le HTML rendu. Si le texte principal, les liens ou le title n'apparaissent qu'après JavaScript, corrigez-le dans le HTML serveur.
- Vérifiez llms.txt si vous en publiez un. Il est facultatif ; un fichier cassé est pire que pas de fichier du tout. Voir llms.txt mal formé ou en erreur serveur et SEO ProCheck sur l'usage réel de llms.txt par l'IA.
- Lisez le log serveur. Les visites vérifiées des crawlers IA par URL montrent ce qu'ils récupèrent, et les réponses 403 et 429 qu'ils reçoivent. Les requêtes qui se contentent de se réclamer d'un crawler sont signalées par Requêtes de crawlers IA non vérifiées ayant reçu une 2xx.
Mesurer la visibilité dans la recherche IA
L'accès, c'est la partie que vous maîtrisez. Être cité, c'est le résultat, et il faut des données externes pour le voir.
| Source | Montre | Dans Neova |
|---|---|---|
| Bing Webmaster Tools | Citations dans les réponses IA de Bing | ✓ |
| Google Analytics 4 | Sessions venant des assistants IA | ✓ |
| Microsoft Clarity | Pages citées, requêtes de bots IA | ✓ |
| Test de prompts | Marque dans ChatGPT, Perplexity | Votre compte DataForSEO |
| AI Overviews | Affiché, et cité ou non | Votre compte DataForSEO |
| Log serveur | Visites vérifiées des crawlers IA | ✓ |
Traitez ces chiffres comme des tendances, pas comme des comptes exacts. Les réponses varient d'un passage à l'autre. La page Clarity montre comment fonctionne cette connexion.
Comment Neova utilise l'IA, et audite pour la recherche IA
Neova garde les deux sens séparés.
| Fonctionnalité | Fonctionne sur | Le texte des pages quitte l'ordinateur |
|---|---|---|
| AI Review, 44 checks | Ollama, votre ordinateur | – |
| Demander | Ollama, votre ordinateur | – |
| Prompts IA | Ollama ou votre propre clé | Uniquement vers le fournisseur choisi |
| Serveur MCP | Votre ordinateur | – |
- Les flags d'AI Review restent hors des totaux À corriger et À vérifier.
- AI Prompts lance vos propres prompts page par page avec Ollama ou votre clé Anthropic, OpenAI ou Google Gemini.
- Ask choisit sa réponse parmi ce que la fenêtre affiche déjà : il n'invente donc pas de chiffre.
- La catégorie Recherche IA compte 45 checks sur ce que les crawlers IA peuvent récupérer, ce que reçoit chaque assistant, llms.txt et les fichiers pour agents.
- Ce que reçoit chaque assistant : des pages échantillons interrogées en se présentant comme 10 agents IA, ou un crawl entier en tant que GPTBot, ClaudeBot, PerplexityBot et d'autres.
AI Review tourne dans l'application de bureau à partir de l'offre Desktop ; voir les tarifs.
Checklist de crawl pour la recherche IA
- Les règles robots.txt de chaque crawler IA correspondent à ce que votre entreprise a décidé.
- Les pages clés répondent 200 aux user agents des crawlers IA, pas 403 ni un challenge.
- Les fetchers déclenchés par l'utilisateur ne sont pas bloqués au pare-feu ni au CDN.
- Le texte principal, le title et les liens sont dans le HTML serveur.
- Le contenu principal commence dans les 5 000 premiers caractères du body.
- Aucun nosnippet accidentel sur les pages que vous voulez voir citées.
- llms.txt, s'il est publié, est valide.
- Les pages citées par les réponses IA ne sont ni cassées ni redirigées.
Questions
Qu'est-ce qu'un crawler SEO IA ?
Soit un crawler qui utilise l'IA pour juger les pages, soit un crawler qui vérifie comment un site apparaît à la recherche IA : ce que les crawlers IA peuvent récupérer, ce qu'ils reçoivent et si les réponses IA le citent. Un bon outil fait les deux et indique quels constats viennent d'un modèle.
Les crawlers IA exécutent-ils le JavaScript ?
Pour beaucoup, rien ne l'indique. Le contenu qui n'apparaît qu'après l'exécution du JavaScript peut ne jamais leur parvenir : gardez le texte principal, les titles et les liens dans le HTML serveur.
Faut-il bloquer GPTBot et les autres crawlers IA ?
C'est une décision d'entreprise, pas un réglage SEO par défaut. Les crawlers d'entraînement et de recherche ont des tokens différents : vous pouvez autoriser l'un et bloquer l'autre. Quelle que soit votre décision, vérifiez que robots.txt et le pare-feu disent la même chose.
Bloquer Google-Extended me retire-t-il de la recherche Google ?
Non. Google précise que Google-Extended est un token robots.txt sans crawler propre, et qu'il n'affecte pas l'inclusion dans la recherche Google.
llms.txt est-il obligatoire ?
Non. Il est facultatif, et Neova ne signale pas un site qui n'en a pas. Si vous en publiez un, gardez-le valide et à jour.
Neova envoie-t-il mes pages à un fournisseur d'IA ?
Pas pour AI Review ni Ask, qui utilisent un modèle sur votre ordinateur via Ollama. AI Prompts peut utiliser votre propre clé Anthropic, OpenAI ou Gemini, et Neova indique quand le texte des pages part chez le fournisseur choisi.