NeovaPlateforme SEO avancée

Analyse de logs SEO : lire ce que Googlebot fait vraiment

Un crawler vous dit ce qu'un moteur de recherche pourrait récupérer. Vos logs serveur vous disent ce qu'il a récupéré. L'analyse de logs en SEO, c'est l'habitude de lire ces logs pour voir où Googlebot, Bingbot et les crawlers IA passent leur temps, et où ils ne vont jamais.

Audits, logs et suivianalyse de logs seoMis à jour le 21 novembre 2026Par l'équipe Neova

Qu'est-ce que l'analyse de logs ?

Chaque serveur web écrit une ligne pour chaque requête à laquelle il répond : qui a demandé, quelle URL, quand, et ce que le serveur a répondu. Ces lignes vont dans un log d'accès. L'analyse de logs consiste à lire ce log, en général filtré sur les moteurs de recherche et les crawlers IA, et à en tirer des réponses.

En SEO, les questions sont simples. Quelles pages Googlebot visite-t-il, et à quelle fréquence ? Lesquelles ne visite-t-il jamais ? Où tombe-t-il sur des redirections et des erreurs ? Gaspille-t-il des requêtes sur des URL qui ne devraient pas exister ?

Aucune autre source n'y répond avec le même niveau de détail. Le rapport Statistiques sur l'exploration de Search Console donne un résumé. Un crawl montre ce que vos liens exposent. Seul le log montre chaque vraie requête.

SourceChaque requêteTous les botsPar URL
Log serveur✓✓✓
Statistiques sur l'exploration–◐◐
Votre propre crawl––✓

Les Statistiques sur l'exploration ne couvrent que Googlebot, sur 90 jours, avec des URL d'exemple. Pour un parcours plus long de la méthode, voir l'analyse de logs pour le SEO sur SEO ProCheck.

Pourquoi l'analyse de logs compte en SEO

  • Trouver les pages que Googlebot ignore. Une page liée, indexable et dans le sitemap mais jamais demandée est une page que Google ne juge pas digne du déplacement.
  • Repérer le gaspillage de budget de crawl. Paramètres, URL à facettes et vieilles redirections apparaissent dans les logs longtemps après que vous les avez oubliés.
  • Voir les erreurs comme Googlebot les voit. Une 5xx qui n'arrive qu'en charge, ou une 429 renvoyée par un pare-feu, n'apparaîtra peut-être jamais dans votre propre crawl.
  • Trouver les orphelines. Les URL demandées par les bots vers lesquelles aucun lien interne ne mène sont souvent d'anciennes pages qui attirent encore l'attention.
  • Voir les crawlers IA. GPTBot, ClaudeBot, PerplexityBot et d'autres laissent aussi des lignes : vous voyez ce qu'ils prennent et ce qu'on leur refuse.
  • Vérifier une migration. Après un déménagement, le log montre si Googlebot suit vos redirections et atteint les nouvelles URL.

Ce que contient une ligne de log serveur

Le format le plus courant est le format combined d'Apache, qui est aussi le format par défaut de Nginx. Une ligne ressemble à ceci :

66.249.66.1 - - [10/Nov/2026:13:55:36 -0600] "GET /shoes/ HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
TerrainExemplePourquoi c'est important
IP du client66.249.66.1Le seul moyen de vérifier que le bot est authentique
Durée10/Nov/2026:13:55:36Fréquence de crawl et intervalles de recrawl
RequêteGET /shoes/Quelle URL a été récupérée
Statut200Succès, redirection ou erreur
Octets2326Taille de la réponse
User agentGooglebot/2.1Quel crawler prétend faire la demande

IIS écrit au format W3C étendu, avec une ligne #Fields: qui nomme les colonnes. Les CDN et répartiteurs de charge, comme Cloudflare, CloudFront, les load balancers AWS, Google Cloud, Akamai et Fastly, ont leurs propres formats, souvent en JSON. Le format common d'Apache n'a pas de user agent : impossible d'y distinguer un bot. Demandez le format combined.

Comment récupérer vos logs serveur

HébergeurOù se trouve le log
cPanelMetrics, Raw Access (.gz)
PleskLogs, Manage Log Files
AmazonBucket S3, une fois la journalisation activée
Google CloudCloud Logging, une fois activé
CloudflareLogpush, ou votre propre compte
Tous les autresDemandez à l'IT ou à votre hébergeur

Sur Amazon et Google Cloud, la journalisation des accès est désactivée jusqu'à ce que vous l'activiez. Quand vous demandez un log, gardez la demande petite et facile à approuver :

DemandezValeur
Jours30 ou plus
LignesCrawlers uniquement
ChampsHeure, URL, statut, user agent, IP
FormatCombined, pas common

Écarter les visiteurs ordinaires garde les données personnelles hors de la demande, ce que les équipes sécurité apprécient. Avec moins de 30 jours, les pages crawlées lentement semblent n'avoir jamais été visitées.

Vérifiez Googlebot avant de faire confiance à une ligne

N'importe qui peut mettre Googlebot dans une chaîne de user agent. Les scrapers le font tout le temps. Avant de compter une requête, vérifiez qu'elle vient bien de l'entreprise qu'elle nomme :

BotLe reverse DNS se termine parListe d'IP publiée
Googlebotgooglebot.com, google.com, googleusercontent.com✓
Bingbotsearch.msn.com✓
GPTBot, OAI-SearchBot, ChatGPT-UserUtilisez la liste d'IP✓
PerplexityBot, Perplexity-UserUtilisez la liste d'IP✓

Pour le DNS, faites une recherche inverse sur l'IP, vérifiez le nom, puis une recherche directe pour confirmer qu'il pointe vers la même IP. Une requête qui nomme un bot mais échoue à ce contrôle n'est pas ce bot. Comptez-la à part. Si des requêtes non vérifiées qui se disent crawler IA reçoivent des réponses 200, quelqu'un collecte votre contenu sous un nom d'emprunt ; Neova le signale avec Requêtes de crawlers IA non vérifiés ayant reçu une réponse 2xx, et avec Nom de crawler IA présent uniquement dans des requêtes non vérifiées quand aucune requête ne passe le contrôle.

Quoi chercher : une checklist d'analyse de logs

Lisez le log en regard d'un crawl. Notre crawl complet de seoprocheck.com du 17 octobre 2026 a trouvé 4 561 pages HTML répondant 200 : c'est la liste à laquelle on compare un log de ce site, page par page. Les signaux à lire, avec les seuils qu'utilisent les checks de logs de Neova quand il y en a un :

SignalSainInquiétant quand
Part des 3xx, 4xx, 5xx par botFaible et stablePlus de 1 % et doublée
429 et 403 servies aux bots0Sans limite
Pages clés jamais visitées0Sans limite
Intervalle de recrawl de GooglebotStableEn hausse de 50 % ou plus
URL jamais vues par jourStable10 ou plus par jour, doublées
CSS et JS récupérésRépondent 200La moindre erreur

Comptez aussi les requêtes vérifiées par jour et par bot, et regardez les URL demandées par les bots que votre crawl n'a pas trouvées : orphelines, anciennes pages, paramètres, ou liens venant d'autres sites. Une hausse soudaine d'URL jamais vues signifie souvent qu'un piège à crawl ou un template cassé a été mis en ligne.

L'analyse de logs dans Neova

L'application de bureau Neova propose un outil Log serveur qui relie le log au crawl : chaque URL montre à la fois ce que le crawl a trouvé et ce que les bots ont fait.

  • 8 sources de logs, reconnues à partir des lignes elles-mêmes : Apache et Nginx combined, IIS W3C, Amazon CloudFront, les load balancers Amazon, Cloudflare Logpush, Google Cloud Load Balancing, Akamai DataStream, et Fastly ou d'autres logs JSON et CSV avec les noms de champs habituels. En clair, en .gz ou plusieurs fichiers dans un seul .zip.
  • Bots vérifiés uniquement. Une requête compte pour Googlebot, Bingbot ou un crawler IA seulement si son adresse figure dans la liste publiée par son éditeur. Le reverse DNS peut aussi être activé pour Google et Microsoft.
  • Jamais visitées et orphelines : les pages HTML que Googlebot n'a jamais visitées sur la période du log, et les URL demandées par les bots que le crawl ne connaît pas.
  • Refus : les réponses 429 et 403 reçues par chaque bot.
  • Cloudflare : pour un site derrière Cloudflare, Neova peut collecter les requêtes des crawlers dans votre propre compte Cloudflare, sans accès au serveur.
  • Demander le log rédige la demande à envoyer à l'IT : lignes des crawlers uniquement, rien à installer.
  • Lu sur votre ordinateur. Le fichier ne le quitte jamais, et aucune adresse IP n'est écrite nulle part.

Les checks de logs incluent une part croissante de réponses 3xx, 4xx ou 5xx servies aux bots des moteurs, un intervalle de recrawl de Googlebot en hausse de 50 % ou plus, des requêtes de bots vers des URL jamais vues qui doublent et des orphelines indexables trouvées grâce au log. La marche à suivre est dans Importer au lieu de connecter, et les tarifs indiquent quelles offres incluent les logs serveur.

Erreurs courantes

  • Se fier au user agent. Sans vérification d'IP, les faux Googlebots gonflent tous les chiffres.
  • Utiliser une semaine de logs. Beaucoup de pages sont crawlées moins souvent que cela. Prenez au moins 30 jours.
  • Analyser des totaux de hits au lieu des requêtes. Un résumé de vos logs donne une bonne vue d'ensemble, mais le détail est dans les lignes brutes. Demandez-les.
  • Oublier le CDN. Si un CDN répond depuis son cache, le log de votre serveur d'origine ne voit pas ces requêtes. Utilisez les logs du CDN.
  • Lire des logs sans crawl. Un log seul ne peut pas dire quelles pages les bots ont sautées. Il vous faut la liste des pages existantes pour comparer.

La FAQ sur l'analyse de logs de SEO ProCheck répond aux questions qui viennent ensuite.

Questions

Qu'est-ce que l'analyse de logs en SEO ?

C'est lire les logs d'accès de votre serveur pour voir quelles URL les moteurs de recherche et les crawlers IA ont demandées, à quelle fréquence, et ce que votre serveur a répondu. Elle montre le comportement réel de crawl plutôt que ce qu'un crawler pourrait atteindre.

De combien de jours de logs ai-je besoin ?

Au moins 30 jours. Sur des périodes plus courtes, les pages que Googlebot visite toutes les quelques semaines semblent n'avoir jamais été crawlées.

Peut-on analyser des logs sans accès au serveur ?

Souvent, oui. Si le site est derrière un CDN comme Cloudflare ou CloudFront, ses logs contiennent les requêtes des crawlers. Neova peut collecter les requêtes des crawlers dans votre propre compte Cloudflare, sans accès au serveur.

Les Statistiques sur l'exploration de Search Console remplacent-elles les logs serveur ?

Non. Les Statistiques sur l'exploration donnent des totaux et des exemples pour Googlebot. Les logs donnent chaque requête, pour chaque bot, par URL, ce qui permet de les rapprocher de votre crawl.

Les logs serveur contiennent-ils des données personnelles ?

Ils contiennent les adresses IP des visiteurs : traitez-les avec soin. Ne demandez que les lignes des crawlers. Neova lit les logs sur votre ordinateur et n'écrit aucune adresse IP nulle part.

Emportez ce guide

Les liens vers les assistants s'ouvrent avec une question sur cette page déjà rédigée.

Crawlez votre site avec NeovaL'offre Free lance tous les checks sur Mac, Windows et Linux. Sans carte bancaire.

À lire ensuite