NeovaGeavanceerd SEO-platform

Logfile-analyse voor SEO: lees wat Googlebot echt doet

Een crawler vertelt je wat een zoekmachine kon ophalen. Je serverlogs vertellen je wat hij echt ophaalde. Logfile-analyse voor SEO is de gewoonte om die logs te lezen en te zien waar Googlebot, Bingbot en AI-crawlers hun tijd besteden, en waar ze nooit komen.

Audits, logs en monitoringlogfile analyse seoBijgewerkt op 21 november 2026Door het Neova-team

Wat is logfile-analyse?

Elke webserver schrijft een regel voor elk verzoek dat hij beantwoordt: wie vroeg, om welke URL, wanneer, en wat de server antwoordde. Die regels komen in een access log. Logfile-analyse betekent dat log lezen, meestal gefilterd op zoekmachines en AI-crawlers, en er antwoorden van maken.

Voor SEO zijn de vragen simpel. Welke pagina's bezoekt Googlebot, en hoe vaak? Welke bezoekt hij nooit? Waar stuit hij op redirects en fouten? Verspilt hij verzoeken aan URL's die niet zouden moeten bestaan?

Geen andere bron beantwoordt dit met hetzelfde detail. Het rapport Crawlstatistieken in Search Console geeft een samenvatting. Een crawl toont wat je links blootleggen. Alleen het log toont elk echt verzoek.

BronElk verzoekElke botPer URL
Serverlog✓✓✓
Crawlstatistieken–◐◐
Je eigen crawl––✓

Crawlstatistieken dekt alleen Googlebot, over 90 dagen, met voorbeeld-URL's. Voor een uitgebreidere uitleg van de methode, zie log file analysis for SEO op SEO ProCheck.

Waarom logfile-analyse belangrijk is voor SEO

  • Vind pagina's die Googlebot negeert. Een pagina die gelinkt, indexeerbaar en in de sitemap is maar nooit wordt opgevraagd, is een pagina die Google de moeite niet waard vindt.
  • Spoor verspild crawlbudget op. Parameters, gefacetteerde URL's en oude redirects duiken in logs op lang nadat je ze vergeten bent.
  • Zie fouten zoals Googlebot ze ziet. Een 5xx die alleen onder belasting optreedt, of een 429 van een firewall, verschijnt misschien nooit in je eigen crawl.
  • Vind weespagina's. URL's die bots opvragen maar waar geen interne link naartoe leidt, zijn vaak oude pagina's die nog aandacht krijgen.
  • Zie AI-crawlers. GPTBot, ClaudeBot, PerplexityBot en anderen laten ook regels achter, dus je ziet wat ze meenemen en wat ze geweigerd wordt.
  • Controleer een migratie. Na een verhuizing toont het log of Googlebot je redirects volgt en de nieuwe URL's bereikt.

Wat een regel in een serverlog bevat

Het meest gebruikte formaat is het combined log format van Apache, dat ook de standaard van Nginx is. Eén regel ziet er zo uit:

66.249.66.1 - - [10/Nov/2026:13:55:36 -0600] "GET /shoes/ HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
VeldVoorbeeldWaarom het ertoe doet
IP van de client66.249.66.1De enige manier om te verifiëren dat de bot echt is
Tijd10/Nov/2026:13:55:36Crawlfrequentie en intervallen tussen crawls
VerzoekGET /shoes/Welke URL werd opgehaald
Status200Succes, redirect of fout
Bytes2326Grootte van de respons
User agentGooglebot/2.1Welke crawler zegt te vragen

IIS schrijft het W3C extended format, met een #Fields:-regel die de kolommen noemt. CDN's en load balancers, zoals Cloudflare, CloudFront, load balancers van AWS, Google Cloud, Akamai en Fastly, hebben hun eigen indeling, vaak JSON. In het gewone common format van Apache zit geen user agent, dus daarin is geen bot te onderscheiden. Vraag om het combined format.

Zo kom je aan je serverlogs

HostWaar het log staat
cPanelMetrics, Raw Access (.gz)
PleskLogs, Manage Log Files
AmazonS3-bucket, zodra logging aan staat
Google CloudCloud Logging, zodra ingeschakeld
CloudflareLogpush, of je eigen account
Iedereen andersVraag het aan IT of je hostingpartij

Bij Amazon en Google Cloud staat access logging uit tot je het aanzet. Als je om een log vraagt, houd het dan klein en makkelijk goed te keuren:

Vraag omWaarde
Dagen30 of meer
RegelsAlleen crawlers
VeldenTijd, URL, status, user agent, IP
FormaatCombined, niet common

Door gewone bezoekers weg te laten blijven persoonsgegevens buiten het verzoek, wat securityteams waarderen. Met minder dan 30 dagen lijken traag gecrawlde pagina's nooit bezocht.

Verifieer Googlebot voordat je een regel vertrouwt

Iedereen kan Googlebot in een user agent-string zetten. Scrapers doen het voortdurend. Controleer voordat je een verzoek meetelt dat het kwam van het bedrijf dat het noemt:

BotReverse DNS eindigt opIP-lijst gepubliceerd
Googlebotgooglebot.com, google.com, googleusercontent.com✓
Bingbotsearch.msn.com✓
GPTBot, OAI-SearchBot, ChatGPT-UserGebruik de IP-lijst✓
PerplexityBot, Perplexity-UserGebruik de IP-lijst✓

Doe voor DNS een reverse lookup op het IP, controleer de naam, en daarna een forward lookup om te bevestigen dat die naar hetzelfde IP terugwijst. Een verzoek dat een bot noemt maar de controle niet doorstaat, is die bot niet. Tel het apart. Krijgen niet-geverifieerde verzoeken die zich als AI-crawler voordoen 200-antwoorden, dan verzamelt iemand je content onder een geleende naam; Neova meldt dat als Niet-geverifieerde verzoeken van AI-crawlers kregen 2xx, en als Naam van AI-crawler verschijnt alleen in niet-geverifieerde verzoeken wanneer geen enkel verzoek de controle doorstaat.

Waar je op let: een checklist voor loganalyse

Lees het log naast een crawl. Onze volledige crawl van seoprocheck.com op 17 oktober 2026 vond 4.561 HTML-pagina's die 200 antwoordden: dat is de lijst waarmee een log van die site wordt vergeleken, pagina voor pagina. De signalen die het lezen waard zijn, met de drempels die de logchecks van Neova gebruiken waar die er zijn:

SignaalGezondZorgelijk als
Aandeel 3xx, 4xx, 5xx per botLaag en vlakMeer dan 1% en verdubbeld
429 en 403 naar bots0Onbeperkt
Belangrijke pagina's nooit bezocht0Onbeperkt
Interval tussen crawls van GooglebotVlak50% of meer gestegen
Nooit geziene URL's per dagVlak10+ per dag, verdubbeld
CSS en JS opgehaaldAntwoorden 200Elke fout

Tel ook de geverifieerde verzoeken per dag per bot, en kijk naar URL's die bots opvragen maar die je crawl niet vond: weespagina's, oude pagina's, parameters of links vanaf andere sites. Een plotselinge stijging van nooit geziene URL's betekent vaak dat er een crawl trap of een kapotte template live is gegaan.

Logfile-analyse in Neova

De desktopapp van Neova heeft een Serverlog-tool die het log aan de crawl koppelt, zodat elke URL zowel toont wat de crawl vond als wat de bots deden.

  • 8 logbronnen, herkend aan de regels zelf: Apache en Nginx combined, IIS W3C, Amazon CloudFront, load balancers van Amazon, Cloudflare Logpush, Google Cloud load balancing, Akamai DataStream, en Fastly of andere JSON- en CSV-logs met de gangbare veldnamen. Gewoon, .gz of meerdere bestanden in één .zip.
  • Alleen geverifieerde bots. Een verzoek telt alleen voor Googlebot, Bingbot of een AI-crawler wanneer het adres op de lijst staat die het bedrijf erachter publiceert. Reverse DNS kan ook worden aangezet voor Google en Microsoft.
  • Nooit bezocht en weespagina's: HTML-pagina's die Googlebot in het logvenster nooit bezocht, en URL's waar bots om vroegen die de crawl niet kent.
  • Weigeringen: de 429- en 403-antwoorden die elke bot kreeg.
  • Cloudflare: voor een site achter Cloudflare kan Neova verzoeken van crawlers verzamelen in je eigen Cloudflare-account, zonder toegang tot de server.
  • Vraag om het log schrijft het verzoek dat je naar IT stuurt: alleen crawlerregels, niets te installeren.
  • Gelezen op je computer. Het bestand verlaat hem nooit, en er wordt nergens een IP-adres weggeschreven.

Logchecks zijn onder meer een stijgend aandeel 3xx-, 4xx- of 5xx-responsen voor zoekbots, een interval tussen crawls van Googlebot dat met 50% of meer groeide, botverzoeken voor nooit geziene URL's die verdubbelden en indexeerbare weespagina's gevonden via het log. De stappen staan in Importeren in plaats van verbinden, en Prijzen laat zien welke abonnementen serverlogs bevatten.

Veelgemaakte fouten

  • De user agent vertrouwen. Zonder IP-verificatie blazen nep-Googlebots elk getal op.
  • Een week aan logs gebruiken. Veel pagina's worden minder vaak gecrawld dan dat. Gebruik minstens 30 dagen.
  • Hits tellen in plaats van verzoeken. Een samenvatting van je logs is een prima overzicht, maar het detail zit in de ruwe regels. Vraag daarom.
  • De CDN vergeten. Antwoordt een CDN vanuit de cache, dan mist het log van je originele server die verzoeken. Gebruik de logs van de CDN.
  • Logs lezen zonder crawl. Een log alleen kan niet zeggen welke pagina's bots oversloegen. Je hebt de lijst van bestaande pagina's nodig om mee te vergelijken.

De FAQ over logfile-analyse op SEO ProCheck beantwoordt de vragen die daarna komen.

Vragen

Wat is logfile-analyse in SEO?

Het is het lezen van de access logs van je server om te zien welke URL's zoekmachines en AI-crawlers opvroegen, hoe vaak, en wat je server antwoordde. Het toont echt crawlgedrag in plaats van wat een crawler kon bereiken.

Hoeveel dagen aan logs heb ik nodig?

Minstens 30 dagen. Bij kortere periodes lijken pagina's die Googlebot om de paar weken bezoekt nooit gecrawld.

Kan ik logfile-analyse doen zonder toegang tot de server?

Vaak wel. Staat de site achter een CDN zoals Cloudflare of CloudFront, dan bevatten de logs daarvan de verzoeken van crawlers. Neova kan verzoeken van crawlers verzamelen in je eigen Cloudflare-account, zonder toegang tot de server.

Vervangen de Crawlstatistieken van Search Console serverlogs?

Nee. Crawlstatistieken geeft totalen en voorbeelden voor Googlebot. Logs geven elk verzoek, voor elke bot, per URL, zodat je ze naast je crawl kunt leggen.

Bevatten serverlogs persoonsgegevens?

Ze bevatten IP-adressen van bezoekers, dus ga er zorgvuldig mee om. Vraag alleen om crawlerregels. Neova leest logs op je computer en schrijft nergens een IP-adres weg.

Neem dit mee

De links naar de assistenten openen met een vraag over deze pagina die al klaarstaat.

Crawl je site met NeovaHet Free-abonnement voert elke check uit op Mac, Windows en Linux. Geen creditcard nodig.

Lees verder