NeovaProfi-SEO-Plattform

Logfile-Analyse für SEO: So lesen Sie, was der Googlebot wirklich tut

Ein Crawler sagt Ihnen, was eine Suchmaschine abrufen könnte. Ihre Server-Logs sagen Ihnen, was sie tatsächlich abgerufen hat. Logfile-Analyse für SEO heißt, diese Logs regelmäßig zu lesen, um zu sehen, wo Googlebot, Bingbot und KI-Crawler ihre Zeit verbringen und wo sie nie hinkommen.

Audits, Logs und Monitoringlogfile analyse seoAktualisiert am 21. November 2026Vom Neova-Team

Was ist Logfile-Analyse?

Jeder Webserver schreibt für jede beantwortete Anfrage eine Zeile: wer gefragt hat, nach welcher URL, wann und was der Server geantwortet hat. Diese Zeilen landen in einem Access-Log. Logfile-Analyse heißt, dieses Log zu lesen, meist gefiltert auf Suchmaschinen- und KI-Crawler, und daraus Antworten zu machen.

Für SEO sind die Fragen einfach. Welche Seiten besucht Googlebot, und wie oft? Welche besucht er nie? Wo stößt er auf Weiterleitungen und Fehler? Verschwendet er Anfragen an URLs, die es gar nicht geben sollte?

Keine andere Quelle beantwortet das so detailliert. Der Bericht „Crawling-Statistiken“ in der Search Console liefert eine Zusammenfassung. Ein Crawl zeigt, was Ihre Links zugänglich machen. Nur das Log zeigt jede echte Anfrage.

QuelleJede AnfrageJeder BotPro URL
Server-Log✓✓✓
Crawling-Statistiken–◐◐
Ihr eigener Crawl––✓

Die Crawling-Statistiken decken nur Googlebot ab, über 90 Tage, mit Beispiel-URLs. Eine ausführlichere Darstellung der Methode finden Sie unter Logfile-Analyse für SEO auf SEO ProCheck.

Warum Logfile-Analyse für SEO wichtig ist

  • Finden Sie Seiten, die Googlebot ignoriert. Eine Seite, die verlinkt, indexierbar und in der Sitemap ist, aber nie angefragt wird, hält Google offenbar nicht für den Weg wert.
  • Erkennen Sie verschwendetes Crawl-Budget. Parameter, Facetten-URLs und alte Weiterleitungen tauchen in Logs noch lange auf, nachdem Sie sie vergessen haben.
  • Sehen Sie Fehler so, wie Googlebot sie sieht. Ein 5xx, der nur unter Last auftritt, oder ein 429 von einer Firewall zeigt sich in Ihrem eigenen Crawl womöglich nie.
  • Finden Sie verwaiste Seiten. URLs, die Bots anfragen, auf die aber kein interner Link führt, sind oft alte Seiten, die noch Beachtung bekommen.
  • Sehen Sie KI-Crawler. GPTBot, ClaudeBot, PerplexityBot und andere hinterlassen ebenfalls Zeilen, Sie sehen also, was sie mitnehmen und was ihnen verweigert wird.
  • Prüfen Sie eine Migration. Nach einem Umzug zeigt das Log, ob Googlebot Ihren Weiterleitungen folgt und die neuen URLs erreicht.

Was eine Zeile im Server-Log enthält

Das häufigste Format ist das Apache Combined Log Format, zugleich der Standard von Nginx. Eine Zeile sieht so aus:

66.249.66.1 - - [10/Nov/2026:13:55:36 -0600] "GET /shoes/ HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
FeldBeispielWarum es wichtig ist
Client-IP66.249.66.1Der einzige Weg, den echten Bot zu verifizieren
Zeit10/Nov/2026:13:55:36Crawl-Häufigkeit und Abstände zwischen Crawls
AnfrageGET /shoes/Welche URL abgerufen wurde
Status200Erfolg, Weiterleitung oder Fehler
Bytes2326Größe der Antwort
User AgentGooglebot/2.1Welcher Crawler zu fragen behauptet

IIS schreibt das W3C Extended Format, mit einer Zeile #Fields:, die die Spalten benennt. CDNs und Load Balancer wie Cloudflare, CloudFront, AWS Load Balancer, Google Cloud, Akamai und Fastly haben eigene Layouts, oft JSON. Das schlichte Common Format von Apache enthält keinen User-Agent, darin lässt sich also kein Bot unterscheiden. Fragen Sie nach dem Combined Format.

So kommen Sie an Ihre Server-Logs

HostWo das Log liegt
cPanelMetrics, Raw Access (.gz)
PleskLogs, Manage Log Files
AmazonS3-Bucket, sobald das Logging an ist
Google CloudCloud Logging, sobald aktiviert
CloudflareLogpush oder Ihr eigenes Konto
Alle anderenFragen Sie die IT oder Ihren Hoster

Bei Amazon und Google Cloud ist das Access-Logging aus, bis Sie es einschalten. Wenn Sie ein Log anfordern, halten Sie die Anfrage klein und leicht zu genehmigen:

AnfordernWert
Tage30 oder mehr
ZeilenNur Crawler
FelderZeit, URL, Status, User-Agent, IP
FormatCombined, nicht Common

Wer normale Besucher weglässt, hält personenbezogene Daten aus der Anfrage heraus, und das schätzen Sicherheitsteams. Mit weniger als 30 Tagen sehen selten gecrawlte Seiten so aus, als seien sie nie besucht worden.

Verifizieren Sie Googlebot, bevor Sie einer Zeile trauen

Jeder kann Googlebot in einen User-Agent-String schreiben. Scraper tun das ständig. Bevor Sie eine Anfrage zählen, prüfen Sie, ob sie von dem Unternehmen kommt, das sie nennt:

BotReverse DNS endet aufIP-Liste veröffentlicht
Googlebotgooglebot.com, google.com, googleusercontent.com✓
Bingbotsearch.msn.com✓
GPTBot, OAI-SearchBot, ChatGPT-UserDie IP-Liste nutzen✓
PerplexityBot, Perplexity-UserDie IP-Liste nutzen✓

Für DNS führen Sie einen Reverse Lookup der IP aus, prüfen den Namen und bestätigen dann per Forward Lookup, dass er auf dieselbe IP zurückzeigt. Eine Anfrage, die einen Bot nennt, aber die Prüfung nicht besteht, ist nicht dieser Bot. Zählen Sie sie getrennt. Erhalten nicht verifizierte Anfragen, die sich als KI-Crawler ausgeben, 200-Antworten, sammelt jemand Ihre Inhalte unter falschem Namen; Neova meldet das als Nicht verifizierte Anfragen von KI-Crawlern erhielten 2xx und als Name eines KI-Crawlers erscheint nur in nicht verifizierten Anfragen, wenn gar keine Anfrage die Prüfung besteht.

Worauf Sie achten sollten: Eine Checkliste für die Log-Analyse

Lesen Sie das Log im Abgleich mit einem Crawl. Unser vollständiger Crawl von seoprocheck.com am 17. Oktober 2026 fand 4.561 HTML-Seiten mit 200: Das ist die Liste, mit der ein Log dieser Website Seite für Seite verglichen wird. Die lesenswerten Signale, mit den Schwellenwerten, die die Log-Checks von Neova verwenden, wo es einen gibt:

SignalGesundBedenklich, wenn
Anteil 3xx, 4xx, 5xx pro BotNiedrig und stabilÜber 1 % und verdoppelt
429 und 403 an Bots0Beliebig viele
Wichtige Seiten nie besucht0Beliebig viele
Abstand zwischen Googlebot-CrawlsStabilUm 50 % oder mehr gestiegen
Nie gesehene URLs pro TagStabilAb 10 pro Tag, verdoppelt
Abgerufenes CSS und JSAntworten mit 200Jeder Fehler

Zählen Sie außerdem die verifizierten Anfragen pro Tag und Bot und sehen Sie sich URLs an, die Bots anfragen, die Ihr Crawl aber nicht gefunden hat: verwaiste Seiten, alte Seiten, Parameter oder Links von anderen Websites. Ein plötzlicher Anstieg nie gesehener URLs bedeutet oft, dass eine Crawl-Falle oder ein fehlerhaftes Template live gegangen ist.

Logfile-Analyse in Neova

Die Desktop-App von Neova hat ein Tool Server-Log, das das Log mit dem Crawl verbindet, sodass jede URL zeigt, was der Crawl gefunden und was die Bots getan haben.

  • 8 Log-Quellen, erkannt an den Zeilen selbst: Apache und Nginx Combined, IIS W3C, Amazon CloudFront, Amazon Load Balancer, Cloudflare Logpush, Google Cloud Load Balancing, Akamai DataStream sowie Fastly oder andere JSON- und CSV-Logs mit den üblichen Feldnamen. Unkomprimiert, als .gz oder mehrere Dateien in einer .zip.
  • Nur verifizierte Bots. Eine Anfrage zählt nur dann für Googlebot, Bingbot oder einen KI-Crawler, wenn ihre Adresse auf der Liste steht, die das jeweilige Unternehmen veröffentlicht. Für Google und Microsoft lässt sich zusätzlich Reverse DNS einschalten.
  • Nie besucht und verwaist: HTML-Seiten, die Googlebot im Log-Zeitraum nie besucht hat, und URLs, nach denen Bots gefragt haben, die der Crawl aber nicht kennt.
  • Abweisungen: die 429- und 403-Antworten, die jeder Bot bekommen hat.
  • Cloudflare: Für eine Website hinter Cloudflare kann Neova Crawler-Anfragen in Ihrem eigenen Cloudflare-Konto sammeln, ganz ohne Serverzugang.
  • Log anfordern schreibt die Anfrage, die Sie an die IT schicken: nur Crawler-Zeilen, nichts zu installieren.
  • Gelesen auf Ihrem Computer. Die Datei verlässt ihn nie, und nirgends wird eine IP-Adresse gespeichert.

Zu den Log-Checks gehören ein steigender Anteil von 3xx-, 4xx- oder 5xx-Antworten an Suchbots, ein um 50 % oder mehr gewachsener Abstand zwischen Googlebot-Crawls, verdoppelte Bot-Anfragen für nie gesehene URLs und indexierbare verwaiste Seiten, gefunden über das Log. Die Schritt-für-Schritt-Anleitung steht in Importieren statt verbinden, und Preise zeigt, welche Tarife Server-Logs enthalten.

Häufige Fehler

  • Dem User-Agent vertrauen. Ohne IP-Verifizierung blähen falsche Googlebots jede Zahl auf.
  • Eine Woche Logs verwenden. Viele Seiten werden seltener gecrawlt. Nehmen Sie mindestens 30 Tage.
  • Trefferzahlen statt Anfragen auswerten. Eine Zusammenfassung Ihrer Logs ist ein guter Überblick, aber die Details stecken in den Rohzeilen. Fordern Sie diese an.
  • Das CDN vergessen. Antwortet ein CDN aus dem Cache, fehlen diese Anfragen im Log Ihres Ursprungsservers. Nutzen Sie die Logs des CDN.
  • Logs ohne Crawl lesen. Ein Log allein kann nicht sagen, welche Seiten Bots ausgelassen haben. Sie brauchen die Liste der existierenden Seiten zum Vergleich.

Die FAQ zur Logfile-Analyse auf SEO ProCheck beantworten die Fragen, die als Nächstes kommen.

Fragen

Was ist Logfile-Analyse im SEO?

Das Lesen der Access-Logs Ihres Servers, um zu sehen, welche URLs Suchmaschinen- und KI-Crawler angefragt haben, wie oft und was Ihr Server geantwortet hat. Sie zeigt das echte Crawl-Verhalten statt dessen, was ein Crawler erreichen könnte.

Wie viele Tage an Logs brauche ich?

Mindestens 30 Tage. Kürzere Zeiträume lassen Seiten, die Googlebot alle paar Wochen besucht, so aussehen, als seien sie nie gecrawlt worden.

Geht Logfile-Analyse auch ohne Serverzugang?

Oft ja. Liegt die Website hinter einem CDN wie Cloudflare oder CloudFront, enthalten dessen Logs die Crawler-Anfragen. Neova kann Crawler-Anfragen in Ihrem eigenen Cloudflare-Konto sammeln, ohne Serverzugang.

Ersetzen die Crawling-Statistiken der Search Console die Server-Logs?

Nein. Die Crawling-Statistiken liefern Summen und Stichproben für Googlebot. Logs liefern jede Anfrage, für jeden Bot, pro URL, sodass Sie sie mit Ihrem Crawl abgleichen können.

Enthalten Server-Logs personenbezogene Daten?

Sie enthalten die IP-Adressen der Besucher, gehen Sie also sorgsam damit um. Fordern Sie nur Crawler-Zeilen an. Neova liest Logs auf Ihrem Computer und speichert nirgends eine IP-Adresse.

Zum Mitnehmen

Die Links zu den Assistenten öffnen sich mit einer bereits formulierten Frage zu dieser Seite.

Crawlen Sie Ihre Website mit NeovaDer Free-Tarif führt jeden Check aus, auf Mac, Windows und Linux. Keine Kreditkarte nötig.

Weiterlesen