NeovaProfi-SEO-Plattform

Technischer SEO-Crawler: Was er leistet und wie Sie den richtigen wählen

Ein technischer SEO-Crawler liest eine Website so, wie eine Suchmaschine es tut, und zeigt Ihnen, was im Weg steht. Hier erfahren Sie, was er prüfen sollte, welche Zahlen hinter jedem Check stehen, was ein vollständiger Crawl unserer eigenen Website ergab und wie Sie ein Tool auswählen.

Crawler auswählentechnischer seo crawlerAktualisiert am 21. November 2026Vom Neova-Team

Was ein technischer SEO-Crawler tut

Ein technischer SEO-Crawler beginnt bei einer URL, ruft sie ab, liest die Links und folgt ihnen, dieselbe Schleife, die der Googlebot durchläuft. Für jede URL hält er Statuscode, Header, HTML, Canonical, Robots-Anweisungen sowie eingehende und ausgehende Links fest.

Der Crawl ist die halbe Arbeit. Die andere Hälfte ist der Vergleich der Seiten untereinander und mit den Regeln, die Suchmaschinen veröffentlichen. Ein defekter Link ist leicht zu sehen. Ein Canonical, das auf 3.000 Produktseiten auf eine Weiterleitung zeigt, nicht, und genau da verdient sich ein Crawler sein Geld.

Die meisten Crawler lesen auch die XML-Sitemaps und die robots.txt und zeigen so, welche Seiten der Website nach eigener Aussage wichtig sind, welche sie sperrt und wo sich diese beiden Darstellungen widersprechen.

Was ein technisches SEO-Audit-Tool prüfen sollte

Jeder ernsthafte Crawler für Site-Audits deckt dieselben Kernbereiche ab. Hier sind sie, mit dem Zielwert und dem Check von Neova, der eine Abweichung meldet.

BereichZielNeova-Check
Statuscodes0 interne Links auf 4xx oder 5xxInterne URL liefert 4xx, 5xx oder keine Antwort
Weiterleitungen1 Weiterleitung, keine KettenInterne URL steckt in einer Weiterleitungskette
CanonicalsAuf eine URL mit 200 zeigenCanonical zeigt auf eine weiterleitende URL
Größe der XML-Sitemap50.000 URLs, 50 MB pro DateiXML-Sitemap hat mehr als 50.000 Einträge
Abdeckung der XML-SitemapJede indexierbare Seite gelistetIndexierbare URL steht in keiner XML-Sitemap
robots.txtGoogle liest 500 KiBrobots.txt ist nicht erreichbar oder zu groß
Crawl-Tiefe3 Klicks oder wenigerIndexierbare URL liegt auf Crawl-Tiefe 4 oder mehr
Titles60 Zeichen (übliche Vorgabe)Title über 60 Zeichen
Meta Descriptions155 Zeichen (übliche Vorgabe)Meta-Description über 155 Zeichen
hreflangRückverweis auf jedem ZielHreflang-Rückverweis fehlt

Die festen Grenzen stammen aus den Quellen: 50.000 URLs und 50 MB pro Datei aus dem sitemaps.org-Protokoll, 500 KiB aus Googles robots.txt-Spezifikation, Rückverweise aus Googles hreflang-Leitfaden. Längen für Title und Description sind Anzeigevorgaben, keine Regeln: Google kürzt nach Pixelbreite, behandeln Sie sie also als „Prüfenswert“, nicht als „Muss behoben werden“.

Einen ausführlicheren Gang durch jeden Bereich finden Sie in der Checkliste für das technische SEO-Audit auf SEO ProCheck.

Was ein vollständiger Crawl unserer eigenen Website fand

Wir haben unsere eigene Website seoprocheck.com am 17. Oktober 2026 mit Neova gecrawlt, ein vollständiger Crawl mit den XML-Sitemaps. Das sind die Zahlen.

Messgrößeseoprocheck.com, 17. Okt. 2026
Abgerufene URLs10.222
Zeit61 Minuten
HTML-Seiten mit Status 2004.561
URLs in den XML-Sitemaps1.835
Über Links erreicht, in keiner Sitemap2.727
In einer Sitemap, von keinem Link erreicht1
Vollständigkeit99.98%
Seiteninhalte1,66 GB roh, 340 MB gespeichert
MeldungURLs
Meta-Description über 155 Zeichen582
Title über 60 Zeichen557
Doppelter Title auf mehreren HTML-Seiten56
Canonical auf eine andere interne URL5
Bild hat keinen Alt-Text2

Zwei Erkenntnisse. Erstens erzählten die Sitemaps nur die halbe Geschichte: 2.727 URLs waren über Links erreichbar, aber nirgends gelistet, und das kann nur ein Crawl zeigen, der Links folgt und die Sitemaps liest. Zweitens waren die größten Zahlen Längenmeldungen, also Ermessensfragen. Die 5 Canonicals und 2 fehlenden Alt-Texte sind seltener, aber schneller erledigt. Sortieren Sie danach, was eine Meldung betrifft, nicht nach der Größe ihrer Zahl.

So führen Sie einen technischen SEO-Crawl durch

  1. Wählen Sie die Start-URL. Nutzen Sie die Version der Startseite, die mit 200 antwortet. Antwortet auch http oder der andere Host mit 200, ist das Ihr erster Befund.
  2. Legen Sie den Umfang fest. Die ganze Website, einige Ordner oder eine Stichprobe jedes Templates. Auf einer großen Website findet eine Stichprobe pro Template das Muster schneller.
  3. Schalten Sie XML-Sitemaps ein. Wenn Sie sie nach den Links crawlen, sehen Sie Seiten, die die Sitemaps auflisten, aber kein Link erreicht.
  4. Entscheiden Sie über JavaScript-Rendering. Auf einer Framework-Website rendern Sie eine Stichprobe und vergleichen sie mit dem rohen HTML.
  5. Stellen Sie eine höfliche Geschwindigkeit ein. Ein paar URLs pro Sekunde reichen völlig. Schneller nur bei Websites, die Ihnen gehören.
  6. Beobachten Sie die ersten Minuten. Steigt die Zahl der URLs viel schneller als erwartet, haben Sie eine Crawl-Falle gefunden: einen Kalender, einen facettierten Filter oder eine Session-ID. Schließen Sie sie aus und machen Sie weiter.
  7. Lesen Sie zuerst die Zusammenfassung. Beginnen Sie mit den Problemen, die die meisten indexierbaren Seiten betreffen.

Neu dabei? Ihr erster Crawl führt Sie Schritt für Schritt durch Neova.

Die Ergebnisse lesen, ohne unterzugehen

Ein vollständiges Audit einer mittelgroßen Website kann Tausende Meldungen ergeben. Die meisten gehen auf wenige Ursachen zurück, meist auf ein Template.

  • Nach Template gruppieren. Teilen 90 % der Produktseiten eine Meldung, ist das eine Korrektur, nicht 4.000 Tickets.
  • Nach Traffic gewichten. Eine defekte Seite mit Klicks aus der Suche zählt mehr als eine, die niemand besucht. Verknüpfen Sie die Daten der Google Search Console mit dem Crawl.
  • „Muss behoben werden“ von „Prüfenswert“ trennen. Ein 5xx auf einer wichtigen Seite muss behoben werden. Ein Title, der ein paar Zeichen über dem Limit liegt, ist eine Ermessensfrage.
  • Prüfen Sie die Quelle. Wenn ein Entwickler fragt, warum eine Regel existiert, antworten Sie mit einem Dokument von Google oder dem W3C. Die Referenz der HTTP-Statuscodes auf SEO ProCheck erklärt, was jeder Statuscode bedeutet.
  • Nach der Korrektur erneut crawlen. Der Vergleich zweier Crawls ist der einzige Beleg, dass die Korrektur live ist und nichts anderes kaputt gemacht hat.
Alle Meldungen in Neova: 12 Checks „Muss behoben werden“ und 30 „Prüfenswert“ in einem Demo-Crawl, jeder mit „Gemeldet, wenn“, „Was das meist bedeutet“ und „Was Sie tun könnten“
Alle Meldungen in Neova: 12 Checks „Muss behoben werden“ und 30 „Prüfenswert“ in einem Demo-Crawl, jeder mit „Gemeldet, wenn“, „Was das meist bedeutet“ und „Was Sie tun könnten“

So wählen Sie den besten SEO-Crawler für Ihre Zwecke

Den einen besten SEO-Crawler gibt es nicht. Eine Freelancerin, die kleine Websites prüft, braucht etwas anderes als ein Inhouse-Team mit einer Million URLs. Diese Fragen schaffen Klarheit.

FrageAchten Sie aufNeova
Wo läuft er?Auf Ihren Computern oder im Browser
Wie groß kann ein Crawl werden?URL-Limit, auf der Festplatte gespeichertBis zu 5 Millionen URLs
Rendert er JavaScript?Roh und gerendert, nebeneinander✓
Werden Checks erklärt?Regel, Bedeutung, Korrektur, Quelle694 Checks
Vergleicht er Crawls?Neue, behobene, geänderte URLs✓
Was kommt danach?Exporte, Tickets, Warnungen✓
Können Sie ihn kostenlos testen?Ein Tarif oder eine Testphase1.000 URLs, jeder Check

Die 5 Millionen gelten für den Desktop-Tarif und hängen von Ihrem Computer ab. Unsere Vergleichsseite stellt Neova Zeile für Zeile neben Screaming Frog, Sitebulb und andere, laut deren eigener Dokumentation.

Wie Neova technisches SEO-Crawling umsetzt

Neova ist ein Desktop-SEO-Crawler für Mac (Apple Silicon), Windows und Linux, mit Neova Online im Browser auf demselben Konto. Er crawlt ab einer Start-URL, ihren Links und ihren XML-Sitemaps und führt dann 694 Checks aus. Jeder Check sagt, wann er meldet, was das meist bedeutet und was Sie tun könnten, und verlinkt seine Quelle.

  • Umfang: ein vollständiger Crawl, Ordner, eine Stichprobe pro Seitengruppe oder eine URL-Liste.
  • Standardmäßig höflich: 3 URLs pro Sekunde, von selbst langsamer, wenn der Server mit 429 oder 503 antwortet.
  • Jede URL erfasst: Jede gefundene URL landet in einer Gruppe, und Discovery bietet an, eine Crawl-Falle auszuschließen, ohne zu stoppen.
  • Rendering: optionales JavaScript-Rendering in Chrome, verglichen mit dem rohen HTML.
  • Nach dem Crawl: Meldungen „Muss behoben werden“ und „Prüfenswert“, Tickets pro Check und Seitengruppe, ein Aktionsplan, Crawls vergleichen und Exporte von CSV bis zum PDF mit Ihrem Branding.

Die Funktionsseite hat die vollständige Liste, und Vergleich stellt Neova anderen Crawlern gegenüber.

Eine kurze Checkliste für den technischen SEO-Crawl

  • Eine Version der Startseite antwortet mit 200; die anderen leiten auf sie weiter.
  • Keine internen Links auf 4xx- oder 5xx-URLs.
  • Keine Weiterleitungsketten oder Schleifen zwischen internen URLs.
  • Canonicals zeigen auf indexierbare URLs, die mit 200 antworten.
  • Jede indexierbare Seite steht in einer XML-Sitemap, und sonst keine.
  • Keine wichtige Seite liegt tiefer als 3 Klicks von der Startseite.
  • Keine Seite antwortet mit 200 und einer Meldung „nicht gefunden“. Siehe Title oder H1 enthält eine Soft-404-Formulierung.
  • Titles, Links und Haupttext stehen im rohen HTML.
  • Die robots.txt sperrt nur, was sie sperren soll.

Halten Sie bei der Arbeit Googles Leitfaden zu kanonischen URLs offen, dazu die FAQ zum SEO-Audit auf SEO ProCheck für die Fragen, die Kunden stellen.

Fragen

Was ist ein technischer SEO-Crawler?

Ein Programm, das eine Website Seite für Seite abruft, Links folgt wie eine Suchmaschine und Statuscodes, Anweisungen, Canonicals und Links festhält. Dann prüft es diese Daten gegen die Regeln der Suchmaschinen und meldet, was Crawling und Indexierung im Weg steht.

Welcher SEO-Crawler ist der beste?

Der, der zu Ihren Websites passt. Vergleichen Sie, wo er läuft, wie groß ein Crawl werden kann, ob er JavaScript rendert, wie klar jedes Ergebnis erklärt wird und ob er Crawls vergleicht. Testen Sie ihn an Ihrer eigenen Website, bevor Sie sich entscheiden.

Ist ein Crawler für Site-Audits dasselbe wie die Google Search Console?

Nein. Die Search Console zeigt, was Google gesehen und getan hat. Ein Crawler zeigt, was Ihre Website gerade jetzt ausliefert, auf jeder URL, die er erreicht. Am besten funktionieren beide zusammen, deshalb verknüpfen viele Crawler die Daten der Search Console mit dem Crawl.

Wie lange dauert ein technischer SEO-Crawl?

Das hängt von der Größe und der eingestellten Geschwindigkeit ab. Unser eigener vollständiger Crawl von seoprocheck.com rief am 17. Oktober 2026 10.222 URLs in 61 Minuten ab. Eine Stichprobe pro Template dauert Minuten.

Wie oft sollte ich einen technischen SEO-Crawl durchführen?

Nach jedem größeren Release und wöchentlich bei Websites, die sich oft ändern. Vergleichen Sie jeden Crawl mit dem vorherigen, damit Änderungen auffallen.

Kann ich Neova kostenlos testen?

Ja. Der Free-Tarif crawlt bis zu 1.000 URLs pro Crawl mit jedem Check, und der Desktop-Tarif hat eine 14-tägige Testphase ohne Karte. Siehe Preise oder Neova herunterladen.

Zum Mitnehmen

Die Links zu den Assistenten öffnen sich mit einer bereits formulierten Frage zu dieser Seite.

Crawlen Sie Ihre Website mit NeovaDer Free-Tarif führt jeden Check aus, auf Mac, Windows und Linux. Keine Kreditkarte nötig.

Weiterlesen