NeovaProfi-SEO-Plattform

SEO-Spider: Was er ist, wie er arbeitet und wie Sie einen auswählen

Ein SEO Spider ist ein Programm, das eine Website Link für Link durchläuft, so wie eine Suchmaschine, und notiert, was jede URL antwortet. Hier sehen Sie, wie er unter der Haube arbeitet, was Sie testen sollten, bevor Sie seinen Zahlen trauen, und welche Tools Sie ausprobieren können.

Crawler auswählenseo spiderAktualisiert am 21. November 2026Vom Neova-Team

Was ein SEO Spider ist

Das Web ist ein Netz, also hießen die Programme, die sich darin über Links bewegen, bald Spider, also Spinnen. Sie hören auch Crawler, Bot und Robot. Gemeint ist im Kern dasselbe: Software, die eine Seite abruft, ihre Links liest und weiter zu den Seiten geht, auf die diese Links zeigen.

Die größten betreiben die Suchmaschinen. Der Googlebot ist ein Spider. Ein SEO Spider ist dieselbe Idee, angewandt auf Ihre eigene Website, gebaut, um zu melden, worüber eine Suchmaschine stolpern würde: defekte Links, Weiterleitungen, gesperrte Seiten, fehlende Titles, doppelte Inhalte und Seiten, auf die nichts verlinkt.

Viele kennen den Begriff von Screaming Frog, dessen Desktop-Crawler SEO Spider heißt, und inzwischen steht der Ausdruck für die ganze Kategorie. Was auch immer auf der Packung steht: Ein SEO Spider unterscheidet sich von zwei Tools, mit denen er oft verwechselt wird:

  • Ein Scraper zieht bestimmte Daten aus Seiten, etwa Preise. Ein Spider kartiert die ganze Website und wie ihre Seiten zusammenhängen.
  • Ein Backlink-Tool liest andere Websites, um Links auf Sie zu finden. Ein Spider liest Ihre Website, von innen.

Wie ein SEO Spider arbeitet, Schritt für Schritt

Unter der Haube durchläuft jeder SEO Spider dieselbe Schleife, bis ihm die URLs ausgehen oder er an ein von Ihnen gesetztes Limit stößt:

  1. Mit einer Warteschlange beginnen. Die Warteschlange enthält die Start-URL und oft auch die URLs aus den XML-Sitemaps.
  2. Die Regeln prüfen. Vor dem Abruf einer URL prüft der Spider die robots.txt und seine eigenen Umfangseinstellungen: dieser Host, dieser Ordner, diese Muster. SEO ProCheck pflegt eine vollständige robots.txt-Referenz.
  3. Abrufen und festhalten. Er fordert die URL an und speichert die Antwort: Statuscode, Header, Antwortzeit und den Inhalt.
  4. Die Seite parsen. Aus dem HTML liest er Title, Meta Robots, Canonical, Überschriften und jeden Link mit seinem Ankertext.
  5. Die Links bereinigen. Relative Links werden zu vollständigen URLs, Fragmente fallen weg, und jede URL wird mit den bereits gesehenen verglichen, damit nichts doppelt abgerufen wird.
  6. Neues einreihen. Neue URLs im Umfang kommen ans Ende der Warteschlange. Die Abarbeitung in dieser Reihenfolge gibt jeder Seite ihre Crawl-Tiefe, die Zahl der Klicks ab der Start-URL.
  7. Warten, dann wiederholen. Ein höflicher Spider verteilt seine Anfragen und wird langsamer, wenn der Server gegenhält.

Wenn die Warteschlange leer ist, beginnt die eigentliche Arbeit: Der Spider vergleicht jede Seite mit den anderen und mit den Regeln, die Suchmaschinen veröffentlichen, und macht aus den Daten Ergebnisse. Manche Spider rendern Seiten zuerst in einem Browser, um Links und Inhalte zu sehen, die erst nach dem Ausführen von JavaScript erscheinen.

Was ein SEO Spider für jede URL festhält

Die Ergebnisse sind nur so gut wie die Daten darunter. Für jede URL behält ein guter SEO Spider:

BereichWas er festhält
AntwortStatuscode, Weiterleitungsziel, Header, Antwortzeit, Größe
IndexierungssignaleMeta Robots, X-Robots-Tag, Canonical, ob die robots.txt sie erlaubt
InhaltTitle, Meta Description, Überschriften, Wortzahl
LinksInlinks und Outlinks, Ankertext, wo auf der Seite jeder Link steht
StrukturCrawl-Tiefe, Ordner, das Template der Seite
DiscoveryWie die URL gefunden wurde: ein Link, eine XML-Sitemap, eine Weiterleitung

Daraus folgen die Checks. Ein paar Beispiele, wie sie aussehen: Interne URL liefert 4xx, 5xx oder keine Antwort, Interne URL steckt in einer Weiterleitungskette, Verwaiste URL liefert 200 und ist indexierbar und 4xx-URL steht in einer XML-Sitemap. Der Ratgeber zum technischen SEO Crawler geht die vollständige Liste der Bereiche durch, die ein Audit abdecken sollte.

SEO Spider zum Download oder SEO Spider online

Beides wird gesucht, und es sind zwei verschiedene Setups.

Desktop-SpiderOnline-Spider
Läuft auf
Daten liegenAuf Ihrer FestplatteAuf den Servern des Anbieters
Crawl-Größe begrenzt durchIhr ComputerIhren Tarif
Staging hinter einem VPN✓◐ Mit einer IP-Allowlist
Crawlt bei zugeklapptem Laptop–✓
Einen Crawl teilenEine Datei oder eine SynchronisierungEin Link

Keines ist grundsätzlich besser. Berater, die viele Websites prüfen, mögen oft eine Desktop-App; Teams, die wenige große Websites rund um die Uhr beobachten, mögen oft die Cloud. Manche Tools bieten beides.

Was Sie testen sollten, bevor Sie einem SEO Spider trauen

Wie sich ein Spider auf einer echten Website verhält, zählt mehr als seine Funktionsliste. Crawlen Sie eine Website, die Sie gut kennen, und achten Sie auf Folgendes:

  • Ist die Zahl der URLs plausibel? Vergleichen Sie sie mit Ihren XML-Sitemaps. Eine viel größere Zahl bedeutet meist Parameter, Filter oder eine Crawl-Falle, und das Tool sollte Ihnen helfen zu sehen, welche.
  • Wie höflich ist er? Achten Sie auf eine Geschwindigkeitseinstellung in URLs pro Sekunde und eine automatische Verlangsamung, wenn der Server mit 429 oder 503 antwortet.
  • Wie behandelt er die robots.txt? Er sollte sie standardmäßig beachten und Sie sie für eine eigene Website ignorieren lassen, etwa für Staging.
  • Kann er eine Liste crawlen? Ein Listenmodus, um nach einer Migration eine Menge von URLs zu prüfen, spart viel Zeit.
  • Rendert er JavaScript und zeigt er den Unterschied? Erst das rohe und das gerenderte HTML nebeneinander zeigen Ihnen, ob Rendering für die Website wichtig ist.
  • Kann er stoppen und fortsetzen? Große Crawls werden unterbrochen. Dort weiterzumachen, wo er aufgehört hat, ist besser als ein Neustart.
  • Können Sie auf ein Ergebnis hin handeln? Öffnen Sie eine Meldung und sehen Sie, ob sie sagt, warum sie wichtig ist und wie Sie sie beheben.

Hier der Test der URL-Zahl auf unserer eigenen Website. Neova hat seoprocheck.com am 17. Oktober 2026 gecrawlt:

seoprocheck.com, vollständiger CrawlAnzahl
Abgerufene URLs10.222
Zeit61 Minuten
HTML-Seiten mit Status 2004.561
URLs in den XML-Sitemaps1.835
Über Links erreicht, nicht in einer Sitemap2.727
In einer Sitemap, von keinem Link erreicht1
Vollständigkeit99.98%
Seiteninhalte, roh1,66 GB
Auf der Festplatte gespeichert, komprimiert340 MB

Der Crawl fand weit mehr URLs, als die Sitemaps auflisten. Der größte Teil der Lücke sind Seiten, die problemlos gecrawlt werden können, aber in der Sitemap fehlen, genau das meldet Indexierbare URL steht in keiner XML-Sitemap. Die eine gelistete URL, die kein Link erreichte, ist eine verwaiste URL in einer XML-Sitemap. Auf einer großen Website sind solche Lücken der Punkt, an dem das Crawl-Budget eine Rolle spielt.

SEO-Spider-Tools, die Sie kennen sollten

Für jede Art von Arbeit gibt es gute Optionen. Hier steht, wofür jedes bekannt ist, laut den eigenen Seiten der Unternehmen, gelesen am 11. und 21. November 2026:

ToolLäuft aufZum TestenBekannt für
Screaming Frog SEO Spider500 URLs kostenlosKonfiguration, Extraktion, Kommandozeile
Sitebulb14 Tage testenÜber 300 priorisierte Hints
LumarEin AngebotGroße und kleine Crawls gleichzeitig
JetOctopus7 Tage testenUnbegrenzte Crawls und Nutzerplätze
Semrush Site AuditMit der SuiteTeil einer SEO-Suite
Ahrefs Site AuditMit der SuiteTeil einer SEO-Suite
Neova1.000 URLs kostenlos694 Checks, jeder mit Quelle

Der Desktop-Crawler von Screaming Frog hat der Kategorie ihren Namen gegeben, und seine kostenlose Version braucht keine Registrierung. Die Vergleichsseite stellt sie Funktion für Funktion gegenüber, mit einer Quelle für jede Angabe. Wenn Sie Screaming Frog schon nutzen und sehen möchten, wie ein weiterer Crawler daneben passt, behandelt das der Ratgeber zur Screaming Frog Alternative, und der Ratgeber zum kostenlosen SEO Crawler vergleicht die Gratis-Tarife.

Der Spider-Crawl von Neova

Neova ist ein Desktop-SEO-Crawler für Mac (Apple Silicon), Windows und Linux, dazu Neova Online im Browser, von Neova LLC. Sein Modus, der Links folgt, heißt tatsächlich Spider: Neuer Crawl, Crawl-Modus, Spider. Er folgt den internen Links ab der Start-URL, dann den XML-Sitemaps, und führt 694 Checks auf dem Abgerufenen aus, jeden mit seiner Quelle.

  • Start-URL-Prüfung: Vor dem Crawl wählt er die Version der Startseite, die mit 200 antwortet, und sagt, was die anderen Versionen tun.
  • Standardmäßig höflich: 3 URLs pro Sekunde, halbiert die Geschwindigkeit, wenn der Server langsamer wird oder mit 429 oder 503 antwortet, und beachtet Retry-After. Bis zu 50 pro Sekunde auf einer Website, die Sie als Ihre bestätigen.
  • Jede URL erklärt: Die URL-Aufschlüsselung ordnet jede URL einer Gruppe zu (saubere Seiten, Parameter-Varianten, fehlerhafte URLs, Crawl-Fallen, Bilder und so weiter), und Discovery bietet an, eine Falle schon während des Crawls auszuschließen.
  • Auch ein Listenmodus: Der Listen-Crawl ruft nur die URLs ab, die Sie einfügen oder hochladen.
  • Große Crawls auf der Festplatte: Der Crawl liegt auf der Festplatte, nicht im Arbeitsspeicher, und Fortsetzen macht mit einem gestoppten Crawl samt wiederhergestellten Einstellungen weiter.
  • Rendering, wenn Sie es brauchen: JavaScript-Rendering in Chrome, verglichen mit dem rohen HTML.
  • Ihre alten Crawls kommen mit: Crawl importieren öffnet einen Internal-Export aus Screaming Frog oder einen URL-Export aus Sitebulb und führt die Checks darauf aus.
Ein laufender Neova-Crawl: 257 von 612 URLs bei 2 pro Sekunde, mit URL-Aufschlüsselung, Discovery und einer Live-Crawl-Karte in Ringen nach Klicks ab der Start-URL
Ein laufender Neova-Crawl: 257 von 612 URLs bei 2 pro Sekunde, mit URL-Aufschlüsselung, Discovery und einer Live-Crawl-Karte in Ringen nach Klicks ab der Start-URL

Der Free-Tarif crawlt bis zu 1.000 URLs pro Crawl mit jedem Check, und Desktop können Sie 14 Tage kostenlos ohne Karte testen. Siehe Funktionen und Preise.

Ihr erster Spider-Crawl

  1. Laden Sie Neova für Ihren Computer herunter und öffnen Sie es.
  2. Wählen Sie Crawl, dann Neuer Crawl, geben Sie die Adresse der Website ein und klicken Sie auf Crawl starten.
  3. Beobachten Sie die ersten Minuten. Wenn Discovery einen Kalender oder einen Filter zeigt, der URLs vervielfacht, schließen Sie ihn aus und lassen Sie den Crawl weiterlaufen.
  4. Wenn die Checks fertig sind, beginnen Sie beim Überblick, dann Alle Meldungen, „Muss behoben werden“ zuerst. Häufige erste Funde: doppelte Titles und Meta Descriptions über 155 Zeichen. Unser eigener Crawl von seoprocheck.com hatte 56 und 582.

Die Hilfeseite Ihr erster Crawl zeigt jeden Bildschirm, und der Ratgeber Website crawlen behandelt Umfang und Ausschlüsse ausführlicher.

Fragen

Was ist ein SEO Spider?

Ein Programm, das eine Website so crawlt wie eine Suchmaschine: Es ruft eine Seite ab, folgt ihren Links und hält fest, was jede URL antwortet. Ein SEO Spider prüft diese Daten dann auf Probleme, die Crawling und Indexierung im Weg stehen.

Gibt es einen kostenlosen SEO Spider?

Ja. Der SEO Spider von Screaming Frog hat eine kostenlose Version für bis zu 500 URLs pro Crawl, und Neova hat einen Free-Tarif für bis zu 1.000 URLs pro Crawl mit allen 694 Checks. Der Ratgeber zum kostenlosen SEO Crawler vergleicht die Optionen.

Gibt es einen SEO Spider online?

Ja. Cloud-Crawler wie Lumar und JetOctopus, Sitebulb Cloud und die Site-Audits in Semrush und Ahrefs laufen im Browser. Neova läuft auf Ihrem Computer und als Neova Online im Browser, mit demselben Konto.

Bremst ein SEO Spider meine Website?

Nicht bei höflicher Geschwindigkeit. Ein paar URLs pro Sekunde sind für die meisten Server leichte Arbeit, und gute Spider werden von selbst langsamer, wenn ein Server mit 429 oder 503 antwortet. Crawlen Sie schneller nur auf einer eigenen Website oder mit dem Einverständnis des Betreibers.

Kann ich einen SEO Spider für Mac herunterladen?

Ja. Neova läuft nativ auf Macs mit Apple Silicon sowie unter Windows und Linux. Laden Sie Neova herunter und starten Sie mit dem Free-Tarif.

Zum Mitnehmen

Die Links zu den Assistenten öffnen sich mit einer bereits formulierten Frage zu dieser Seite.

Crawlen Sie Ihre Website mit NeovaDer Free-Tarif führt jeden Check aus, auf Mac, Windows und Linux. Keine Kreditkarte nötig.

Weiterlesen