NeovaProfi-SEO-Plattform

Advanced SEO Crawler: JavaScript, große Websites, Crawl-Vergleich und Monitoring

Jeder Crawler findet eine 404. Ein fortgeschrittener SEO Crawler bewältigt die Websites, an denen einfache scheitern: JavaScript-Frameworks, Millionen von URLs, Facettennavigation, Migrationen und Websites, die sich täglich ändern.

Crawler auswählenadvanced seo crawlerAktualisiert am 21. November 2026Vom Neova-Team

Was einen SEO Crawler fortgeschritten macht

Jeder Crawler ruft ab, parst, folgt Links und berichtet. Ein fortgeschrittener unterscheidet sich darin, wie er sich verhält, wenn die Website schwierig wird.

Schwieriger FallWorauf Sie achten solltenIn Neova
JavaScript-WebsitesRoh gegen gerendert, je Seite✓
Crawl-FallenBeim Crawlen erkannt und ausgeschlossenErkennung, jede Minute
Sehr große WebsitesCrawl auf der Festplatte gespeichert60 MB Arbeitsspeicher bei 60.000 URLs
Veränderung über die ZeitCrawl gegen CrawlCrawls vergleichen
Tägliche ReleasesZeitpläne und WarnungenSlack, Microsoft Teams
Team-WorkflowCLI, CI-Gate, API✓
Mehrere WebsitesCrawls nebeneinanderBis zu 4 gleichzeitig

Bis zu 4 Crawls gleichzeitig gibt es ab dem Desktop-Tarif, in einem Fenster. Große Crawls begrenzt Ihre Festplatte, nicht Ihr Arbeitsspeicher.

JavaScript SEO Crawling: Rohes HTML gegen gerendertes

Google crawlt zuerst das HTML und rendert die Seite später, wenn Ressourcen frei sind, wie die Grundlagen zu JavaScript-SEO erklären. Viele KI-Crawler rendern womöglich nie. Die Frage ist also, was vor dem Rendern fehlt.

Nur im gerenderten HTMLNeova-Check
HaupttextHaupttext erscheint größtenteils nur im gerenderten HTML
Interne LinksInterne Links erscheinen nur im gerenderten HTML
CanonicalCanonical wird nur per JavaScript gesetzt
TitleTitle erscheint nur im gerenderten HTML
WeiterleitungHTML-Seite leitet per JavaScript weiter

Rendern ist langsam und aufwendig. Rendern Sie auf einer großen Website zuerst einige Seiten je Template. Ein vollständig serverseitig gerendertes Template braucht nicht mehr. Der Ratgeber zum JavaScript SEO Crawler geht tiefer.

Anforderungen an einen Enterprise SEO Crawler: Skalierung, Fallen und Templates

Googles Hinweise zur Verwaltung des Crawl-Budgets sagen, wen es betrifft.

WebsiteEindeutige SeitenInhaltsänderungen
Groß1 Million oder mehrWöchentlich
Mittel oder größer10.000 oder mehrTäglich

Darunter ist das Crawl-Budget selten das Problem. SEO ProCheck erklärt ausführlicher, wann das Crawl-Budget zählt. Große Websites scheitern trotzdem auf vorhersehbare Weise am Crawl, und meistens beginnt es mit einer Crawl-Falle.

Crawl-FalleBeispiel-URLÜbliche Lösung
Kalender/events/2031/04/Das Muster ausschließen
Wiederholter Ordner/shop/shop/shop/Den relativen Link korrigieren
Session-ID/?sid=8f3a2cIDs aus Links heraushalten
Filterkombinationen?color=red&size=9&sort=priceFestlegen, welche Facetten eigene Seiten sind
Sortierung und Ansicht?sort=price&view=gridCanonical auf die einfache URL

Zu Filtern erklärt der Ratgeber zur Facettennavigation von SEO ProCheck, welche Facetten eine eigene Seite verdienen. Auch Stichproben helfen: Eine feste Anzahl Seiten je Template deckt jedes Template in Minuten ab. Segmente per Regex zeigen Statuscodes je Bereich, und die Extraktion per XPath, CSS-Selektor oder Regex holt Preise, Autoren oder Schema-Felder heraus.

Ein laufender Crawl in Neova: Discovery meldet jede Minute, woher neue URLs kommen, und markiert Muster von Crawl-Fallen, während die Live-Crawl-Karte jede Klicktiefe als Ring zeigt
Ein laufender Crawl in Neova: Discovery meldet jede Minute, woher neue URLs kommen, und markiert Muster von Crawl-Fallen, während die Live-Crawl-Karte jede Klicktiefe als Ring zeigt

Skalierung auf unserer eigenen Website seoprocheck.com am 17. Oktober 2026: Ein vollständiger Crawl rief 10.222 URLs in 61 Minuten ab, und 1,66 GB rohe Seiteninhalte wurden als 340 MB gespeichert.

Crawl-Vergleich: Sehen, was sich geändert hat

Ein Audit zeigt Ihnen den Zustand der Website. Ein Vergleich zweier Audits zeigt, was mit ihr passiert ist. Achten Sie auf:

  • URLs, die zwischen beiden neu, entfernt oder geändert sind
  • Neue und erledigte Meldungen
  • Titles, Meta Descriptions und H1, vorher und nachher
  • Geänderte robots.txt-Regeln. Siehe robots.txt-Regeln seit dem vorherigen Crawl geändert.
  • Eine deutliche Änderung der Zahl crawlbarer URLs

Vergleichen Sie Gleiches mit Gleichem: einen vollständigen Crawl mit einem vollständigen Crawl, gleiche Einstellungen. Eine Stichprobe gegen einen vollständigen Crawl zeigt Unterschiede, die nur am Umfang liegen.

Monitoring: Geplante Crawls und Warnungen

Monitoring ist ein Crawl-Vergleich, der von selbst läuft. Richten Sie den Zeitplan danach aus, wie oft die Website neue Releases bekommt.

WebsiteVollständiger CrawlCore-Web-Vitals-Momentaufnahme
Viel besuchter ShopTäglichWöchentlich
Die meisten WebsitesWöchentlichWöchentlich
Ruhige WebsiteMonatlichMonatlich

Wöchentlich reicht für die Felddaten der Core Web Vitals, denn der Chrome UX Report ist ein gleitender Durchschnitt über 28 Tage. Gute Auslöser für Warnungen: neue Meldungen seit dem letzten Crawl, ein Rückgang der Klicks, eine schlechtere Core-Web-Vitals-Bewertung, eine beobachtete Suchanfrage, die die Top 10 verlässt. Senden Sie Warnungen dorthin, wo ohnehin alle hinschauen, und halten Sie sie knapp.

Migrationen und Staging-Websites

Bei Migrationen macht sich Crawling bezahlt. Crawlen Sie die alte Website, crawlen Sie Staging und vergleichen Sie Statuscodes, noindex, Canonicals, Titles, H1 und URLs, die nur auf einer Seite existieren. Bauen Sie die Weiterleitungstabelle von alt nach neu und prüfen Sie nach dem Launch jede Live-Weiterleitung.

Staging braucht meist HTTP-Authentifizierung, eine robots.txt, die alles sperrt, und Links, die auf die Live-Domain zeigen. Ein Crawler, der Links der Live-Domain auf den Staging-Host umschreibt, spart Stunden. Die FAQ zur Website-Migration von SEO ProCheck beantwortet die Fragen, die am Launch-Tag aufkommen.

Auf unserer eigenen Website haben wir zwei Launch-Fehler gefunden. Bis zu unserem SEO-Durchgang am 20. November 2026 antwortete http://neova.app mit 200 statt mit einer 301 auf https, und unbekannte Adressen antworteten mit 503 von einer Coming-soon-Seite statt mit 404. Beides ist inzwischen behoben, und genau das sollte ein Crawl vor und nach dem Launch finden. Siehe HTTP-URL liefert 200 auf einer HTTPS-Website.

Automatisierung: CLI, CI und APIs

Ab einer gewissen Größe wird Crawling Teil des Releases.

BausteinJobIn Neova
KommandozeileCrawls starten, Ergebnisse lesenneova-CLI
CI-GateBuild bei neuen Meldungen scheitern lassenneova check
APIDashboards, interne ToolsREST-API, 60 Anfragen pro Minute
MCP-ServerKI-Assistenten lesen Crawls✓
TicketsEins pro Problem und TemplateJira, Linear, Asana

Die REST-API ist Teil von Neova Online, ab dem Tarif Desktop + Online. Ein CI-Gate funktioniert am besten mit einem Basis-Crawl des letzten guten Releases: Der Build scheitert nur an neuen Meldungen, sodass alte Altlasten nicht jedes Deployment blockieren.

Wie Neova fortgeschrittenes Crawling umsetzt

  • Rendering: rendert in Chrome, alle Seiten oder einige pro Seitengruppe, und markiert jede Seite als Server-Rendered, Hydrated oder Needs JavaScript.
  • Skalierung: speichert den Crawl auf der Festplatte, bietet Stichproben pro Seitengruppe, und Discovery bietet für jede Falle Weiter crawlen, Überspringen oder Ausschließen.
  • Verlauf: Crawls vergleichen, und Historische Daten bewahrt jeden Crawl, jede robots.txt-Version und jede XML-Sitemap auf.
  • Server-Logs: Apache- oder Nginx-Logs oder Ihr eigenes Cloudflare-Konto; Googlebot, Bingbot und KI-Crawler zählen nur, wenn ihre Adresse auf der Liste steht, die das jeweilige Unternehmen veröffentlicht.
  • Über die Quellen hinaus: bewahrt jeden Monat an Search-Console-Daten auf, nachdem Google sie nach 16 Monaten löscht.
  • Migrationen: Weiterleitungszuordnung mit einer Trefferwahrscheinlichkeit pro URL, Live-Prüfung der Weiterleitungen, Staging vs. Produktion und URL-Rewriting.

Alle Funktionen finden Sie auf der Funktionsseite, den Vergleich mit anderen Tools unter Vergleich.

Fragen

Was ist ein fortgeschrittener SEO Crawler?

Ein Crawler für schwierige Websites: Er rendert JavaScript und vergleicht es mit dem rohen HTML, bewältigt Crawl-Fallen und sehr große Websites, vergleicht Crawls über die Zeit, läuft nach Zeitplan und fügt sich in Tickets, CI und APIs ein.

Muss ich jede Seite mit JavaScript rendern?

Meist nicht. Rendern Sie zuerst eine Stichprobe je Template. Templates, deren Inhalt komplett im Server-HTML steht, brauchen kein vollständiges Rendering; Templates, die von JavaScript abhängen, schon.

Wann zählt das Crawl-Budget?

Laut Google vor allem bei Websites mit 1 Million oder mehr eindeutigen Seiten, die sich wöchentlich ändern, oder 10.000 oder mehr, die sich täglich ändern. Kleinere Websites stoßen selten an diese Grenze.

Wie große Websites schafft ein Enterprise SEO Crawler?

Das hängt vom Tool ab und bei Desktop-Crawlern vom Computer. Neova speichert den Crawl auf der Festplatte und schafft im Desktop-Tarif bis zu 5 Millionen URLs pro Crawl, je nach Computer. Siehe Preise.

Kann ich ein Deployment bei SEO-Problemen scheitern lassen?

Ja, mit einem CI-Gate. In Neova vergleicht neova check einen Crawl mit einer Basis und beendet sich mit einem Fehlercode, wenn neue Meldungen auftauchen, sodass die Pipeline das Release stoppen kann.

Zum Mitnehmen

Die Links zu den Assistenten öffnen sich mit einer bereits formulierten Frage zu dieser Seite.

Crawlen Sie Ihre Website mit NeovaDer Free-Tarif führt jeden Check aus, auf Mac, Windows und Linux. Keine Kreditkarte nötig.

Weiterlesen