Advanced SEO Crawler: JavaScript, große Websites, Crawl-Vergleich und Monitoring
Jeder Crawler findet eine 404. Ein fortgeschrittener SEO Crawler bewältigt die Websites, an denen einfache scheitern: JavaScript-Frameworks, Millionen von URLs, Facettennavigation, Migrationen und Websites, die sich täglich ändern.
Was einen SEO Crawler fortgeschritten macht
Jeder Crawler ruft ab, parst, folgt Links und berichtet. Ein fortgeschrittener unterscheidet sich darin, wie er sich verhält, wenn die Website schwierig wird.
| Schwieriger Fall | Worauf Sie achten sollten | In Neova |
|---|---|---|
| JavaScript-Websites | Roh gegen gerendert, je Seite | ✓ |
| Crawl-Fallen | Beim Crawlen erkannt und ausgeschlossen | Erkennung, jede Minute |
| Sehr große Websites | Crawl auf der Festplatte gespeichert | 60 MB Arbeitsspeicher bei 60.000 URLs |
| Veränderung über die Zeit | Crawl gegen Crawl | Crawls vergleichen |
| Tägliche Releases | Zeitpläne und Warnungen | Slack, Microsoft Teams |
| Team-Workflow | CLI, CI-Gate, API | ✓ |
| Mehrere Websites | Crawls nebeneinander | Bis zu 4 gleichzeitig |
Bis zu 4 Crawls gleichzeitig gibt es ab dem Desktop-Tarif, in einem Fenster. Große Crawls begrenzt Ihre Festplatte, nicht Ihr Arbeitsspeicher.
JavaScript SEO Crawling: Rohes HTML gegen gerendertes
Google crawlt zuerst das HTML und rendert die Seite später, wenn Ressourcen frei sind, wie die Grundlagen zu JavaScript-SEO erklären. Viele KI-Crawler rendern womöglich nie. Die Frage ist also, was vor dem Rendern fehlt.
| Nur im gerenderten HTML | Neova-Check |
|---|---|
| Haupttext | Haupttext erscheint größtenteils nur im gerenderten HTML |
| Interne Links | Interne Links erscheinen nur im gerenderten HTML |
| Canonical | Canonical wird nur per JavaScript gesetzt |
| Title | Title erscheint nur im gerenderten HTML |
| Weiterleitung | HTML-Seite leitet per JavaScript weiter |
Rendern ist langsam und aufwendig. Rendern Sie auf einer großen Website zuerst einige Seiten je Template. Ein vollständig serverseitig gerendertes Template braucht nicht mehr. Der Ratgeber zum JavaScript SEO Crawler geht tiefer.
Anforderungen an einen Enterprise SEO Crawler: Skalierung, Fallen und Templates
Googles Hinweise zur Verwaltung des Crawl-Budgets sagen, wen es betrifft.
| Website | Eindeutige Seiten | Inhaltsänderungen |
|---|---|---|
| Groß | 1 Million oder mehr | Wöchentlich |
| Mittel oder größer | 10.000 oder mehr | Täglich |
Darunter ist das Crawl-Budget selten das Problem. SEO ProCheck erklärt ausführlicher, wann das Crawl-Budget zählt. Große Websites scheitern trotzdem auf vorhersehbare Weise am Crawl, und meistens beginnt es mit einer Crawl-Falle.
| Crawl-Falle | Beispiel-URL | Übliche Lösung |
|---|---|---|
| Kalender | /events/2031/04/ | Das Muster ausschließen |
| Wiederholter Ordner | /shop/shop/shop/ | Den relativen Link korrigieren |
| Session-ID | /?sid=8f3a2c | IDs aus Links heraushalten |
| Filterkombinationen | ?color=red&size=9&sort=price | Festlegen, welche Facetten eigene Seiten sind |
| Sortierung und Ansicht | ?sort=price&view=grid | Canonical auf die einfache URL |
Zu Filtern erklärt der Ratgeber zur Facettennavigation von SEO ProCheck, welche Facetten eine eigene Seite verdienen. Auch Stichproben helfen: Eine feste Anzahl Seiten je Template deckt jedes Template in Minuten ab. Segmente per Regex zeigen Statuscodes je Bereich, und die Extraktion per XPath, CSS-Selektor oder Regex holt Preise, Autoren oder Schema-Felder heraus.

Skalierung auf unserer eigenen Website seoprocheck.com am 17. Oktober 2026: Ein vollständiger Crawl rief 10.222 URLs in 61 Minuten ab, und 1,66 GB rohe Seiteninhalte wurden als 340 MB gespeichert.
Crawl-Vergleich: Sehen, was sich geändert hat
Ein Audit zeigt Ihnen den Zustand der Website. Ein Vergleich zweier Audits zeigt, was mit ihr passiert ist. Achten Sie auf:
- URLs, die zwischen beiden neu, entfernt oder geändert sind
- Neue und erledigte Meldungen
- Titles, Meta Descriptions und H1, vorher und nachher
- Geänderte robots.txt-Regeln. Siehe robots.txt-Regeln seit dem vorherigen Crawl geändert.
- Eine deutliche Änderung der Zahl crawlbarer URLs
Vergleichen Sie Gleiches mit Gleichem: einen vollständigen Crawl mit einem vollständigen Crawl, gleiche Einstellungen. Eine Stichprobe gegen einen vollständigen Crawl zeigt Unterschiede, die nur am Umfang liegen.
Monitoring: Geplante Crawls und Warnungen
Monitoring ist ein Crawl-Vergleich, der von selbst läuft. Richten Sie den Zeitplan danach aus, wie oft die Website neue Releases bekommt.
| Website | Vollständiger Crawl | Core-Web-Vitals-Momentaufnahme |
|---|---|---|
| Viel besuchter Shop | Täglich | Wöchentlich |
| Die meisten Websites | Wöchentlich | Wöchentlich |
| Ruhige Website | Monatlich | Monatlich |
Wöchentlich reicht für die Felddaten der Core Web Vitals, denn der Chrome UX Report ist ein gleitender Durchschnitt über 28 Tage. Gute Auslöser für Warnungen: neue Meldungen seit dem letzten Crawl, ein Rückgang der Klicks, eine schlechtere Core-Web-Vitals-Bewertung, eine beobachtete Suchanfrage, die die Top 10 verlässt. Senden Sie Warnungen dorthin, wo ohnehin alle hinschauen, und halten Sie sie knapp.
Migrationen und Staging-Websites
Bei Migrationen macht sich Crawling bezahlt. Crawlen Sie die alte Website, crawlen Sie Staging und vergleichen Sie Statuscodes, noindex, Canonicals, Titles, H1 und URLs, die nur auf einer Seite existieren. Bauen Sie die Weiterleitungstabelle von alt nach neu und prüfen Sie nach dem Launch jede Live-Weiterleitung.
Staging braucht meist HTTP-Authentifizierung, eine robots.txt, die alles sperrt, und Links, die auf die Live-Domain zeigen. Ein Crawler, der Links der Live-Domain auf den Staging-Host umschreibt, spart Stunden. Die FAQ zur Website-Migration von SEO ProCheck beantwortet die Fragen, die am Launch-Tag aufkommen.
Auf unserer eigenen Website haben wir zwei Launch-Fehler gefunden. Bis zu unserem SEO-Durchgang am 20. November 2026 antwortete http://neova.app mit 200 statt mit einer 301 auf https, und unbekannte Adressen antworteten mit 503 von einer Coming-soon-Seite statt mit 404. Beides ist inzwischen behoben, und genau das sollte ein Crawl vor und nach dem Launch finden. Siehe HTTP-URL liefert 200 auf einer HTTPS-Website.
Automatisierung: CLI, CI und APIs
Ab einer gewissen Größe wird Crawling Teil des Releases.
| Baustein | Job | In Neova |
|---|---|---|
| Kommandozeile | Crawls starten, Ergebnisse lesen | neova-CLI |
| CI-Gate | Build bei neuen Meldungen scheitern lassen | neova check |
| API | Dashboards, interne Tools | REST-API, 60 Anfragen pro Minute |
| MCP-Server | KI-Assistenten lesen Crawls | ✓ |
| Tickets | Eins pro Problem und Template | Jira, Linear, Asana |
Die REST-API ist Teil von Neova Online, ab dem Tarif Desktop + Online. Ein CI-Gate funktioniert am besten mit einem Basis-Crawl des letzten guten Releases: Der Build scheitert nur an neuen Meldungen, sodass alte Altlasten nicht jedes Deployment blockieren.
Wie Neova fortgeschrittenes Crawling umsetzt
- Rendering: rendert in Chrome, alle Seiten oder einige pro Seitengruppe, und markiert jede Seite als Server-Rendered, Hydrated oder Needs JavaScript.
- Skalierung: speichert den Crawl auf der Festplatte, bietet Stichproben pro Seitengruppe, und Discovery bietet für jede Falle Weiter crawlen, Überspringen oder Ausschließen.
- Verlauf: Crawls vergleichen, und Historische Daten bewahrt jeden Crawl, jede robots.txt-Version und jede XML-Sitemap auf.
- Server-Logs: Apache- oder Nginx-Logs oder Ihr eigenes Cloudflare-Konto; Googlebot, Bingbot und KI-Crawler zählen nur, wenn ihre Adresse auf der Liste steht, die das jeweilige Unternehmen veröffentlicht.
- Über die Quellen hinaus: bewahrt jeden Monat an Search-Console-Daten auf, nachdem Google sie nach 16 Monaten löscht.
- Migrationen: Weiterleitungszuordnung mit einer Trefferwahrscheinlichkeit pro URL, Live-Prüfung der Weiterleitungen, Staging vs. Produktion und URL-Rewriting.
Alle Funktionen finden Sie auf der Funktionsseite, den Vergleich mit anderen Tools unter Vergleich.
Fragen
Was ist ein fortgeschrittener SEO Crawler?
Ein Crawler für schwierige Websites: Er rendert JavaScript und vergleicht es mit dem rohen HTML, bewältigt Crawl-Fallen und sehr große Websites, vergleicht Crawls über die Zeit, läuft nach Zeitplan und fügt sich in Tickets, CI und APIs ein.
Muss ich jede Seite mit JavaScript rendern?
Meist nicht. Rendern Sie zuerst eine Stichprobe je Template. Templates, deren Inhalt komplett im Server-HTML steht, brauchen kein vollständiges Rendering; Templates, die von JavaScript abhängen, schon.
Wann zählt das Crawl-Budget?
Laut Google vor allem bei Websites mit 1 Million oder mehr eindeutigen Seiten, die sich wöchentlich ändern, oder 10.000 oder mehr, die sich täglich ändern. Kleinere Websites stoßen selten an diese Grenze.
Wie große Websites schafft ein Enterprise SEO Crawler?
Das hängt vom Tool ab und bei Desktop-Crawlern vom Computer. Neova speichert den Crawl auf der Festplatte und schafft im Desktop-Tarif bis zu 5 Millionen URLs pro Crawl, je nach Computer. Siehe Preise.
Kann ich ein Deployment bei SEO-Problemen scheitern lassen?
Ja, mit einem CI-Gate. In Neova vergleicht neova check einen Crawl mit einer Basis und beendet sich mit einem Fehlercode, wenn neue Meldungen auftauchen, sodass die Pipeline das Release stoppen kann.