NeovaProfi-SEO-Plattform

Website crawlen für SEO, Schritt für Schritt

Eine Website crawlen heißt, ihre Seiten so abzurufen, wie eine Suchmaschine es tut, und dabei Links von Seite zu Seite zu folgen. So crawlen Sie eine Website richtig: rücksichtsvoll, vollständig und ohne gesperrt zu werden.

Crawling und Indexierungwebsite crawlenAktualisiert am 21. November 2026Vom Neova-Team

Was es heißt, eine Website zu crawlen

Ein Website-Crawler für SEO startet bei einer URL, lädt sie herunter, liest die Links im HTML und fügt sie einer Warteschlange hinzu. Dann nimmt er die nächste URL aus der Warteschlange und macht dasselbe, bis nichts Neues mehr auftaucht oder er an ein Limit stößt. Suchmaschinen tun das im Maßstab des ganzen Webs. Ein SEO-Crawler tut es für eine Website und erfasst, was jede URL geantwortet hat, damit Sie sie prüfen können.

Für jede URL erfasst ein Crawl typischerweise den Statuscode, die Response-Header, Title und Meta-Description, das Canonical, Robots-Anweisungen, eingehende und ausgehende Links und wie viele Klicks sie von der Startseite entfernt ist. Wie die eigenen Crawler und Fetcher arbeiten, beschreibt Google in seiner Übersicht über die Google-Crawler.

Vor dem Crawl: Erlaubnis, robots.txt und Umfang

Drei Fragen, die Sie klären sollten, bevor Sie auf Start drücken:

  • Ist es Ihre Website, oder haben Sie die Erlaubnis? Die eigene Website oder die eines Kunden zu crawlen ist Routine. Bei fremden Websites bleiben Sie rücksichtsvoll: Respektieren Sie die robots.txt und halten Sie die Geschwindigkeit niedrig.
  • Was steht in der robots.txt? Öffnen Sie /robots.txt und lesen Sie sie. Sie sagt Crawlern, was sie nicht abrufen dürfen, und listet meist die XML-Sitemaps. Die Regeln folgen RFC 9309, und wie Google sie liest, erklärt es in seiner Einführung in robots.txt. Die vollständige robots.txt-Referenz auf SEO ProCheck geht Zeile für Zeile vor.
  • Wie viel brauchen Sie? Die ganze Website, einen Bereich oder eine Stichprobe jedes Templates. Eine Stichprobe beantwortet die meisten Template-Fragen in Minuten; einen vollständigen Crawl brauchen Sie für kaputte Links und verwaiste Seiten.

Website crawlen, Schritt für Schritt

  1. Finden Sie die richtige Start-URL. Rufen Sie http und https auf, mit und ohne www. Eine Variante sollte 200 liefern, die anderen sollten auf sie weiterleiten. Starten Sie dort.
  2. Wählen Sie einen Modus. Der Spider-Modus folgt Links ab der Start-URL. Der Listenmodus crawlt nur die URLs, die Sie vorgeben, was nützlich ist, um nach einer Migration eine Reihe alter URLs zu prüfen.
  3. Fügen Sie die XML-Sitemaps hinzu. Wer die Sitemap-URLs nach den verlinkten Seiten crawlt, sieht, welche Seiten die Website auflistet, aber nie verlinkt.
  4. Setzen Sie Limits. Ein URL-Limit, ein Tiefenlimit und Regeln für Query-Parameter verhindern, dass Filter mit dem Crawl davonlaufen. Der SEO-Leitfaden zur facettierten Navigation auf SEO ProCheck zeigt, welche Filter-URLs es wert sind, gecrawlt zu werden.
  5. Schließen Sie aus, was Sie nicht brauchen. Admin-Bereiche, Warenkorb- und Checkout-URLs, interne Suchergebnisse. Nutzen Sie Einschluss- und Ausschlussmuster und testen Sie vor dem Start eine URL dagegen.
  6. Wählen Sie einen User-Agent. Der eigene Name Ihres Crawlers ist die ehrliche Grundeinstellung. Als Googlebot zu crawlen zeigt, was Google ausgeliefert bekommt, aber manche Server behandeln einen falschen Googlebot als Angriff.
  7. Starten Sie und beobachten Sie die ersten Minuten. Steigt die Zahl neuer URLs viel schneller, als es der Größe der Website entspricht, sehen Sie nach, woher sie kommen. Kalender und endlose Filter sind die üblichen Ursachen.
  8. Lassen Sie die Checks laufen. Wenn der Crawl endet, beginnen Sie mit den Problemen, die die meisten indexierbaren Seiten betreffen.
Neuer Crawl, Geschwindigkeit und Rendering: die Geschwindigkeit in URLs pro Sekunde, reduziert, wenn der Server langsamer wird, der User-Agent, der mit jeder Anfrage gesendet wird, und JavaScript-Rendering
Neuer Crawl, Geschwindigkeit und Rendering: die Geschwindigkeit in URLs pro Sekunde, reduziert, wenn der Server langsamer wird, der User-Agent, der mit jeder Anfrage gesendet wird, und JavaScript-Rendering

Alle URLs einer Website crawlen

Wer Links folgt, findet nur die Seiten, die Links erreichen. Um alle URLs einer Website zu crawlen, kombinieren Sie mehrere Quellen:

QuelleVerlinkte SeitenNicht verlinkte SeitenStammt aus
Link-Crawl✓–Die Start-URL
XML-Sitemaps◐✓robots.txt oder /sitemap.xml
Seed-URLs◐✓Ihre eigene Liste
Server-Logs◐✓Server oder CDN
Search Console◐✓Ihre Google-Property

Wie sehr das zählt, haben wir auf unserer eigenen Website gesehen. Im vollständigen Neova-Crawl von seoprocheck.com am 17. Oktober 2026:

Messgrößeseoprocheck.com
Abgerufene URLs10.222
Zeit61 Minuten
HTML-Seiten mit Status 2004.561
URLs in den XML-Sitemaps1.835
Über Links erreicht, in keiner Sitemap2.727
In einer Sitemap, von keinem Link erreicht1
Vollständigkeit99.98%
Seiteninhalte1,66 GB roh, 340 MB gespeichert

Ein reines Sitemap-Audit hätte 2.727 URLs übersehen, und ein reiner Link-Crawl die eine verwaiste Seite. Seiten, die nur aus Sitemaps, Logs oder der Search Console kommen, sind verwaist. Indexierbare verwaiste Seiten mit Suchtraffic brauchen meist interne Links. Wissenswerte Checks hier: Verwaiste URL liefert 200 und ist indexierbar, Indexierbare URL steht in keiner XML-Sitemap und XML-Sitemap kann nicht abgerufen oder geparst werden.

Website crawlen, ohne gesperrt zu werden

Die meisten Sperren entstehen durch zu schnelles Crawlen oder dadurch, dass man wie ein Bot aussieht, dem der Server nicht traut. Crawlen Sie so, wie es sich der Betreiber der Website wünschen würde:

  • Halten Sie die Geschwindigkeit niedrig. 2 oder 3 URLs pro Sekunde reichen für die meisten Audits. Schneller nur auf Ihrer eigenen Website.
  • Sagen Sie, wer Sie sind. Ein klarer User-Agent mit Link auf eine Seite über den Crawler lässt sich leichter freigeben als ein gefälschter Browser-String.
  • Respektieren Sie die robots.txt. Sie ist der erklärte Wunsch der Website, und wer sie auf fremden Websites ignoriert, wird am schnellsten gesperrt.
  • Bitten Sie um Freigabe. Bei einer Kunden-Website hinter einer Firewall oder einem Bot-Schutz bitten Sie das IT-Team, Ihren Crawler freizugeben, etwa über einen geheimen Header, den nur Ihr Crawler sendet.

Lesen Sie dann die Antworten. Jeder Statuscode sagt etwas anderes:

AnswerBedeutetTun
429Zu viele AnfragenGeschwindigkeit halbieren, Retry-After beachten
503Server ausgelastet oder downLangsamer werden, später erneut versuchen
403AbgelehntAnhalten und nachfragen
401Anmeldung erforderlichUm Zugang bitten
Serie von 5xxServer kämpftCrawl pausieren

Die Seite von Google zu HTTP-Statuscodes und Netzwerkfehlern erklärt, wie Googlebot selbst mit 429- und 5xx-Antworten umgeht.

JavaScript-Websites crawlen

Ist die Website mit React, Vue, Angular oder einem ähnlichen Framework gebaut, kann das HTML, das der Server sendet, fast leer sein, und der Inhalt wird per Script ergänzt. Ein einfacher Crawl findet dann wenige Links und wenig Text. Schalten Sie JavaScript-Rendering ein, das jede Seite in einem Headless-Browser lädt, und vergleichen Sie die gerenderte Seite mit dem rohen HTML. Entscheidend ist, was vor dem Rendering fehlt: Haupttext, Links, Titles und Canonicals, die erst nach den Scripts erscheinen. Rendering ist langsamer, rendern Sie also zuerst eine Stichprobe jedes Templates.

Meine Website mit Neova crawlen

Um Ihre eigene Website mit Neova zu crawlen, laden Sie die App herunter, wählen Sie Crawl, Neuer Crawl, geben Sie die Adresse ein und klicken Sie auf Crawl starten. Die Seite Ihr erster Crawl zeigt jeden Bildschirm.

EinstellungStandard
Läuft auf
User AgentNeovaBot
Geschwindigkeit3 URLs pro Sekunde
Bei 429 oder 503Halbiert die Geschwindigkeit, beachtet Retry-After
robots.txtRespektiert
CAPTCHANie gelöst
Free-Tarif1.000 URLs pro Crawl
  • Start-URL-Prüfung wählt die Version der Website (http oder https, mit oder ohne www), die 200 liefert, und sagt, was die anderen tun.
  • Modi und Umfang: Spider oder Liste, ganze Website, bestimmte Ordner oder Stichprobe pro Seitengruppe, dazu XML-Sitemaps, Seed-URLs und Einschluss- und Ausschlussregeln.
  • Ihre eigene Website: Sobald Sie bestätigen, dass sie Ihnen gehört, kann Neova schneller crawlen und die robots.txt ignorieren. Der Allowlist-Header erzeugt einen geheimen Header, der nur an diese Website gesendet wird, mit der Regel für Ihr IT-Team.
  • Blockierter Crawl, erklärt: Verweigert eine Website den Crawl, sagt Neova, warum (Rate Limit, von einer Firewall blockiert, verboten) und was Sie als Nächstes tun können.
  • Discovery und URL-Aufschlüsselung: Während des Laufs landet jede gefundene URL in genau einem Bereich, und Formen von Crawl-Fallen werden gemeldet, mit Überspringen oder Ausschließen direkt vor Ort.
  • Pausieren, Stoppen und Fortsetzen: Stoppen Sie, wann Sie möchten, und lassen Sie die Checks auf dem Gecrawlten laufen, oder setzen Sie später dort fort, wo er aufgehört hat.

Website-Betreiber können auf der Seite zu NeovaBot nachlesen, wie sich der Crawler ausweist und wie sie ihn sperren.

Was Sie mit dem Crawl tun

Ein Crawl ist eine Momentaufnahme. Sein Wert liegt in dem, was Sie beheben. Sortieren Sie die Befunde danach, wie viele indexierbare Seiten sie betreffen, beheben Sie Template-Probleme einmal statt Seite für Seite, und crawlen Sie zur Bestätigung erneut. Ein kurzer erster Durchgang, der sich meist lohnt:

Die Checkliste für das technische SEO-Audit bringt die ganze Prüfung in eine Reihenfolge.

Fragen

Wie crawle ich alle URLs einer Website?

Kombinieren Sie einen Link-Crawl mit den XML-Sitemaps und ergänzen Sie dann URLs aus der Google Search Console und den Server-Logs. Jede Seite, die nur diese Quellen finden und die kein interner Link erreicht, ist eine verwaiste Seite, die einen Blick wert ist.

Wie crawle ich eine Website, ohne gesperrt zu werden?

Crawlen Sie langsam, nutzen Sie einen ehrlichen User-Agent, respektieren Sie die robots.txt und werden Sie langsamer, wenn der Server 429 oder 503 liefert. Bei einer Kunden-Website hinter einer Firewall bitten Sie das IT-Team, Ihren Crawler freizugeben, statt die Sperre zu umgehen.

Ist es legal, eine Website zu crawlen?

Öffentliche Seiten zu crawlen ist gängige Praxis, aber die Regeln unterscheiden sich je nach Land und den Nutzungsbedingungen der Website. Crawlen Sie Ihre eigenen Websites und die Ihrer Kunden frei, respektieren Sie überall die robots.txt und lesen Sie im Zweifel die Nutzungsbedingungen. Dies ist keine Rechtsberatung.

Wie lange dauert es, eine Website zu crawlen?

Ungefähr die Zahl der URLs geteilt durch die Geschwindigkeit. Unser vollständiger Crawl von seoprocheck.com am 17. Oktober 2026 rief 10.222 URLs in 61 Minuten ab, etwa 2,8 URLs pro Sekunde. Bei 3 URLs pro Sekunde dauern 1.000 URLs etwa 6 Minuten und 100.000 etwa 9 Stunden, ohne Rendering. Eine Stichprobe pro Template ist viel schneller.

Kann ich meine Website kostenlos crawlen?

Ja. Der Free-Tarif von Neova crawlt bis zu 1.000 URLs pro Crawl mit jedem Check, auf Mac, Windows und Linux. Die größeren Tarife finden Sie unter Preise.

Zum Mitnehmen

Die Links zu den Assistenten öffnen sich mit einer bereits formulierten Frage zu dieser Seite.

Crawlen Sie Ihre Website mit NeovaDer Free-Tarif führt jeden Check aus, auf Mac, Windows und Linux. Keine Kreditkarte nötig.

Weiterlesen