Crawl-Budget: was es ist, wie Sie es prüfen und wie Sie die Verschwendung stoppen
Das Crawl-Budget ist die Zahl der URLs, die Googlebot auf Ihrer Website abrufen kann und will. Die meisten Websites müssen sich nie darum kümmern. Große oder sich schnell ändernde Websites schon, und die Lösung ist meist dieselbe: Googlebot davon abhalten, seine Zeit mit unwichtigen URLs zu verbringen.
Was ist das Crawl-Budget?
Google definiert das Crawl-Budget als die Menge der URLs, die Googlebot auf einer Website crawlen kann und will. In seinem Leitfaden zur Verwaltung des Crawl-Budgets teilt Google es in zwei Teile:
- Crawling-Kapazitätslimit. Wie viel Googlebot abrufen kann, ohne Ihren Server zu überlasten. Antwortet die Website schnell, steigt das Limit. Wird sie langsamer oder liefert Serverfehler, fährt Googlebot zurück.
- Crawling-Bedarf. Wie viel Google crawlen möchte. Beliebte URLs und URLs, die sich ändern, werden öfter gecrawlt. Veraltete oder wenig wertvolle URLs seltener.
Zusammengenommen ist das Crawl-Budget im SEO der Punkt, an dem sich trifft, was Ihr Server verkraftet und was Google für abrufenswert hält. Mehr davon kaufen können Sie nicht. Sie können das, was Sie bekommen, besser nutzen.
Spielt das Crawl-Budget für Ihre Website eine Rolle?
Laut Google betrifft das Crawl-Budget vor allem drei Arten von Websites. Aus dem Crawl-Budget-Leitfaden:
| Website | Eindeutige Seiten | Inhaltsänderungen | Ein Thema |
|---|---|---|---|
| Groß | 1.000.000+ | Wöchentlich | ✓ |
| Mittel oder größer | 10.000+ | Täglich | ✓ |
| Viele Seiten „Gefunden, zurzeit nicht indexiert“ | Beliebig viele | Beliebig viele | ✓ |
| Die meisten anderen Websites | Einige Tausend | Beliebig viele | – |
Werden neue Seiten innerhalb von ein, zwei Tagen gecrawlt, ist das Crawl-Budget nicht Ihr Problem. Sehen Sie sich stattdessen Inhaltsqualität, interne Links und Indexierbarkeit an. Der Ratgeber zu „Discovered, currently not indexed“ auf SEO ProCheck behandelt diesen Status und seine Ursachen.
Die Gewohnheiten, die Crawl-Budget sparen, etwa saubere URLs, wenige Weiterleitungen und keine Crawl-Fallen, helfen trotzdem jeder Website. Sie machen auch Ihre eigenen Crawls schneller und Ihre Audits leichter lesbar.
So prüfen Sie das Crawl-Budget
Es gibt nicht die eine Crawl-Budget-Zahl. Sie lesen es an drei Stellen ab.
1. Der Bericht „Crawling-Statistiken“ in der Search Console
Öffnen Sie Einstellungen, dann Crawling-Statistiken. Sie sehen die Crawling-Anfragen insgesamt, die gesamte Downloadgröße und die durchschnittliche Antwortzeit der letzten 90 Tage, aufgeschlüsselt nach Antwortcode, Dateityp, Zweck (Erkennung oder Aktualisierung) und Googlebot-Typ. Der Hoststatus zeigt, ob es Probleme beim Abruf der robots.txt, beim DNS oder bei der Serververbindung gab.
Worauf Sie achten sollten: ein wachsender Anteil an 3xx- und 4xx-Antworten, eine steigende Antwortzeit oder die meisten Anfragen für Aktualisierungen, während neue Seiten warten.
2. Ihre Server-Logs
Die Crawling-Statistiken sind eine Zusammenfassung. Logs zeigen jede Anfrage, sodass Sie genau sehen, welche URLs Googlebot abruft, wie oft und welche er nie anfasst. Importieren statt verbinden listet die Logformate, die Neova liest, und wo jeder Hoster sie ablegt.
3. Ein eigener Crawl
Ein Crawler zeigt die URLs, die Ihre Links und Sitemaps preisgeben. Vergleichen Sie seine Zahl mit der Zahl der Seiten, die Sie wirklich im Index haben wollen. Wir haben das mit unserer eigenen Website gemacht:
| seoprocheck.com, 17. Okt. 2026 | URLs |
|---|---|
| Vom vollständigen Crawl abgerufen | 10.222 |
| HTML-Seiten mit Status 200 | 4.561 |
| In den XML-Sitemaps aufgeführt | 1.835 |
| Über Links erreicht, in keiner Sitemap | 2.727 |
Weniger als die Hälfte der abgerufenen URLs waren also HTML-Seiten mit 200; der Rest waren Dateien, Weiterleitungen und andere Antworten, für die ein Bot ebenfalls Anfragen aufwendet. Und 2.727 verlinkte URLs stehen in keiner Sitemap, was einen Blick wert ist, bevor man Google die Schuld gibt. Erzeugt eine Website mit 20.000 Produkten 400.000 crawlbare URLs, haben Sie Ihre Crawl-Budget-Verschwendung gefunden.
Woher die Crawl-Budget-Verschwendung kommt
| Quelle | Sieht so aus | Übliche Lösung |
|---|---|---|
| Facettierte Navigation | Eine URL pro Filterkombination | Wenig wertvolle Kombinationen sperren |
| Parameter | Tracking, Session, Sortierung | Aus internen Links entfernen |
| Crawl-Fallen | Kalender, sich wiederholende Ordner | Begrenzen, sperren oder Links korrigieren |
| Weiterleitungsketten | 2 oder mehr Hops | Auf die finale URL verlinken |
| Soft 404s | Nicht gefunden, liefert 200 | 404 oder 410 zurückgeben |
| Doppelte URLs | Groß-/Kleinschreibung, Slash, Parameterreihenfolge | Auf eine Version weiterleiten |
| Unsaubere Sitemaps | Weiterleitungen, noindex, Fehler | Nur indexierbare 200-URLs |
| Langsame Antworten | Antwortzeit steigt | Server beschleunigen |
Facettierte Navigation ist in den meisten Shops die größte Quelle; der Crawl-Budget-Erklärer auf SEO ProCheck zeigt, wann welche Quelle eine Rolle spielt.
Crawl-Budget-Optimierung, Schritt für Schritt
- Zählen Sie, was indexiert werden soll. Notieren Sie, wie viele Seiten Sie in Google haben wollen. Alles darüber ist ein Kandidat für Verschwendung.
- Crawlen Sie die Website und sortieren Sie die URLs. Trennen Sie saubere Seiten-URLs von Parametervarianten, fehlerhaften URLs, Crawl-Fallen und Ressourcen.
- Finden Sie die Muster. Verschwendung ist selten zufällig. Es ist ein Filter, ein Kalender, ein kaputter relativer Link, tausendfach wiederholt.
- Sperren Sie, was nie gecrawlt werden muss. Nutzen Sie die robots.txt für URL-Muster ohne Suchwert, etwa interne Suchergebnisse oder Sortierungen. Testen Sie die Regel an Ihren gecrawlten URLs, bevor sie live geht.
- Korrigieren Sie die Links, die die Verschwendung erzeugen. Sperren versteckt die URLs; korrigierte Links verhindern, dass sie entstehen.
- Bereinigen Sie die XML-Sitemaps. Nur indexierbare URLs mit 200, mit lastmod-Daten, die sich ändern, wenn die Seite sich ändert.
- Liefern Sie die richtigen Statuscodes. 404 oder 410 für Seiten, die weg sind, nicht 200 mit einer Nicht-gefunden-Meldung.
- Verkürzen Sie Weiterleitungsketten und lassen Sie interne Links auf die finalen URLs zeigen.
- Beobachten Sie Logs und Crawling-Statistiken einige Wochen lang, um zu bestätigen, dass Googlebot zu den wichtigen Seiten wechselt.
Was Sie nicht tun sollten
Einige verbreitete Crawl-Budget-Tipps funktionieren nicht so, wie man erwartet. Aus dem Crawl-Budget-Leitfaden von Google und seiner Seite zum Reduzieren der Crawling-Frequenz:
| Tipp | Spart Budget | Warum |
|---|---|---|
| noindex setzen | – | Seite wird trotzdem abgerufen |
| Seiten vorübergehend sperren | – | Google rät davon ab |
| Crawl-delay in der robots.txt | – | Googlebot ignoriert es |
| 503 oder 429 zurückgeben | ◐ | Notfälle, 1 bis 2 Tage |
| URLs in einer Sitemap aufführen | ◐ | Ein Hinweis, kein Befehl |
| Dauerhaft per robots.txt sperren | ✓ | URL wird nie abgerufen |
noindex hilft bei der Indexierung, nicht beim Crawling. Sperren Sie per robots.txt nur URLs, die nie gecrawlt werden sollen, und korrigieren Sie die Links, die sie erzeugen.
Wie Neova beim Crawl-Budget hilft
Neova ist ein Crawler, nicht Googlebot, und kann daher nicht Googles eigenes Budget zeigen. Es zeigt, wo Ihre Website Googlebot zusätzliche Arbeit macht:
- Discovery läuft während des Crawls. Jede Minute zeigt es nach Muster, woher neue URLs kommen, und meldet Formen von Crawl-Fallen wie Kalender, sich wiederholende Ordner, Session-IDs, viele Parameter und sehr tiefe URLs, mit Weiter crawlen, Überspringen oder Ausschließen direkt vor Ort.
- URL-Aufschlüsselung ordnet jede URL genau einem Bereich zu: saubere Seiten-URLs, Parametervarianten, fehlerhafte URLs, Crawl-Fallen und Ressourcen. Die Zahl ist immer erklärt.
- Der robots.txt-Tester erklärt jede Zeile, und der Entwurfstest listet die URLs, die eine Änderung neu sperren oder freigeben würde, bevor Sie sie live stellen.
- Server-Log listet in der Desktop-App die HTML-Seiten, die Googlebot im Log-Zeitraum nie besucht hat, und die URLs, die Bots anfragen, die der Crawl nicht kennt.
- Checks wie indexierbare URLs mit Such- oder Filterparametern, dieselben Parameter in anderer Reihenfolge, Soft-404-Formulierungen, weiterleitende URLs in XML-Sitemaps und ein Recrawl-Intervall von Googlebot, das um 50 % oder mehr gewachsen ist.

Neova crawlt auch rücksichtsvoll: standardmäßig 3 URLs pro Sekunde, mit halbierter Geschwindigkeit, wenn der Server langsamer wird oder 429 oder 503 liefert. Siehe Funktionen oder Neova herunterladen zum Ausprobieren.
Crawl-Budget-Checkliste
| Signal | Gesund | Speicherort |
|---|---|---|
| Antwortzeit | Stabil oder fallend | Crawling-Statistiken |
| Anteil 3xx und 4xx | Nicht steigend | Crawling-Statistiken, Logs |
| Crawlbare URLs zu gewünschten Seiten | Nahe 1 zu 1 | Ihr Crawl |
| Crawl-Fallen | 0 | Ihr Crawl |
| Weiterleitungs-Hops | Höchstens 1 | Ihr Crawl |
| Entfernte Seiten | 404 oder 410 | Ihr Crawl |
| Sitemap-Einträge | Nur indexierbare 200 | Ihr Crawl |
| URLs pro Sitemap-Datei | Maximal 50.000 | Ihr Crawl |
| Gelesene Log-Tage | 30 oder mehr | Server-Logs |
| Neue wichtige Seiten | Von Googlebot besucht | Server-Logs |
Fragen
Was ist das Crawl-Budget im SEO?
Die Zahl der URLs, die eine Suchmaschine in einem bestimmten Zeitraum auf Ihrer Website crawlen kann und will. Google beschreibt es als Kombination aus Crawling-Kapazität und Crawling-Bedarf.
Spielt das Crawl-Budget für kleine Websites eine Rolle?
Meist nicht. Laut Google betrifft es vor allem sehr große Websites, Websites, die sich täglich ändern, und Websites mit vielen gefundenen, aber nicht indexierten Seiten. Kleine Websites gewinnen mehr durch bessere Inhalte und interne Links.
Wie erhöhe ich das Crawl-Budget?
Machen Sie den Server schnell und stabil, und geben Sie Google Gründe zum Crawlen: Seiten, die verlinkt und besucht werden, und Inhalte, die sich ändern. Verschwenden Sie dann nicht, was Sie haben, an Parameter, Weiterleitungen und Duplikate.
Spart noindex Crawl-Budget?
Nein. Google muss eine Seite crawlen, um ihr noindex zu lesen. Um Googlebot dauerhaft von einem URL-Muster fernzuhalten, sperren Sie es in der robots.txt und korrigieren die Links, die es erzeugen.
Befolgt Googlebot crawl-delay?
Nein. Google unterstützt crawl-delay in der robots.txt nicht. Bing unterstützt es laut eigener Dokumentation. Neova meldet ein crawl-delay für alle User-Agents, damit Sie entscheiden können, ob es noch gewollt ist.