NeovaProfi-SEO-Plattform

Crawl-Budget: was es ist, wie Sie es prüfen und wie Sie die Verschwendung stoppen

Das Crawl-Budget ist die Zahl der URLs, die Googlebot auf Ihrer Website abrufen kann und will. Die meisten Websites müssen sich nie darum kümmern. Große oder sich schnell ändernde Websites schon, und die Lösung ist meist dieselbe: Googlebot davon abhalten, seine Zeit mit unwichtigen URLs zu verbringen.

Crawling und Indexierungcrawl budgetAktualisiert am 21. November 2026Vom Neova-Team

Was ist das Crawl-Budget?

Google definiert das Crawl-Budget als die Menge der URLs, die Googlebot auf einer Website crawlen kann und will. In seinem Leitfaden zur Verwaltung des Crawl-Budgets teilt Google es in zwei Teile:

  • Crawling-Kapazitätslimit. Wie viel Googlebot abrufen kann, ohne Ihren Server zu überlasten. Antwortet die Website schnell, steigt das Limit. Wird sie langsamer oder liefert Serverfehler, fährt Googlebot zurück.
  • Crawling-Bedarf. Wie viel Google crawlen möchte. Beliebte URLs und URLs, die sich ändern, werden öfter gecrawlt. Veraltete oder wenig wertvolle URLs seltener.

Zusammengenommen ist das Crawl-Budget im SEO der Punkt, an dem sich trifft, was Ihr Server verkraftet und was Google für abrufenswert hält. Mehr davon kaufen können Sie nicht. Sie können das, was Sie bekommen, besser nutzen.

Spielt das Crawl-Budget für Ihre Website eine Rolle?

Laut Google betrifft das Crawl-Budget vor allem drei Arten von Websites. Aus dem Crawl-Budget-Leitfaden:

WebsiteEindeutige SeitenInhaltsänderungenEin Thema
Groß1.000.000+Wöchentlich✓
Mittel oder größer10.000+Täglich✓
Viele Seiten „Gefunden, zurzeit nicht indexiert“Beliebig vieleBeliebig viele✓
Die meisten anderen WebsitesEinige TausendBeliebig viele–

Werden neue Seiten innerhalb von ein, zwei Tagen gecrawlt, ist das Crawl-Budget nicht Ihr Problem. Sehen Sie sich stattdessen Inhaltsqualität, interne Links und Indexierbarkeit an. Der Ratgeber zu „Discovered, currently not indexed“ auf SEO ProCheck behandelt diesen Status und seine Ursachen.

Die Gewohnheiten, die Crawl-Budget sparen, etwa saubere URLs, wenige Weiterleitungen und keine Crawl-Fallen, helfen trotzdem jeder Website. Sie machen auch Ihre eigenen Crawls schneller und Ihre Audits leichter lesbar.

So prüfen Sie das Crawl-Budget

Es gibt nicht die eine Crawl-Budget-Zahl. Sie lesen es an drei Stellen ab.

1. Der Bericht „Crawling-Statistiken“ in der Search Console

Öffnen Sie Einstellungen, dann Crawling-Statistiken. Sie sehen die Crawling-Anfragen insgesamt, die gesamte Downloadgröße und die durchschnittliche Antwortzeit der letzten 90 Tage, aufgeschlüsselt nach Antwortcode, Dateityp, Zweck (Erkennung oder Aktualisierung) und Googlebot-Typ. Der Hoststatus zeigt, ob es Probleme beim Abruf der robots.txt, beim DNS oder bei der Serververbindung gab.

Worauf Sie achten sollten: ein wachsender Anteil an 3xx- und 4xx-Antworten, eine steigende Antwortzeit oder die meisten Anfragen für Aktualisierungen, während neue Seiten warten.

2. Ihre Server-Logs

Die Crawling-Statistiken sind eine Zusammenfassung. Logs zeigen jede Anfrage, sodass Sie genau sehen, welche URLs Googlebot abruft, wie oft und welche er nie anfasst. Importieren statt verbinden listet die Logformate, die Neova liest, und wo jeder Hoster sie ablegt.

3. Ein eigener Crawl

Ein Crawler zeigt die URLs, die Ihre Links und Sitemaps preisgeben. Vergleichen Sie seine Zahl mit der Zahl der Seiten, die Sie wirklich im Index haben wollen. Wir haben das mit unserer eigenen Website gemacht:

seoprocheck.com, 17. Okt. 2026URLs
Vom vollständigen Crawl abgerufen10.222
HTML-Seiten mit Status 2004.561
In den XML-Sitemaps aufgeführt1.835
Über Links erreicht, in keiner Sitemap2.727

Weniger als die Hälfte der abgerufenen URLs waren also HTML-Seiten mit 200; der Rest waren Dateien, Weiterleitungen und andere Antworten, für die ein Bot ebenfalls Anfragen aufwendet. Und 2.727 verlinkte URLs stehen in keiner Sitemap, was einen Blick wert ist, bevor man Google die Schuld gibt. Erzeugt eine Website mit 20.000 Produkten 400.000 crawlbare URLs, haben Sie Ihre Crawl-Budget-Verschwendung gefunden.

Woher die Crawl-Budget-Verschwendung kommt

QuelleSieht so ausÜbliche Lösung
Facettierte NavigationEine URL pro FilterkombinationWenig wertvolle Kombinationen sperren
ParameterTracking, Session, SortierungAus internen Links entfernen
Crawl-FallenKalender, sich wiederholende OrdnerBegrenzen, sperren oder Links korrigieren
Weiterleitungsketten2 oder mehr HopsAuf die finale URL verlinken
Soft 404sNicht gefunden, liefert 200404 oder 410 zurückgeben
Doppelte URLsGroß-/Kleinschreibung, Slash, ParameterreihenfolgeAuf eine Version weiterleiten
Unsaubere SitemapsWeiterleitungen, noindex, FehlerNur indexierbare 200-URLs
Langsame AntwortenAntwortzeit steigtServer beschleunigen

Facettierte Navigation ist in den meisten Shops die größte Quelle; der Crawl-Budget-Erklärer auf SEO ProCheck zeigt, wann welche Quelle eine Rolle spielt.

Crawl-Budget-Optimierung, Schritt für Schritt

  1. Zählen Sie, was indexiert werden soll. Notieren Sie, wie viele Seiten Sie in Google haben wollen. Alles darüber ist ein Kandidat für Verschwendung.
  2. Crawlen Sie die Website und sortieren Sie die URLs. Trennen Sie saubere Seiten-URLs von Parametervarianten, fehlerhaften URLs, Crawl-Fallen und Ressourcen.
  3. Finden Sie die Muster. Verschwendung ist selten zufällig. Es ist ein Filter, ein Kalender, ein kaputter relativer Link, tausendfach wiederholt.
  4. Sperren Sie, was nie gecrawlt werden muss. Nutzen Sie die robots.txt für URL-Muster ohne Suchwert, etwa interne Suchergebnisse oder Sortierungen. Testen Sie die Regel an Ihren gecrawlten URLs, bevor sie live geht.
  5. Korrigieren Sie die Links, die die Verschwendung erzeugen. Sperren versteckt die URLs; korrigierte Links verhindern, dass sie entstehen.
  6. Bereinigen Sie die XML-Sitemaps. Nur indexierbare URLs mit 200, mit lastmod-Daten, die sich ändern, wenn die Seite sich ändert.
  7. Liefern Sie die richtigen Statuscodes. 404 oder 410 für Seiten, die weg sind, nicht 200 mit einer Nicht-gefunden-Meldung.
  8. Verkürzen Sie Weiterleitungsketten und lassen Sie interne Links auf die finalen URLs zeigen.
  9. Beobachten Sie Logs und Crawling-Statistiken einige Wochen lang, um zu bestätigen, dass Googlebot zu den wichtigen Seiten wechselt.

Was Sie nicht tun sollten

Einige verbreitete Crawl-Budget-Tipps funktionieren nicht so, wie man erwartet. Aus dem Crawl-Budget-Leitfaden von Google und seiner Seite zum Reduzieren der Crawling-Frequenz:

TippSpart BudgetWarum
noindex setzen–Seite wird trotzdem abgerufen
Seiten vorübergehend sperren–Google rät davon ab
Crawl-delay in der robots.txt–Googlebot ignoriert es
503 oder 429 zurückgeben◐Notfälle, 1 bis 2 Tage
URLs in einer Sitemap aufführen◐Ein Hinweis, kein Befehl
Dauerhaft per robots.txt sperren✓URL wird nie abgerufen

noindex hilft bei der Indexierung, nicht beim Crawling. Sperren Sie per robots.txt nur URLs, die nie gecrawlt werden sollen, und korrigieren Sie die Links, die sie erzeugen.

Wie Neova beim Crawl-Budget hilft

Neova ist ein Crawler, nicht Googlebot, und kann daher nicht Googles eigenes Budget zeigen. Es zeigt, wo Ihre Website Googlebot zusätzliche Arbeit macht:

Ein laufender Crawl: abgerufene von gefundenen URLs, das Geschwindigkeitslimit, URL-Aufschlüsselung, Discovery und die Live-Crawl-Karte nach Klicks ab der Start-URL
Ein laufender Crawl: abgerufene von gefundenen URLs, das Geschwindigkeitslimit, URL-Aufschlüsselung, Discovery und die Live-Crawl-Karte nach Klicks ab der Start-URL

Neova crawlt auch rücksichtsvoll: standardmäßig 3 URLs pro Sekunde, mit halbierter Geschwindigkeit, wenn der Server langsamer wird oder 429 oder 503 liefert. Siehe Funktionen oder Neova herunterladen zum Ausprobieren.

Crawl-Budget-Checkliste

SignalGesundSpeicherort
AntwortzeitStabil oder fallendCrawling-Statistiken
Anteil 3xx und 4xxNicht steigendCrawling-Statistiken, Logs
Crawlbare URLs zu gewünschten SeitenNahe 1 zu 1Ihr Crawl
Crawl-Fallen0Ihr Crawl
Weiterleitungs-HopsHöchstens 1Ihr Crawl
Entfernte Seiten404 oder 410Ihr Crawl
Sitemap-EinträgeNur indexierbare 200Ihr Crawl
URLs pro Sitemap-DateiMaximal 50.000Ihr Crawl
Gelesene Log-Tage30 oder mehrServer-Logs
Neue wichtige SeitenVon Googlebot besuchtServer-Logs

Fragen

Was ist das Crawl-Budget im SEO?

Die Zahl der URLs, die eine Suchmaschine in einem bestimmten Zeitraum auf Ihrer Website crawlen kann und will. Google beschreibt es als Kombination aus Crawling-Kapazität und Crawling-Bedarf.

Spielt das Crawl-Budget für kleine Websites eine Rolle?

Meist nicht. Laut Google betrifft es vor allem sehr große Websites, Websites, die sich täglich ändern, und Websites mit vielen gefundenen, aber nicht indexierten Seiten. Kleine Websites gewinnen mehr durch bessere Inhalte und interne Links.

Wie erhöhe ich das Crawl-Budget?

Machen Sie den Server schnell und stabil, und geben Sie Google Gründe zum Crawlen: Seiten, die verlinkt und besucht werden, und Inhalte, die sich ändern. Verschwenden Sie dann nicht, was Sie haben, an Parameter, Weiterleitungen und Duplikate.

Spart noindex Crawl-Budget?

Nein. Google muss eine Seite crawlen, um ihr noindex zu lesen. Um Googlebot dauerhaft von einem URL-Muster fernzuhalten, sperren Sie es in der robots.txt und korrigieren die Links, die es erzeugen.

Befolgt Googlebot crawl-delay?

Nein. Google unterstützt crawl-delay in der robots.txt nicht. Bing unterstützt es laut eigener Dokumentation. Neova meldet ein crawl-delay für alle User-Agents, damit Sie entscheiden können, ob es noch gewollt ist.

Zum Mitnehmen

Die Links zu den Assistenten öffnen sich mit einer bereits formulierten Frage zu dieser Seite.

Crawlen Sie Ihre Website mit NeovaDer Free-Tarif führt jeden Check aus, auf Mac, Windows und Linux. Keine Kreditkarte nötig.

Weiterlesen