NeovaProfi-SEO-Plattform

robots.txt-Tester: robots.txt-Regeln testen, bevor sie die falschen Seiten sperren

Die robots.txt ist eine kurze Textdatei mit viel Macht. Eine Zeile kann eine Suchmaschine von einem Ordner fernhalten, den Sie verstecken wollten, oder von der ganzen Website, mit der Sie ranken wollten. Ein robots.txt-Tester sagt Ihnen URL für URL, was jeder Crawler abrufen darf, damit Sie es vor dem Googlebot wissen.

Crawling und Indexierungrobots.txt-TesterAktualisiert am 21. November 2026Vom Neova-Team

Was ein robots.txt-Tester leistet

Ein robots.txt-Tester nimmt eine robots.txt-Datei und eine URL, wählt die Regelgruppe, die für einen bestimmten User-Agent gilt, und sagt Ihnen, ob die URL erlaubt oder gesperrt ist und welche Zeile das entschieden hat. Ein guter Tester weist außerdem auf Zeilen hin, die der Parser nicht lesen kann, auf Felder, die er ignoriert, und auf Regeln, die sich gegenseitig aufheben.

Eine URL nach der anderen zu testen, ist für eine schnelle Frage nützlich. Jede URL eines Crawls zu testen, deckt die Überraschungen auf: eine Regel für einen Ordner, die auch einen Produktfilter trifft, oder eine Wildcard, die das CSS blockiert, das Ihre Seiten zum Rendern brauchen.

Google hat seinen robots.txt-Tester eingestellt

Jahrelang hatte die Search Console einen robots.txt-Tester, in dem Sie die Datei bearbeiten und URLs dagegen testen konnten. Ende 2023 hat Google ihn eingestellt und durch den robots.txt-Bericht ersetzt. Der Bericht zeigt, welche robots.txt-Dateien Google für die 20 wichtigsten Hosts einer Property gefunden hat, wann jede zuletzt gecrawlt wurde und etwaige Warnungen oder Fehler. Außerdem können Sie nach einer dringenden Korrektur einen erneuten Crawl der Datei anfordern.

Der Bericht sagt Ihnen, wie Google Ihre Live-Datei gelesen hat. Er testet keine Regel, die noch nicht live ist, und er prüft nicht Ihre ganze URL-Liste gegen die Datei. Dafür brauchen Sie einen separaten Tester. Google veröffentlicht seinen eigenen Open-Source-Parser für robots.txt, und Bing Webmaster Tools hat einen robots.txt-Tester, mit dem sich gut prüfen lässt, wie Bingbot eine Datei liest.

So funktionieren robots.txt-Regeln

Die Datei liegt im Stammverzeichnis eines Hosts, zum Beispiel https://www.example.com/robots.txt. Die Regeln definiert RFC 9309, das Robots Exclusion Protocol, und Google dokumentiert in So interpretiert Google die robots.txt-Spezifikation, wie es sie liest. Eine Datei besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, gefolgt von Allow- und Disallow-Regeln:

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

Die Punkte, die Tester prüfen, so wie Google sie dokumentiert. Die vollständige Referenz zur robots.txt von SEO ProCheck geht jedes Feld durch.

  • Eine Gruppe pro Crawler. Ein Crawler folgt nur der spezifischsten Gruppe, die zu seinem Namen passt. Hat Googlebot eine eigene Gruppe, ignoriert er die Gruppe * vollständig.
  • Der längste Treffer gewinnt. Passen ein Allow und ein Disallow beide auf eine URL, gilt die Regel mit dem längeren Pfad. Bei Gleichstand nutzt Google die am wenigsten restriktive Regel.
  • Zwei Wildcards. * passt auf eine beliebige Zeichenfolge, und $ markiert das Ende der URL.
  • Pfade unterscheiden Groß- und Kleinschreibung. Disallow: /Admin sperrt /admin nicht.
  • Eine Datei pro Host. Regeln gelten nur für Protokoll, Host und Port, von denen die Datei ausgeliefert wird. Eine Subdomain braucht eine eigene Datei.

Was die robots.txt nicht tut

Die robots.txt steuert das Crawling, nicht die Indexierung. Googles Einführung in robots.txt stellt klar, dass eine gesperrte URL trotzdem indexiert werden kann, wenn andere Seiten auf sie verlinken, meist ohne Beschreibung angezeigt. Soll eine Seite aus den Suchergebnissen verschwinden, lassen Sie sie crawlen und setzen Sie stattdessen noindex. Eine Seite, die Google nicht abrufen kann, ist eine Seite, deren noindex Google nie sieht.

Einige weitere Grenzen, die Sie kennen sollten:

  • Keine noindex-Zeile. Google hat 2019 die Unterstützung für noindex in der robots.txt eingestellt, ebenso für dortige nofollow- und crawl-delay-Regeln.
  • Kein crawl-delay für Google. Googlebot ignoriert Crawl-delay. Manche anderen Crawler lesen die Angabe, deshalb kann ein Wert für alle User-Agents sie stark ausbremsen.
  • Keine Sicherheit. Die Datei ist öffentlich, und höfliche Crawler befolgen sie freiwillig. Alles Private braucht einen Login.

Häufige robots.txt-Fehler, die ein Tester findet

FehlerFolgeKorrektur
Disallow: / aus dem Staging übrigGanze Website gesperrtDie Zeile entfernen
Benannte Gruppe ohne gemeinsame Regeln*-Regeln entfallen für diesen BotGemeinsame Regeln hineinkopieren
Gesperrtes CSS, JavaScript, BilderSeite wird nicht korrekt gerendertDie Dateien erlauben
Wildcard zu breit/*? sperrt Filter, SeitenDas Muster eingrenzen
Regel vor User-agent, TippfehlerZeile übersprungenDie Syntax korrigieren
Disallow zum Deindexierennoindex wird nie gelesenErlauben, dann noindex
www und Nicht-www unterscheiden sichRegeln unterscheiden sich je HostEine Datei ausliefern

Eine URL zu sperren, die Sie zugleich in Ihrer XML-Sitemap auflisten, sendet widersprüchliche Signale. Der Ratgeber zum XML-Sitemap-Checker behandelt diesen Aspekt.

Serverfehler und Dateigröße

Wie die Datei ausgeliefert wird, ist so wichtig wie ihr Inhalt. Google dokumentiert jeden Fall:

FallWas Google tutWie lange
4xx, nicht 429Crawlt, als gäbe es keine DateiBis zur Behebung
5xx oder 429Stoppt das Crawlen der WebsiteErste 12 Stunden
Weiterhin fehlerhaftNutzt die letzte gute KopieBis zu 30 Tage
Datei über 500 KiBIgnoriert den RestAb 500 KiB
Jede ÄnderungNutzt seine gecachte KopieBis zu 24 Stunden

Die Anfrage auf erneuten Crawl im robots.txt-Bericht ist für dringende Korrekturen gedacht. Eine robots.txt, die im falschen Moment in eine Zeitüberschreitung läuft, kann das Crawlen der ganzen Website pausieren; der Ratgeber zum Crawl-Budget erklärt, warum das vor allem bei großen Websites wichtig ist.

Was wir in unserer eigenen robots.txt gefunden haben

Unser eigener SEO-Durchgang auf neova.app am 20. November 2026 fand zwei Regeln, die mehr sperrten als beabsichtigt:

Was gesperrt warBetroffene SeitenWas Google sahKorrektur
E-Mail-Skript von Cloudflare unter /cdn-cgi/1.320Ein Skript, das es nicht abrufen konnteDieses Skript erlaubt
/favicon und /apple-touch-icon.pngJedes ErgebnisEin einfacher Buchstabe, kein LogoBeide Dateien erlaubt

Die Favicon-Dateien lagen hinter einer Regel Disallow: /. Googles Richtlinien für Favicons verlangen, dass Googlebot-Image die Datei crawlen kann, deshalb zeigten die Suchergebnisse neben neova.app einen Buchstaben statt unseres Logos. Keine der beiden Regeln sah in der Datei falsch aus. Beide fielen erst auf, als die Regeln gegen jede URL und jede Datei getestet wurden, die die Seiten laden.

robots.txt sicher testen

  1. Crawlen Sie die Website, damit Sie eine vollständige Liste echter URLs haben, nicht nur die wenigen, an die Sie sich erinnern.
  2. Testen Sie die Live-Datei gegen diese Liste für jeden Crawler, der Ihnen wichtig ist: Googlebot, Googlebot-Image, Bingbot und die KI-Crawler.
  3. Schreiben Sie die Änderung als Entwurf und testen Sie den Entwurf gegen dieselbe Liste. Sehen Sie sich die URLs an, die neu gesperrt und neu erlaubt werden.
  4. Prüfen Sie die Ressourcen. Stellen Sie sicher, dass keine indexierbare Seite ihre Skripte, Stylesheets oder Bilder verliert.
  5. Stellen Sie die Änderung live und prüfen Sie dann im robots.txt-Bericht der Search Console, ob Google die neue Version ohne Fehler abgerufen hat.
  6. Crawlen Sie erneut und vergleichen Sie, damit eine versehentliche spätere Änderung auffällt.

Wenn Sie entscheiden, was KI-Crawler abrufen dürfen, listet der Ratgeber zu KI-Crawlern ihre Namen auf und was jeder tut. Gesperrte Seiten tauchen auch im Ratgeber zur Prüfung der Indexierbarkeit auf.

robots.txt mit Neova testen

Der robots.txt-Tester von Neova erklärt jede Zeile der Live-Datei oder eines Entwurfs in einfachen Worten, so wie Google sie dokumentiert und RFC 9309 sie definiert, mit den gecrawlten URLs, auf die jede Regel passt. Die Ansicht „Alle Crawler“ zeigt, was Googlebot, Bingbot und die KI-Crawler abrufen dürfen, mit den URLs, von denen jeder ausgesperrt ist. Er meldet, wenn die eigene Gruppe eines Crawlers die Regeln der Gruppe * außer Kraft setzt, und der Entwurfstest listet jede URL des Crawls auf, die eine Änderung neu sperren oder neu erlauben würde. Anschließend können Sie unter Beachtung des Entwurfs crawlen, um die volle Wirkung zu sehen. Die Checks dahinter:

Neova speichert jede robots.txt-Version, die seine Crawls gelesen haben, sodass Sie sehen, wann sich eine Regel geändert hat. Mit der Einstellung User-Agent crawlen Sie als Googlebot, Bingbot, KI-Crawler oder mit einem eigenen String. Sehen Sie sich die Funktionen an oder laden Sie Neova herunter.

Fragen

Hat Google noch einen robots.txt-Tester?

Nein. Google hat den robots.txt-Tester in der Search Console 2023 eingestellt und durch den robots.txt-Bericht ersetzt, der zeigt, wie Google Ihre Live-Datei gelesen hat, und etwaige Fehler. Um eine Änderung zu testen, bevor sie live ist, nutzen Sie einen separaten robots.txt-Tester.

Wie teste ich, ob eine URL per robots.txt gesperrt ist?

Finden Sie die Gruppe, die zum User-Agent des Crawlers passt, dann den längsten Allow- oder Disallow-Pfad, der auf die URL passt. Diese Regel entscheidet. Ein robots.txt-Tester erledigt das für Sie und nennt die Zeile, für eine URL oder für jede URL eines Crawls. Die FAQ zur robots.txt von SEO ProCheck beantworten die Grenzfälle.

Verhindert die robots.txt, dass eine Seite indexiert wird?

Nein. Sie stoppt das Crawling. Eine gesperrte URL kann trotzdem indexiert werden, wenn andere Seiten auf sie verlinken. Setzen Sie noindex auf einer Seite, die Google crawlen kann, wenn sie aus den Suchergebnissen verschwinden soll.

Warum ignoriert Googlebot meine Regeln für User-agent: *?

Weil die Datei eine Gruppe hat, die nach Googlebot benannt ist. Ein Crawler folgt nur der spezifischsten Gruppe, die auf ihn passt. Kopieren Sie die gemeinsamen Regeln daher auch in die Googlebot-Gruppe.

Wie lange dauert es, bis eine Änderung an der robots.txt wirkt?

Google cacht die robots.txt in der Regel bis zu 24 Stunden. Nach einer dringenden Korrektur können Sie im robots.txt-Bericht der Search Console einen erneuten Crawl anfordern.

Zum Mitnehmen

Die Links zu den Assistenten öffnen sich mit einer bereits formulierten Frage zu dieser Seite.

Crawlen Sie Ihre Website mit NeovaDer Free-Tarif führt jeden Check aus, auf Mac, Windows und Linux. Keine Kreditkarte nötig.

Weiterlesen