robots.txt-Tester: robots.txt-Regeln testen, bevor sie die falschen Seiten sperren
Die robots.txt ist eine kurze Textdatei mit viel Macht. Eine Zeile kann eine Suchmaschine von einem Ordner fernhalten, den Sie verstecken wollten, oder von der ganzen Website, mit der Sie ranken wollten. Ein robots.txt-Tester sagt Ihnen URL für URL, was jeder Crawler abrufen darf, damit Sie es vor dem Googlebot wissen.
Was ein robots.txt-Tester leistet
Ein robots.txt-Tester nimmt eine robots.txt-Datei und eine URL, wählt die Regelgruppe, die für einen bestimmten User-Agent gilt, und sagt Ihnen, ob die URL erlaubt oder gesperrt ist und welche Zeile das entschieden hat. Ein guter Tester weist außerdem auf Zeilen hin, die der Parser nicht lesen kann, auf Felder, die er ignoriert, und auf Regeln, die sich gegenseitig aufheben.
Eine URL nach der anderen zu testen, ist für eine schnelle Frage nützlich. Jede URL eines Crawls zu testen, deckt die Überraschungen auf: eine Regel für einen Ordner, die auch einen Produktfilter trifft, oder eine Wildcard, die das CSS blockiert, das Ihre Seiten zum Rendern brauchen.
Google hat seinen robots.txt-Tester eingestellt
Jahrelang hatte die Search Console einen robots.txt-Tester, in dem Sie die Datei bearbeiten und URLs dagegen testen konnten. Ende 2023 hat Google ihn eingestellt und durch den robots.txt-Bericht ersetzt. Der Bericht zeigt, welche robots.txt-Dateien Google für die 20 wichtigsten Hosts einer Property gefunden hat, wann jede zuletzt gecrawlt wurde und etwaige Warnungen oder Fehler. Außerdem können Sie nach einer dringenden Korrektur einen erneuten Crawl der Datei anfordern.
Der Bericht sagt Ihnen, wie Google Ihre Live-Datei gelesen hat. Er testet keine Regel, die noch nicht live ist, und er prüft nicht Ihre ganze URL-Liste gegen die Datei. Dafür brauchen Sie einen separaten Tester. Google veröffentlicht seinen eigenen Open-Source-Parser für robots.txt, und Bing Webmaster Tools hat einen robots.txt-Tester, mit dem sich gut prüfen lässt, wie Bingbot eine Datei liest.
So funktionieren robots.txt-Regeln
Die Datei liegt im Stammverzeichnis eines Hosts, zum Beispiel https://www.example.com/robots.txt. Die Regeln definiert RFC 9309, das Robots Exclusion Protocol, und Google dokumentiert in So interpretiert Google die robots.txt-Spezifikation, wie es sie liest. Eine Datei besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, gefolgt von Allow- und Disallow-Regeln:
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
Die Punkte, die Tester prüfen, so wie Google sie dokumentiert. Die vollständige Referenz zur robots.txt von SEO ProCheck geht jedes Feld durch.
- Eine Gruppe pro Crawler. Ein Crawler folgt nur der spezifischsten Gruppe, die zu seinem Namen passt. Hat Googlebot eine eigene Gruppe, ignoriert er die Gruppe
*vollständig. - Der längste Treffer gewinnt. Passen ein Allow und ein Disallow beide auf eine URL, gilt die Regel mit dem längeren Pfad. Bei Gleichstand nutzt Google die am wenigsten restriktive Regel.
- Zwei Wildcards.
*passt auf eine beliebige Zeichenfolge, und$markiert das Ende der URL. - Pfade unterscheiden Groß- und Kleinschreibung.
Disallow: /Adminsperrt/adminnicht. - Eine Datei pro Host. Regeln gelten nur für Protokoll, Host und Port, von denen die Datei ausgeliefert wird. Eine Subdomain braucht eine eigene Datei.
Was die robots.txt nicht tut
Die robots.txt steuert das Crawling, nicht die Indexierung. Googles Einführung in robots.txt stellt klar, dass eine gesperrte URL trotzdem indexiert werden kann, wenn andere Seiten auf sie verlinken, meist ohne Beschreibung angezeigt. Soll eine Seite aus den Suchergebnissen verschwinden, lassen Sie sie crawlen und setzen Sie stattdessen noindex. Eine Seite, die Google nicht abrufen kann, ist eine Seite, deren noindex Google nie sieht.
Einige weitere Grenzen, die Sie kennen sollten:
- Keine noindex-Zeile. Google hat 2019 die Unterstützung für noindex in der robots.txt eingestellt, ebenso für dortige nofollow- und crawl-delay-Regeln.
- Kein crawl-delay für Google. Googlebot ignoriert
Crawl-delay. Manche anderen Crawler lesen die Angabe, deshalb kann ein Wert für alle User-Agents sie stark ausbremsen. - Keine Sicherheit. Die Datei ist öffentlich, und höfliche Crawler befolgen sie freiwillig. Alles Private braucht einen Login.
Häufige robots.txt-Fehler, die ein Tester findet
| Fehler | Folge | Korrektur |
|---|---|---|
Disallow: / aus dem Staging übrig | Ganze Website gesperrt | Die Zeile entfernen |
| Benannte Gruppe ohne gemeinsame Regeln | *-Regeln entfallen für diesen Bot | Gemeinsame Regeln hineinkopieren |
| Gesperrtes CSS, JavaScript, Bilder | Seite wird nicht korrekt gerendert | Die Dateien erlauben |
| Wildcard zu breit | /*? sperrt Filter, Seiten | Das Muster eingrenzen |
| Regel vor User-agent, Tippfehler | Zeile übersprungen | Die Syntax korrigieren |
| Disallow zum Deindexieren | noindex wird nie gelesen | Erlauben, dann noindex |
| www und Nicht-www unterscheiden sich | Regeln unterscheiden sich je Host | Eine Datei ausliefern |
Eine URL zu sperren, die Sie zugleich in Ihrer XML-Sitemap auflisten, sendet widersprüchliche Signale. Der Ratgeber zum XML-Sitemap-Checker behandelt diesen Aspekt.
Serverfehler und Dateigröße
Wie die Datei ausgeliefert wird, ist so wichtig wie ihr Inhalt. Google dokumentiert jeden Fall:
| Fall | Was Google tut | Wie lange |
|---|---|---|
| 4xx, nicht 429 | Crawlt, als gäbe es keine Datei | Bis zur Behebung |
| 5xx oder 429 | Stoppt das Crawlen der Website | Erste 12 Stunden |
| Weiterhin fehlerhaft | Nutzt die letzte gute Kopie | Bis zu 30 Tage |
| Datei über 500 KiB | Ignoriert den Rest | Ab 500 KiB |
| Jede Änderung | Nutzt seine gecachte Kopie | Bis zu 24 Stunden |
Die Anfrage auf erneuten Crawl im robots.txt-Bericht ist für dringende Korrekturen gedacht. Eine robots.txt, die im falschen Moment in eine Zeitüberschreitung läuft, kann das Crawlen der ganzen Website pausieren; der Ratgeber zum Crawl-Budget erklärt, warum das vor allem bei großen Websites wichtig ist.
Was wir in unserer eigenen robots.txt gefunden haben
Unser eigener SEO-Durchgang auf neova.app am 20. November 2026 fand zwei Regeln, die mehr sperrten als beabsichtigt:
| Was gesperrt war | Betroffene Seiten | Was Google sah | Korrektur |
|---|---|---|---|
| E-Mail-Skript von Cloudflare unter /cdn-cgi/ | 1.320 | Ein Skript, das es nicht abrufen konnte | Dieses Skript erlaubt |
| /favicon und /apple-touch-icon.png | Jedes Ergebnis | Ein einfacher Buchstabe, kein Logo | Beide Dateien erlaubt |
Die Favicon-Dateien lagen hinter einer Regel Disallow: /. Googles Richtlinien für Favicons verlangen, dass Googlebot-Image die Datei crawlen kann, deshalb zeigten die Suchergebnisse neben neova.app einen Buchstaben statt unseres Logos. Keine der beiden Regeln sah in der Datei falsch aus. Beide fielen erst auf, als die Regeln gegen jede URL und jede Datei getestet wurden, die die Seiten laden.
robots.txt sicher testen
- Crawlen Sie die Website, damit Sie eine vollständige Liste echter URLs haben, nicht nur die wenigen, an die Sie sich erinnern.
- Testen Sie die Live-Datei gegen diese Liste für jeden Crawler, der Ihnen wichtig ist: Googlebot, Googlebot-Image, Bingbot und die KI-Crawler.
- Schreiben Sie die Änderung als Entwurf und testen Sie den Entwurf gegen dieselbe Liste. Sehen Sie sich die URLs an, die neu gesperrt und neu erlaubt werden.
- Prüfen Sie die Ressourcen. Stellen Sie sicher, dass keine indexierbare Seite ihre Skripte, Stylesheets oder Bilder verliert.
- Stellen Sie die Änderung live und prüfen Sie dann im robots.txt-Bericht der Search Console, ob Google die neue Version ohne Fehler abgerufen hat.
- Crawlen Sie erneut und vergleichen Sie, damit eine versehentliche spätere Änderung auffällt.
Wenn Sie entscheiden, was KI-Crawler abrufen dürfen, listet der Ratgeber zu KI-Crawlern ihre Namen auf und was jeder tut. Gesperrte Seiten tauchen auch im Ratgeber zur Prüfung der Indexierbarkeit auf.
robots.txt mit Neova testen
Der robots.txt-Tester von Neova erklärt jede Zeile der Live-Datei oder eines Entwurfs in einfachen Worten, so wie Google sie dokumentiert und RFC 9309 sie definiert, mit den gecrawlten URLs, auf die jede Regel passt. Die Ansicht „Alle Crawler“ zeigt, was Googlebot, Bingbot und die KI-Crawler abrufen dürfen, mit den URLs, von denen jeder ausgesperrt ist. Er meldet, wenn die eigene Gruppe eines Crawlers die Regeln der Gruppe * außer Kraft setzt, und der Entwurfstest listet jede URL des Crawls auf, die eine Änderung neu sperren oder neu erlauben würde. Anschließend können Sie unter Beachtung des Entwurfs crawlen, um die volle Wirkung zu sehen. Die Checks dahinter:
- robots.txt hat ungültige Syntax oder unbekannte Felder
- robots.txt ist nicht erreichbar oder zu groß, bei 5xx, 429, keiner Antwort oder über 500 KiB
- Interne URL ist per robots.txt gesperrt
- HTML-Seite nutzt eine per robots.txt gesperrte JavaScript-Datei, ein Stylesheet und ein Bild
- Crawl-Delay ist in der robots.txt für alle User-Agents gesetzt
- robots.txt einer Host-Variante weicht vom kanonischen Host ab
- robots.txt-Regeln haben sich seit dem vorigen Crawl geändert
- Favicon fehlt, ist defekt oder gesperrt, auch ein für Googlebot-Image gesperrtes Favicon
- Gesperrte URL steht in einer XML-Sitemap
Neova speichert jede robots.txt-Version, die seine Crawls gelesen haben, sodass Sie sehen, wann sich eine Regel geändert hat. Mit der Einstellung User-Agent crawlen Sie als Googlebot, Bingbot, KI-Crawler oder mit einem eigenen String. Sehen Sie sich die Funktionen an oder laden Sie Neova herunter.
Fragen
Hat Google noch einen robots.txt-Tester?
Nein. Google hat den robots.txt-Tester in der Search Console 2023 eingestellt und durch den robots.txt-Bericht ersetzt, der zeigt, wie Google Ihre Live-Datei gelesen hat, und etwaige Fehler. Um eine Änderung zu testen, bevor sie live ist, nutzen Sie einen separaten robots.txt-Tester.
Wie teste ich, ob eine URL per robots.txt gesperrt ist?
Finden Sie die Gruppe, die zum User-Agent des Crawlers passt, dann den längsten Allow- oder Disallow-Pfad, der auf die URL passt. Diese Regel entscheidet. Ein robots.txt-Tester erledigt das für Sie und nennt die Zeile, für eine URL oder für jede URL eines Crawls. Die FAQ zur robots.txt von SEO ProCheck beantworten die Grenzfälle.
Verhindert die robots.txt, dass eine Seite indexiert wird?
Nein. Sie stoppt das Crawling. Eine gesperrte URL kann trotzdem indexiert werden, wenn andere Seiten auf sie verlinken. Setzen Sie noindex auf einer Seite, die Google crawlen kann, wenn sie aus den Suchergebnissen verschwinden soll.
Warum ignoriert Googlebot meine Regeln für User-agent: *?
Weil die Datei eine Gruppe hat, die nach Googlebot benannt ist. Ein Crawler folgt nur der spezifischsten Gruppe, die auf ihn passt. Kopieren Sie die gemeinsamen Regeln daher auch in die Googlebot-Gruppe.
Wie lange dauert es, bis eine Änderung an der robots.txt wirkt?
Google cacht die robots.txt in der Regel bis zu 24 Stunden. Nach einer dringenden Korrektur können Sie im robots.txt-Bericht der Search Console einen erneuten Crawl anfordern.