KI-Crawler: Was GPTBot, ClaudeBot und PerplexityBot tun und wie Sie sie steuern
KI-Crawler rufen Ihre Seiten ab, um Sprachmodelle zu trainieren, um Indizes für die KI-Suche aufzubauen oder um die Frage einer einzelnen Person sofort zu beantworten. Jede Art hat ihren eigenen Namen in der robots.txt, Sie können also einige erlauben und andere blockieren. Hier steht, wer sie sind, was jeder tut und wie Sie prüfen, was sie tatsächlich bekommen.
Was sind KI-Crawler?
KI-Crawler, auch LLM-Crawler genannt, sind Bots von KI-Unternehmen. Sie sind nicht alle gleich, und wer sie als eine Gruppe behandelt, schreibt schlechte robots.txt-Regeln. Es gibt drei Arten:
- Trainings-Crawler sammeln Seiten, die zum Training künftiger Modelle genutzt werden können. GPTBot und ClaudeBot sind die bekanntesten.
- Such-Crawler bauen den Index auf, den ein KI-Assistent durchsucht, wenn er mit Quellen und Links antwortet. OAI-SearchBot, Claude-SearchBot und PerplexityBot gehören in diese Gruppe.
- Nutzerausgelöste Abrufe laden eine Seite, weil eine Person den Assistenten danach gefragt hat, zum Beispiel durch Einfügen einer URL. ChatGPT-User, Claude-User und Perplexity-User arbeiten so.
Wer einen Trainings-Crawler blockiert, hält seine Seiten aus künftigen Trainingsdaten heraus. Wer einen Such-Crawler blockiert, kann aus KI-Antworten mit Quellenangaben verschwinden, und das ist oft das Gegenteil dessen, was ein Unternehmen will.
Die wichtigsten KI-Crawler und ihre robots.txt-Tokens
Jeder Anbieter dokumentiert seine eigenen Bots. Das sind die Namen für die robots.txt, jeweils mit verlinkter Seite des Anbieters:
| Token | Unternehmen | Art | Eigener Bot |
|---|---|---|---|
| GPTBot | OpenAI | Training | ✓ |
| OAI-SearchBot | OpenAI | KI-Suche | ✓ |
| ChatGPT-User | OpenAI | Nutzeranfrage | ✓ |
| ClaudeBot | Anthropic | Training | ✓ |
| Claude-SearchBot | Anthropic | KI-Suche | ✓ |
| Claude-User | Anthropic | Nutzeranfrage | ✓ |
| PerplexityBot | Perplexity | KI-Suche | ✓ |
| Perplexity-User | Perplexity | Nutzeranfrage | ✓ |
| Google-Extended | Nutzung von Inhalten durch Gemini | – | |
| Applebot-Extended | Apple | Training von Apple-Modellen | – |
| CCBot | Common Crawl | Offenes Webarchiv | ✓ |
Google-Extended und Applebot-Extended sind Tokens, keine eigenen Bots: Sie steuern, wie Inhalte, die Googlebot oder Applebot ohnehin crawlen, genutzt werden dürfen. Laut Google hat Google-Extended keinen Einfluss auf die Aufnahme in die Google Suche oder auf Rankings. Um zu begrenzen, wie Ihre Inhalte in Googles eigenen KI-Funktionen in der Suche erscheinen, verweist Google auf Snippet-Steuerungen wie nosnippet. Eine längere Liste mit jedem Bot und seinem Zweck finden Sie in der AI Crawler Map von SEO ProCheck.
Sollten Sie LLM-Crawler blockieren?
Es gibt nicht die eine richtige Antwort. Es hängt davon ab, wofür Ihre Inhalte da sind. In robots.txt-Begriffen decken drei Richtlinien die meisten Websites ab:
| Richtlinie | Training | KI-Suche | Nutzeranfrage |
|---|---|---|---|
| Offen für alle | ✓ | ✓ | ✓ |
| Zitiert, nicht trainiert | – | ✓ | ✓ |
| Geschlossen für KI | – | – | ◐ |
- Erlauben Sie Such-Crawler, wenn Sie in der ChatGPT-Suche, in Claude und Perplexity zitiert und verlinkt werden möchten. Für die meisten Unternehmen ist das gewünschte Sichtbarkeit.
- Erwägen Sie, Trainings-Crawler zu blockieren, wenn Ihre Inhalte Ihr Produkt sind: Nachrichten, Studien, Kurse, kostenpflichtige Daten. Eine Sperre stoppt künftiges Sammeln; sie entfernt nicht, was bereits gesammelt wurde.
- Überlegen Sie zweimal, bevor Sie nutzerausgelöste Abrufe blockieren. Sie handeln für eine Person, die nach Ihrer Seite gefragt hat, und manche Anbieter sagen, dass sie robots.txt womöglich nicht so befolgen wie Crawler, daher oben das „teilweise“.
Schreiben Sie die Entscheidung auf: welche Bots erlaubt sind, welche blockiert und warum. Dann passen Sie die robots.txt daran an. Eine schriftliche Richtlinie verhindert, dass ein künftiger Entwickler bei einem Redesign alles blockiert.
robots.txt für KI-Bots: Beispiele
Hier ein verbreitetes Setup: KI-Suche erlauben, Training blockieren.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
Mehrere User-agent-Zeilen können sich eine Regelgruppe teilen. Achten Sie genau auf eine Falle. Nach dem robots.txt-Standard RFC 9309 folgt ein Crawler nur der spezifischsten Gruppe, die ihn nennt. Wenn Sie eine Gruppe für GPTBot anlegen, ignoriert GPTBot die *-Gruppe vollständig, einschließlich Ihres Disallow: /search/. Deshalb wiederholt die Such-Gruppe oben die beiden gemeinsamen Regeln. Alles, was eine benannte Gruppe nicht sperrt, ist erlaubt.
So sperren Sie für das Training nur einen Ordner statt der ganzen Website:
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
Lesen Sie bei nutzerausgelösten Abrufen die Seite jedes Anbieters, bevor Sie sich auf robots.txt verlassen.
Testen Sie jede Regel an echten URLs, bevor sie live geht. Wir haben am 20. November 2026 auf neova.app zwei Regeln gefunden, die mehr blockierten als beabsichtigt:
| Betroffene Regel | Folge | Reichweite |
|---|---|---|
| /cdn-cgi/ blockiert | E-Mail-Skript von Cloudflare blockiert | 1.320 Seiten |
| Disallow: / über Favicons | Einfacher Buchstabe statt Logo bei Google | Jedes Suchergebnis |
Beides wurde behoben, indem die Pfade erlaubt wurden. Ein Disallow, das für einen Bot oder einen Ordner geschrieben wurde, erfasst jede Datei darunter, Skripte und Icons eingeschlossen.
Mehr als robots.txt: Firewalls, CDNs und Verifizierung
robots.txt ist eine Bitte, kein Schloss. Die oben genannten KI-Unternehmen dokumentieren, wie ihre Crawler damit umgehen, andere Bots ignorieren sie aber womöglich.
- Prüfen Sie auch die Firewall. Manche CDNs und WAFs haben Einstellungen, die KI-Crawler blockieren, teils standardmäßig. Eine Website kann GPTBot in der robots.txt erlauben und ihm trotzdem mit 403 antworten. Testen Sie, was jeder Crawler tatsächlich erhält.
- Verifizieren Sie, bevor Sie vertrauen. OpenAI und Perplexity veröffentlichen IP-Listen für ihre Bots, Google und Microsoft ebenso. Eine Anfrage, die einen Bot nennt, aber von einer Adresse außerhalb der Liste seines Unternehmens kommt, stammt nicht von diesem Bot.
- Blockieren Sie unerwünschte Akteure am Edge. Gegen Scraper, die robots.txt ignorieren, helfen nur Regeln in Ihrem CDN oder auf dem Server.
Wie oft das in der Praxis schiefgeht: SEO ProCheck hat auf 400 Websites getestet, was KI-Crawler tatsächlich erhalten, in Can AI Crawlers Actually Read Your Site? 400 Sites Measured.
Machen Sie Ihre Seiten für KI-Crawler lesbar
Einen Crawler zu erlauben ist die halbe Arbeit beim SEO für KI-Crawler. Die andere Hälfte ist sicherzustellen, dass er lesen kann, was er abruft.
- Setzen Sie den Hauptinhalt ins HTML. Nicht jeder Crawler führt JavaScript aus. Wenn Ihr Text erst nach dem Ausführen von Skripten erscheint, gehen Sie davon aus, dass manche KI-Crawler ihn nie sehen.
- Kommen Sie früh zur Sache. Lange Menüs und Textbausteine vor dem Haupttext schieben die Antwort weiter nach unten.
- Verstecken Sie wichtige Fakten nicht in Bildern, PDFs oder Widgets. Preise, technische Daten und Kontaktdaten gehören als einfacher Text ins HTML.
- Liefern Sie echte Statuscodes. Eine defekte oder weitergeleitete Seite, die KI-Antworten zitieren, schickt deren Leser auf einen Fehler.
- Halten Sie das HTML schlank. Der Googlebot liest die ersten 2 MB einer HTML-Datei; Neova meldet größere Seiten unter HTML ist größer als 2 MB oder Core Web Vitals verfehlen den guten Bereich.
- llms.txt ist optional. Es ist ein vorgeschlagenes Format, kein Webstandard. Wenn Sie eine veröffentlichen, halten Sie sie gültig und aktuell.
So prüfen Sie, was KI-Crawler sehen
Neova zeigt, was jeder KI-Crawler darf und was er tatsächlich ausgeliefert bekommt, in der Desktop-App und in Neova Online:
- Was jeder KI-Assistent ausgeliefert bekommt ruft Stichprobenseiten als 10 KI-Agenten ab, darunter ChatGPT, Claude und Perplexity mit ihren Crawlern, Meta AI, Google-Extended und Common Crawl, und zeigt, wer vollen Zugriff erhält und was robots.txt erlaubt.
- Als KI-Crawler crawlen. Führen Sie einen ganzen Crawl als GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot oder mit einem anderen KI-User-Agent aus.
- Der robots.txt-Tester zeigt, was Googlebot, Bingbot und die KI-Crawler abrufen dürfen, mit den URLs, die für jeden gesperrt sind, und sagt, wann die eigene Gruppe eines Crawlers die Regeln der
*-Gruppe außer Kraft setzt. - Die Ansicht Rendering zeigt, wie viele Seiten JavaScript brauchen und was jeder KI-Crawler ausgeliefert bekommt.
- Server-Log in der Desktop-App zeigt verifizierte Besuche und Abweisungen von KI-Crawlern pro URL.
- KI-Zitate aus den Bing Webmaster Tools und aus AI Visibility von Microsoft Clarity, wenn Sie diese verbinden. Siehe Microsoft Clarity.
Checks für den Einstieg: eine Anfrage mit dem User Agent eines KI-Such-Crawlers wird blockiert, eine KI-Crawler-Regel in der robots.txt weicht von der schriftlichen Richtlinie ab, ein nutzerausgelöster KI-Abruf wird blockiert, eine wichtige Seite schränkt Snippets ein oder blockiert KI-Such-Crawler und KI-Bots fordern URLs an, die mit einem Fehler antworten. Der Free-Tarif enthält die Ansichten zur KI-Suche; siehe Preise oder Neova herunterladen.
Checkliste für SEO mit KI-Crawlern
| Punkt | Erledigt, wenn |
|---|---|
| Schriftliche Richtlinie | Jeder KI-Bot: erlauben oder blockieren |
| robots.txt | Entspricht der Richtlinie |
| Benannte Gruppen | Gemeinsame Regeln wiederholt |
| KI-Such-Crawler | Auf zitierfähigen Seiten erlaubt |
| Firewall und CDN | Wie in der Richtlinie |
| Was jeder Crawler erhält | 200 und die vollständige Seite |
| Hauptinhalt | Im HTML, früh |
| Wichtige Fakten | Im Text, nicht in Bildern |
| Logs | Verifizierte Besuche, Fälschungen getrennt gezählt |
| Zitierte Seiten | Antworten mit 200 |
Fragen
Was ist GPTBot?
GPTBot ist der Crawler von OpenAI, der Inhalte sammelt, die zum Training seiner Modelle genutzt werden können. Er ist getrennt von OAI-SearchBot, der Seiten für die ChatGPT-Suche findet. Siehe die Crawler-Seite von OpenAI.
Entfernt das Blockieren von GPTBot meine Website aus der ChatGPT-Suche?
Nein. OpenAI nutzt getrennte Bots, und jeder liest seine eigenen robots.txt-Regeln. Die ChatGPT-Suche stützt sich auf OAI-SearchBot, Sie können also GPTBot blockieren und OAI-SearchBot trotzdem erlauben.
Beeinflusst Google-Extended meine Google-Rankings?
Laut Google beeinflusst es weder die Aufnahme in die Google Suche, noch ist es ein Rankingsignal. Es steuert, ob Ihre Inhalte für Gemini-Modelle genutzt werden dürfen.
Wie blockiere ich LLM-Crawler?
Fügen Sie der robots.txt eine Gruppe hinzu, die jeden Crawler nennt, etwa GPTBot, ClaudeBot und CCBot, mit Disallow: /. Für Bots, die robots.txt ignorieren, legen Sie eine Regel in Ihrer Firewall oder Ihrem CDN an.
Woran erkenne ich, ob KI-Crawler meine Website besuchen?
Lesen Sie Ihre Server- oder CDN-Logs und prüfen Sie jede Anfrage gegen die IP-Liste, die das jeweilige Unternehmen veröffentlicht. Das Tool Server-Log von Neova macht das pro URL. Die Log-Formate finden Sie unter Importieren statt verbinden.