AI-crawlers: wat GPTBot, ClaudeBot en PerplexityBot doen en hoe je ze beheert
AI-crawlers halen je pagina's op om taalmodellen te trainen, om indexen voor AI-zoekmachines te bouwen of om ter plekke de vraag van één persoon te beantwoorden. Elk soort heeft een eigen naam in robots.txt, dus je kunt sommige toelaten en andere blokkeren. Dit is wie ze zijn, wat elk ervan doet en hoe je controleert wat ze werkelijk krijgen.
Wat zijn AI-crawlers?
AI-crawlers, ook LLM-crawlers genoemd, zijn bots van AI-bedrijven. Ze zijn niet allemaal hetzelfde, en wie ze als één groep behandelt, schrijft slechte robots.txt-regels. Er zijn drie soorten:
- Trainingscrawlers verzamelen pagina's die gebruikt kunnen worden om toekomstige modellen te trainen. GPTBot en ClaudeBot zijn de bekendste.
- Zoekcrawlers bouwen de index die een AI-assistent doorzoekt als hij antwoordt met bronnen en links. OAI-SearchBot, Claude-SearchBot en PerplexityBot horen bij deze groep.
- Door gebruikers gestarte fetchers laden een pagina omdat iemand de assistent ernaar vroeg, bijvoorbeeld door een URL te plakken. ChatGPT-User, Claude-User en Perplexity-User werken zo.
Een trainingscrawler blokkeren houdt je pagina's buiten toekomstige trainingssets. Een zoekcrawler blokkeren kan je buiten AI-antwoorden met bronvermelding houden, en dat is vaak het tegenovergestelde van wat een bedrijf wil.
De belangrijkste AI-crawlers en hun robots.txt-tokens
Elke leverancier documenteert zijn eigen bots. Dit zijn de namen voor robots.txt, met een link naar de eigen pagina van de leverancier:
| Token | Bedrijf | Soort | Eigen bot |
|---|---|---|---|
| GPTBot | OpenAI | Training | ✓ |
| OAI-SearchBot | OpenAI | AI-zoeken | ✓ |
| ChatGPT-User | OpenAI | Verzoek van gebruiker | ✓ |
| ClaudeBot | Anthropic | Training | ✓ |
| Claude-SearchBot | Anthropic | AI-zoeken | ✓ |
| Claude-User | Anthropic | Verzoek van gebruiker | ✓ |
| PerplexityBot | Perplexity | AI-zoeken | ✓ |
| Perplexity-User | Perplexity | Verzoek van gebruiker | ✓ |
| Google-Extended | Gebruik van content door Gemini | – | |
| Applebot-Extended | Apple | Modeltraining van Apple | – |
| CCBot | Common Crawl | Open webarchief | ✓ |
Google-Extended en Applebot-Extended zijn tokens, geen aparte bots: ze bepalen hoe content die Googlebot of Applebot al crawlt, gebruikt mag worden. Google zegt dat Google-Extended geen invloed heeft op opname in Google Search of op rankings. Om te beperken hoe je content verschijnt in de eigen AI-functies in Search van Google, verwijst Google naar snippetinstellingen zoals nosnippet. Voor een langere lijst met elke bot en het doel ervan, zie de kaart van AI-crawlers op SEO ProCheck.
Moet je LLM-crawlers blokkeren?
Er is niet één juist antwoord. Het hangt af van waar je content voor dient. In robots.txt-termen dekken drie beleidskeuzes de meeste sites:
| Beleid | Training | AI-zoeken | Verzoek van gebruiker |
|---|---|---|---|
| Open voor iedereen | ✓ | ✓ | ✓ |
| Geciteerd, niet getraind | – | ✓ | ✓ |
| Gesloten voor AI | – | – | ◐ |
- Laat zoekcrawlers toe als je geciteerd en gelinkt wilt worden in ChatGPT Search, Claude en Perplexity. Voor de meeste bedrijven is dat zichtbaarheid die je wilt.
- Overweeg trainingscrawlers te blokkeren als je content je product is: nieuws, onderzoek, cursussen, betaalde data. Blokkeren stopt toekomstige verzameling; het verwijdert niet wat al verzameld is.
- Denk twee keer na voordat je door gebruikers gestarte fetchers blokkeert. Ze handelen voor iemand die naar je pagina vroeg, en sommige leveranciers zeggen dat ze robots.txt misschien niet volgen zoals crawlers dat doen, vandaar het deels hierboven.
Leg de beslissing vast: welke bots zijn toegestaan, welke zijn geblokkeerd, en waarom. Laat robots.txt daar dan mee overeenkomen. Een vastgelegd beleid voorkomt dat een toekomstige developer tijdens een redesign alles blokkeert.
robots.txt voor AI-bots: voorbeelden
Dit is een gangbare opzet: AI-zoeken toestaan, training blokkeren.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
Meerdere User-agent-regels kunnen één groep regels delen. Let goed op één valkuil. Volgens de robots.txt-standaard, RFC 9309, volgt een crawler alleen de meest specifieke groep die hem noemt. Voeg je een groep voor GPTBot toe, dan negeert GPTBot de *-groep volledig, inclusief je Disallow: /search/. Daarom herhaalt de zoekgroep hierboven de twee gedeelde regels. Alles wat een benoemde groep niet blokkeert, is toegestaan.
Om één map te blokkeren voor training in plaats van de hele site:
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
Lees voor door gebruikers gestarte fetchers de pagina van elke leverancier voordat je op robots.txt vertrouwt.
Test elke regel op echte URL's voordat hij live gaat. Op 20 november 2026 vonden we op neova.app twee regels die meer blokkeerden dan bedoeld:
| Getroffen regel | Gevolg | Bereik |
|---|---|---|
| /cdn-cgi/ geblokkeerd | E-mailscript van Cloudflare geblokkeerd | 1.320 pagina's |
| Disallow: / over favicons | Losse letter in plaats van logo in Google | Elk zoekresultaat |
Beide zijn opgelost door de paden toe te staan. Een Disallow die voor één bot of één map is geschreven, raakt elk bestand daaronder, scripts en iconen inbegrepen.
Voorbij robots.txt: firewalls, CDN's en verificatie
robots.txt is een verzoek, geen slot. De AI-bedrijven hierboven documenteren hoe hun crawlers ermee omgaan, maar andere bots kunnen het negeren.
- Controleer ook de firewall. Sommige CDN's en WAF's hebben instellingen die AI-crawlers blokkeren, soms standaard. Een site kan GPTBot in robots.txt toestaan en hem toch met een 403 beantwoorden. Test wat elke crawler werkelijk ontvangt.
- Verifieer voordat je vertrouwt. OpenAI en Perplexity publiceren IP-lijsten voor hun bots, en Google en Microsoft voor die van hen. Een verzoek dat een bot noemt maar van een adres buiten de lijst van dat bedrijf komt, is niet die bot.
- Blokkeer kwaadwillenden aan de rand. Voor scrapers die robots.txt negeren, werken alleen regels in je CDN of server.
Hoe vaak dit in de praktijk misgaat: SEO ProCheck testte op 400 sites wat AI-crawlers werkelijk ontvangen, in Can AI Crawlers Actually Read Your Site? 400 Sites Measured.
Maak je pagina's leesbaar voor AI-crawlers
Een crawler toelaten is de helft van SEO voor AI-crawlers. De andere helft is zorgen dat hij kan lezen wat hij ophaalt.
- Zet de hoofdcontent in de HTML. Niet elke crawler voert JavaScript uit. Verschijnt je tekst pas nadat scripts draaien, ga er dan van uit dat sommige AI-crawlers hem nooit zien.
- Kom snel ter zake. Lange menu's en standaardtekst vóór de hoofdtekst duwen het antwoord verder naar beneden op de pagina.
- Verstop belangrijke feiten niet in afbeeldingen, pdf's of widgets. Prijzen, specificaties en contactgegevens horen in gewone HTML-tekst.
- Geef echte statuscodes terug. Een kapotte of geredirecte pagina die AI-antwoorden citeren, stuurt hun lezers naar een fout.
- Houd de HTML licht. Googlebot leest de eerste 2 MB van een HTML-bestand; Neova markeert pagina's die daarboven zitten in HTML is groter dan 2 MB of Core Web Vitals halen het goede bereik niet.
- llms.txt is optioneel. Het is een voorgesteld formaat, geen webstandaard. Publiceer je er een, houd hem dan geldig en actueel.
Zo controleer je wat AI-crawlers zien
Neova laat zien wat elke AI-crawler mag en wat hij werkelijk geserveerd krijgt, in de desktopapp en in Neova Online:
- Wat elke AI-assistent krijgt vraagt steekproefpagina's op als 10 AI-agents, waaronder ChatGPT, Claude en Perplexity en hun crawlers, Meta AI, Google-Extended en Common Crawl, en toont wie volledige toegang krijgt en wat robots.txt toestaat.
- Crawl als AI-crawler. Voer een hele crawl uit als GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot of een andere AI-user agent.
- De robots.txt-tester toont wat Googlebot, Bingbot en de AI-crawlers mogen ophalen, met de URL's waarvoor elk geblokkeerd is, en meldt wanneer de eigen groep van een crawler de regels van de
*-groep laat vallen. - Het scherm Rendering toont hoeveel pagina's JavaScript nodig hebben en wat elke AI-crawler geserveerd krijgt.
- Server Log, in de desktopapp, toont geverifieerde bezoeken en weigeringen van AI-crawlers per URL.
- AI-citaties uit Bing Webmaster Tools en uit AI Visibility van Microsoft Clarity, als je die koppelt. Zie Microsoft Clarity.
Checks om mee te beginnen: een verzoek met de user agent van een AI-zoekcrawler wordt geblokkeerd, een regel voor een AI-crawler in robots.txt wijkt af van het vastgelegde beleid, een door een gebruiker gestarte AI-fetcher wordt geblokkeerd, een belangrijke pagina beperkt snippets of blokkeert AI-zoekcrawlers en AI-bots vragen URL's op die een fout geven. Het Free-abonnement bevat de overzichten voor AI-zoekmachines; zie Prijzen of download Neova.
Checklist voor SEO en AI-crawlers
| Onderdeel | Klaar als |
|---|---|
| Vastgelegd beleid | Elke AI-bot: toestaan of blokkeren |
| robots.txt | Klopt met het beleid |
| Benoemde groepen | Gedeelde regels herhaald |
| AI-zoekcrawlers | Toegestaan op pagina's om te citeren |
| Firewall en CDN | Gelijk aan het beleid |
| Wat elke crawler krijgt | 200 en de volledige pagina |
| Hoofdcontent | In de HTML, vroeg |
| Belangrijke feiten | In tekst, niet in afbeeldingen |
| Logs | Geverifieerde bezoeken, nepbots apart geteld |
| Geciteerde pagina's | Antwoorden 200 |
Vragen
Wat is GPTBot?
GPTBot is de crawler van OpenAI die content verzamelt die gebruikt kan worden om de modellen te trainen. Hij staat los van OAI-SearchBot, die pagina's vindt voor ChatGPT Search. Zie de pagina van OpenAI over crawlers.
Verdwijnt mijn site uit ChatGPT Search als ik GPTBot blokkeer?
Nee. OpenAI gebruikt aparte bots, en elk leest zijn eigen robots.txt-regels. ChatGPT Search steunt op OAI-SearchBot, dus je kunt GPTBot blokkeren en OAI-SearchBot toch toestaan.
Heeft Google-Extended invloed op mijn rankings in Google?
Volgens Google heeft het geen invloed op opname in Google Search en is het geen rankingsignaal. Het bepaalt of je content gebruikt mag worden voor Gemini-modellen.
Hoe blokkeer ik LLM-crawlers?
Voeg in robots.txt een groep toe die elke crawler noemt, zoals GPTBot, ClaudeBot en CCBot, met Disallow: /. Voor bots die robots.txt negeren, voeg je een regel toe in je firewall of CDN.
Hoe weet ik of AI-crawlers mijn site bezoeken?
Lees je server- of CDN-logs en verifieer elk verzoek tegen de IP-lijst die het bedrijf publiceert. De tool Server Log van Neova doet dat per URL. Zie Importeren in plaats van koppelen voor de logformaten.