AI SEO-crawler: waar AI een audit helpt en hoe je audit voor AI-zoekmachines
"AI SEO-crawler" betekent twee dingen: een crawler die AI gebruikt, en een crawler die controleert hoe je site eruitziet voor AI-zoekmachines. Een bruikbare crawler doet allebei, en houdt de bevindingen van een model gescheiden van die van regels.
Twee betekenissen van AI SEO-crawler
Wie zoekt naar een SEO-crawler met AI, wil een van twee dingen.
- Een crawler die AI in de audit gebruikt. Een taalmodel leest pagina's en beoordeelt wat regels niet kunnen: of een pagina de vraag in de kop beantwoordt, of een bewering ergens op steunt.
- Een crawler die audit voor AI-zoekmachines. Hij controleert wat GPTBot, ClaudeBot, PerplexityBot en andere AI-crawlers mogen ophalen, wat je server ze werkelijk geeft en of AI-antwoorden je pagina's citeren.
Het eerste gaat over hoe de audit wordt gedaan. Het tweede over wat hij dekt. Een tool kan goed zijn in het ene en zwak in het andere.
Waar AI helpt in een SEO-audit, en waar niet
Het grootste deel van een technische audit is tellen en vergelijken. Regels doen dat precies, elke keer op dezelfde manier. Een model voegt daar niets toe en kan een getal verkeerd hebben. AI verdient zijn plek bij vragen waarvoor je moet lezen.
| Taak | Regels | Model |
|---|---|---|
| Statuscodes en redirects | ✓ | – |
| Canonicals en hreflang | ✓ | – |
| Lengte van titel en description | ✓ | – |
| robots.txt per crawler | ✓ | – |
| Tekst beantwoordt de kop | – | ✓ |
| Beweringen zonder cijfers | – | ✓ |
| Zoekintentie en belangrijkste entiteiten | – | ✓ |
| Concepten voor meta descriptions | – | ✓ |
Twee dingen om te controleren in elke SEO-audittool met AI. Worden de bevindingen van het model gescheiden gehouden van die op basis van regels, zodat een gok nooit je aantal fouten opblaast? En waar gaat je paginatekst heen: naar een model in de cloud, of naar een model op je eigen computer?
De AI-crawlers en hun robots.txt-tokens
Elk AI-bedrijf heeft meer dan één agent, en elk volgt zijn eigen groep in robots.txt. De trainingscrawler blokkeren blokkeert de zoekcrawler niet.
| robots.txt-token | Bedrijf | Taak |
|---|---|---|
| GPTBot | OpenAI | Training |
| OAI-SearchBot | OpenAI | Zoeken |
| ChatGPT-User | OpenAI | Ophalen voor een gebruiker |
| ClaudeBot | Anthropic | Training |
| Claude-SearchBot | Anthropic | Zoeken |
| Claude-User | Anthropic | Ophalen voor een gebruiker |
| PerplexityBot | Perplexity | Zoeken |
| Perplexity-User | Perplexity | Ophalen voor een gebruiker |
| Google-Extended | Alleen token, geen crawler |
Bronnen: de pagina van OpenAI over crawlers, de pagina van Perplexity over bots en de lijst van Google met zijn crawlers, die zegt dat Google-Extended geen eigen user agent heeft: het is een robots.txt-token dat de bestaande crawlers van Google lezen. SEO ProCheck houdt een langere lijst bij in AI bot user agents explained.
Waar zichtbaarheid in AI-zoekmachines van afhangt
AI-assistenten vinden pagina's via hun eigen crawlers, door gebruikers gestarte fetchers en zoekindexen zoals die van Bing en Google. Bij elke stap kan je site struikelen.
| Stap | Wat er misgaat | Neova-check |
|---|---|---|
| robots.txt | Een brede regel blokkeert AI-crawlers | Regel voor AI-crawler in robots.txt wijkt af van het vastgelegde beleid |
| Firewall en CDN | 403 of een challengepagina | Verzoek met user agent van een AI-zoekcrawler wordt geblokkeerd |
| Rendering | Tekst vereist JavaScript | Meeste hoofdtekst staat alleen in de gerenderde HTML |
| Volgorde op de pagina | Tekst begint na 5.000 tekens | Hoofdcontent begint na de eerste 5.000 tekens van de bodytekst |
| Snippetinstellingen | nosnippet op belangrijke pagina's | Belangrijke HTML-pagina beperkt snippets of blokkeert AI-zoekcrawlers |
| Geciteerde URL's | Geciteerde pagina geeft 404 | AI-assistenten citeren een URL die 404 of 410 geeft |
Het robots.txt-soort vonden we op onze eigen site. Tijdens onze SEO-ronde op neova.app op 20 november 2026 blokkeerde robots.txt het e-mailscript van Cloudflare onder /cdn-cgi/ op 1.320 pagina's tot we het toestonden, en de faviconbestanden zaten achter Disallow: /, waardoor Google een losse letter toonde in plaats van ons logo. Brede regels blokkeren meer dan je bedoelde. SEO ProCheck mat de toegang van AI-crawlers op 400 sites als je wilt zien hoe vaak dit voorkomt.
Google legt in AI features and your website uit hoe zijn AI-functies je content gebruiken.
Zo controleer je wat AI-crawlers kunnen zien
- Lees robots.txt per crawler. Een crawler met een eigen groep negeert de regels van de *-groep.
- Vraag belangrijke pagina's op met elke AI-user agent. Vergelijk de statuscode en de grootte van het antwoord met wat een browser krijgt. Een 403 of een piepklein antwoord betekent dat iets vóór de site hem blokkeert.
- Vergelijk ruwe en gerenderde HTML. Verschijnen de hoofdtekst, links of titel pas na JavaScript, los dat dan op in de server-HTML.
- Controleer llms.txt als je er een publiceert. Het is optioneel; een kapot bestand is erger dan geen. Zie llms.txt is ongeldig of geeft een serverfout en SEO ProCheck over of AI llms.txt echt gebruikt.
- Lees de serverlog. Geverifieerde bezoeken van AI-crawlers per URL tonen wat ze ophalen, en de 403- en 429-antwoorden die ze krijgen. Verzoeken die alleen de naam van een crawler claimen, worden gemarkeerd door Niet-geverifieerde verzoeken van AI-crawlers kregen 2xx.
Zichtbaarheid in AI-zoekmachines meten
Toegang is het deel dat je zelf in de hand hebt. Geciteerd worden is het resultaat, en daarvoor heb je data van buiten nodig.
| Bron | Toont | In Neova |
|---|---|---|
| Bing Webmaster Tools | Citaties in AI-antwoorden van Bing | ✓ |
| Google Analytics 4 | Sessies vanuit AI-assistenten | ✓ |
| Microsoft Clarity | Geciteerde pagina's, verzoeken van AI-bots | ✓ |
| Prompts testen | Merk in ChatGPT, Perplexity | Je DataForSEO-account |
| AI Overviews | Getoond, en wel of niet geciteerd | Je DataForSEO-account |
| Serverlog | Geverifieerde bezoeken van AI-crawlers | ✓ |
Zie dit als trends, niet als exacte aantallen. Antwoorden verschillen van run tot run. De pagina over Clarity laat zien hoe die koppeling werkt.
Hoe Neova AI gebruikt, en audit voor AI-zoekmachines
Neova houdt de twee betekenissen gescheiden.
| Functie | Draait op | Paginatekst verlaat de computer |
|---|---|---|
| AI-beoordeling, 44 checks | Ollama, je eigen computer | – |
| Vragen stellen | Ollama, je eigen computer | – |
| AI-prompts | Ollama of je eigen sleutel | Alleen naar de aanbieder die je koos |
| MCP-server | Je eigen computer | – |
- Meldingen van AI-beoordeling tellen niet mee in de aantallen Moet opgelost en Bekijken.
- AI Prompts voert je eigen prompts per pagina uit met Ollama of je sleutel van Anthropic, OpenAI of Google Gemini.
- Ask haalt zijn antwoord uit wat het venster al toont, dus het verzint geen getal.
- De categorie AI-zoekmachines heeft 45 checks op wat AI-crawlers mogen ophalen, wat elke assistent krijgt, llms.txt en agentbestanden.
- Wat elke assistent krijgt: steekproefpagina's opgevraagd als 10 AI-agents, of een hele crawl als GPTBot, ClaudeBot, PerplexityBot en andere.
AI-beoordeling draait in de desktopapp vanaf het Desktop-abonnement; zie de prijzen.
Checklist voor een crawl gericht op AI-zoekmachines
- De robots.txt-regels voor elke AI-crawler kloppen met wat je bedrijf heeft besloten.
- Belangrijke pagina's antwoorden 200 aan user agents van AI-crawlers, geen 403 of challenge.
- Door gebruikers gestarte fetchers worden niet geblokkeerd door de firewall of het CDN.
- Hoofdtekst, titel en links staan in de server-HTML.
- Hoofdcontent begint binnen de eerste 5.000 tekens van de bodytekst.
- Geen onbedoelde nosnippet op pagina's die je geciteerd wilt zien.
- llms.txt is geldig, als je het publiceert.
- Pagina's die AI-antwoorden citeren, zijn niet kapot of geredirect.
Vragen
Wat is een AI SEO-crawler?
Een crawler die AI gebruikt om pagina's te beoordelen, of een die controleert hoe een site eruitziet voor AI-zoekmachines: wat AI-crawlers kunnen ophalen, wat ze krijgen en of AI-antwoorden de site citeren. Een goede doet allebei en geeft aan welke bevindingen van een model komen.
Renderen AI-crawlers JavaScript?
Van veel is dat niet bekend. Content die pas verschijnt nadat JavaScript draait, bereikt ze misschien nooit, dus houd hoofdtekst, titels en links in de server-HTML.
Moet ik GPTBot en andere AI-crawlers blokkeren?
Dat is een zakelijke beslissing, geen SEO-standaard. Trainingscrawlers en zoekcrawlers hebben verschillende tokens, dus je kunt de ene toestaan en de andere blokkeren. Wat je ook besluit, controleer of robots.txt en de firewall hetzelfde zeggen.
Verdwijn ik uit Google Search als ik Google-Extended blokkeer?
Nee. Google zegt dat Google-Extended een robots.txt-token is zonder eigen crawler, en dat het geen invloed heeft op opname in Google Search.
Is llms.txt verplicht?
Nee. Het is optioneel, en Neova markeert geen site die het niet heeft. Publiceer je er een, houd hem dan geldig en actueel.
Stuurt Neova mijn pagina's naar een AI-aanbieder?
Niet voor AI-beoordeling of Ask, die een model op je computer gebruiken via Ollama. AI Prompts kan je eigen sleutel van Anthropic, OpenAI of Gemini gebruiken, en Neova meldt wanneer paginatekst naar de aanbieder gaat die je koos.