NeovaGeavanceerd SEO-platform

AI SEO-crawler: waar AI een audit helpt en hoe je audit voor AI-zoekmachines

"AI SEO-crawler" betekent twee dingen: een crawler die AI gebruikt, en een crawler die controleert hoe je site eruitziet voor AI-zoekmachines. Een bruikbare crawler doet allebei, en houdt de bevindingen van een model gescheiden van die van regels.

Een crawler kiezenai seo crawlerBijgewerkt op 21 november 2026Door het Neova-team

Twee betekenissen van AI SEO-crawler

Wie zoekt naar een SEO-crawler met AI, wil een van twee dingen.

  • Een crawler die AI in de audit gebruikt. Een taalmodel leest pagina's en beoordeelt wat regels niet kunnen: of een pagina de vraag in de kop beantwoordt, of een bewering ergens op steunt.
  • Een crawler die audit voor AI-zoekmachines. Hij controleert wat GPTBot, ClaudeBot, PerplexityBot en andere AI-crawlers mogen ophalen, wat je server ze werkelijk geeft en of AI-antwoorden je pagina's citeren.

Het eerste gaat over hoe de audit wordt gedaan. Het tweede over wat hij dekt. Een tool kan goed zijn in het ene en zwak in het andere.

Waar AI helpt in een SEO-audit, en waar niet

Het grootste deel van een technische audit is tellen en vergelijken. Regels doen dat precies, elke keer op dezelfde manier. Een model voegt daar niets toe en kan een getal verkeerd hebben. AI verdient zijn plek bij vragen waarvoor je moet lezen.

TaakRegelsModel
Statuscodes en redirects✓–
Canonicals en hreflang✓–
Lengte van titel en description✓–
robots.txt per crawler✓–
Tekst beantwoordt de kop–✓
Beweringen zonder cijfers–✓
Zoekintentie en belangrijkste entiteiten–✓
Concepten voor meta descriptions–✓

Twee dingen om te controleren in elke SEO-audittool met AI. Worden de bevindingen van het model gescheiden gehouden van die op basis van regels, zodat een gok nooit je aantal fouten opblaast? En waar gaat je paginatekst heen: naar een model in de cloud, of naar een model op je eigen computer?

De AI-crawlers en hun robots.txt-tokens

Elk AI-bedrijf heeft meer dan één agent, en elk volgt zijn eigen groep in robots.txt. De trainingscrawler blokkeren blokkeert de zoekcrawler niet.

robots.txt-tokenBedrijfTaak
GPTBotOpenAITraining
OAI-SearchBotOpenAIZoeken
ChatGPT-UserOpenAIOphalen voor een gebruiker
ClaudeBotAnthropicTraining
Claude-SearchBotAnthropicZoeken
Claude-UserAnthropicOphalen voor een gebruiker
PerplexityBotPerplexityZoeken
Perplexity-UserPerplexityOphalen voor een gebruiker
Google-ExtendedGoogleAlleen token, geen crawler

Bronnen: de pagina van OpenAI over crawlers, de pagina van Perplexity over bots en de lijst van Google met zijn crawlers, die zegt dat Google-Extended geen eigen user agent heeft: het is een robots.txt-token dat de bestaande crawlers van Google lezen. SEO ProCheck houdt een langere lijst bij in AI bot user agents explained.

Waar zichtbaarheid in AI-zoekmachines van afhangt

AI-assistenten vinden pagina's via hun eigen crawlers, door gebruikers gestarte fetchers en zoekindexen zoals die van Bing en Google. Bij elke stap kan je site struikelen.

StapWat er misgaatNeova-check
robots.txtEen brede regel blokkeert AI-crawlersRegel voor AI-crawler in robots.txt wijkt af van het vastgelegde beleid
Firewall en CDN403 of een challengepaginaVerzoek met user agent van een AI-zoekcrawler wordt geblokkeerd
RenderingTekst vereist JavaScriptMeeste hoofdtekst staat alleen in de gerenderde HTML
Volgorde op de paginaTekst begint na 5.000 tekensHoofdcontent begint na de eerste 5.000 tekens van de bodytekst
Snippetinstellingennosnippet op belangrijke pagina'sBelangrijke HTML-pagina beperkt snippets of blokkeert AI-zoekcrawlers
Geciteerde URL'sGeciteerde pagina geeft 404AI-assistenten citeren een URL die 404 of 410 geeft

Het robots.txt-soort vonden we op onze eigen site. Tijdens onze SEO-ronde op neova.app op 20 november 2026 blokkeerde robots.txt het e-mailscript van Cloudflare onder /cdn-cgi/ op 1.320 pagina's tot we het toestonden, en de faviconbestanden zaten achter Disallow: /, waardoor Google een losse letter toonde in plaats van ons logo. Brede regels blokkeren meer dan je bedoelde. SEO ProCheck mat de toegang van AI-crawlers op 400 sites als je wilt zien hoe vaak dit voorkomt.

Google legt in AI features and your website uit hoe zijn AI-functies je content gebruiken.

Zo controleer je wat AI-crawlers kunnen zien

  1. Lees robots.txt per crawler. Een crawler met een eigen groep negeert de regels van de *-groep.
  2. Vraag belangrijke pagina's op met elke AI-user agent. Vergelijk de statuscode en de grootte van het antwoord met wat een browser krijgt. Een 403 of een piepklein antwoord betekent dat iets vóór de site hem blokkeert.
  3. Vergelijk ruwe en gerenderde HTML. Verschijnen de hoofdtekst, links of titel pas na JavaScript, los dat dan op in de server-HTML.
  4. Controleer llms.txt als je er een publiceert. Het is optioneel; een kapot bestand is erger dan geen. Zie llms.txt is ongeldig of geeft een serverfout en SEO ProCheck over of AI llms.txt echt gebruikt.
  5. Lees de serverlog. Geverifieerde bezoeken van AI-crawlers per URL tonen wat ze ophalen, en de 403- en 429-antwoorden die ze krijgen. Verzoeken die alleen de naam van een crawler claimen, worden gemarkeerd door Niet-geverifieerde verzoeken van AI-crawlers kregen 2xx.

Zichtbaarheid in AI-zoekmachines meten

Toegang is het deel dat je zelf in de hand hebt. Geciteerd worden is het resultaat, en daarvoor heb je data van buiten nodig.

BronToontIn Neova
Bing Webmaster ToolsCitaties in AI-antwoorden van Bing✓
Google Analytics 4Sessies vanuit AI-assistenten✓
Microsoft ClarityGeciteerde pagina's, verzoeken van AI-bots✓
Prompts testenMerk in ChatGPT, PerplexityJe DataForSEO-account
AI OverviewsGetoond, en wel of niet geciteerdJe DataForSEO-account
ServerlogGeverifieerde bezoeken van AI-crawlers✓

Zie dit als trends, niet als exacte aantallen. Antwoorden verschillen van run tot run. De pagina over Clarity laat zien hoe die koppeling werkt.

Neova houdt de twee betekenissen gescheiden.

FunctieDraait opPaginatekst verlaat de computer
AI-beoordeling, 44 checksOllama, je eigen computer–
Vragen stellenOllama, je eigen computer–
AI-promptsOllama of je eigen sleutelAlleen naar de aanbieder die je koos
MCP-serverJe eigen computer–
  • Meldingen van AI-beoordeling tellen niet mee in de aantallen Moet opgelost en Bekijken.
  • AI Prompts voert je eigen prompts per pagina uit met Ollama of je sleutel van Anthropic, OpenAI of Google Gemini.
  • Ask haalt zijn antwoord uit wat het venster al toont, dus het verzint geen getal.
  • De categorie AI-zoekmachines heeft 45 checks op wat AI-crawlers mogen ophalen, wat elke assistent krijgt, llms.txt en agentbestanden.
  • Wat elke assistent krijgt: steekproefpagina's opgevraagd als 10 AI-agents, of een hele crawl als GPTBot, ClaudeBot, PerplexityBot en andere.

AI-beoordeling draait in de desktopapp vanaf het Desktop-abonnement; zie de prijzen.

Checklist voor een crawl gericht op AI-zoekmachines

  • De robots.txt-regels voor elke AI-crawler kloppen met wat je bedrijf heeft besloten.
  • Belangrijke pagina's antwoorden 200 aan user agents van AI-crawlers, geen 403 of challenge.
  • Door gebruikers gestarte fetchers worden niet geblokkeerd door de firewall of het CDN.
  • Hoofdtekst, titel en links staan in de server-HTML.
  • Hoofdcontent begint binnen de eerste 5.000 tekens van de bodytekst.
  • Geen onbedoelde nosnippet op pagina's die je geciteerd wilt zien.
  • llms.txt is geldig, als je het publiceert.
  • Pagina's die AI-antwoorden citeren, zijn niet kapot of geredirect.

Vragen

Wat is een AI SEO-crawler?

Een crawler die AI gebruikt om pagina's te beoordelen, of een die controleert hoe een site eruitziet voor AI-zoekmachines: wat AI-crawlers kunnen ophalen, wat ze krijgen en of AI-antwoorden de site citeren. Een goede doet allebei en geeft aan welke bevindingen van een model komen.

Renderen AI-crawlers JavaScript?

Van veel is dat niet bekend. Content die pas verschijnt nadat JavaScript draait, bereikt ze misschien nooit, dus houd hoofdtekst, titels en links in de server-HTML.

Moet ik GPTBot en andere AI-crawlers blokkeren?

Dat is een zakelijke beslissing, geen SEO-standaard. Trainingscrawlers en zoekcrawlers hebben verschillende tokens, dus je kunt de ene toestaan en de andere blokkeren. Wat je ook besluit, controleer of robots.txt en de firewall hetzelfde zeggen.

Verdwijn ik uit Google Search als ik Google-Extended blokkeer?

Nee. Google zegt dat Google-Extended een robots.txt-token is zonder eigen crawler, en dat het geen invloed heeft op opname in Google Search.

Is llms.txt verplicht?

Nee. Het is optioneel, en Neova markeert geen site die het niet heeft. Publiceer je er een, houd hem dan geldig en actueel.

Stuurt Neova mijn pagina's naar een AI-aanbieder?

Niet voor AI-beoordeling of Ask, die een model op je computer gebruiken via Ollama. AI Prompts kan je eigen sleutel van Anthropic, OpenAI of Gemini gebruiken, en Neova meldt wanneer paginatekst naar de aanbieder gaat die je koos.

Neem dit mee

De links naar de assistenten openen met een vraag over deze pagina die al klaarstaat.

Crawl je site met NeovaHet Free-abonnement voert elke check uit op Mac, Windows en Linux. Geen creditcard nodig.

Lees verder