Technische SEO-crawler: wat hij doet en hoe je er een kiest
Een technische SEO-crawler leest een site zoals een zoekmachine dat doet en vertelt je wat in de weg zit. Dit is wat hij moet controleren, de cijfers achter elke check, wat een volledige crawl van onze eigen site opleverde en hoe je een tool kiest.
Wat een technische SEO-crawler doet
Een technische SEO-crawler begint bij één URL, haalt die op, leest de links en volgt ze, dezelfde cyclus die Googlebot doorloopt. Voor elke URL legt hij de statuscode, de headers, de HTML, de canonical, de robots-directives en de inkomende en uitgaande links vast.
De crawl is het halve werk. De andere helft is pagina's met elkaar vergelijken en met de regels die zoekmachines publiceren. Eén kapotte link zie je makkelijk. Een canonical die op 3.000 productpagina's naar een redirect wijst, zie je niet zo snel, en daar verdient een crawler zijn geld.
De meeste crawlers lezen ook de XML-sitemaps en robots.txt, zodat ze tonen welke pagina's volgens de site ertoe doen, welke hij blokkeert en waar die twee verhalen elkaar tegenspreken.
Wat een tool voor een technische SEO-audit moet controleren
Elke serieuze crawler voor site-audits dekt dezelfde kerngebieden. Hier staan ze met de streefwaarde en de check van Neova die een afwijking meldt.
| Gebied | Doel | Neova-check |
|---|---|---|
| Statuscodes | 0 interne links naar 4xx of 5xx | Interne URL geeft 4xx, 5xx of geen respons |
| Redirects | 1 stap, geen ketens | Interne URL zit in een redirectketen |
| Canonicals | Naar een URL wijzen die 200 antwoordt | Canonical wijst naar een URL met een redirect |
| Grootte van de XML-sitemap | 50.000 URL's, 50 MB per bestand | XML-sitemap heeft meer dan 50.000 vermeldingen |
| Dekking van de XML-sitemap | Elke indexeerbare pagina vermeld | Indexeerbare URL staat in geen enkele XML-sitemap |
| robots.txt | 500 KiB gelezen door Google | robots.txt is onbereikbaar of te groot |
| Crawldiepte | 3 klikken of minder | Indexeerbare URL heeft crawldiepte 4 of meer |
| Titles | 60 tekens (gangbare standaard) | Title langer dan 60 tekens |
| Meta descriptions | 155 tekens (gangbare standaard) | Meta description langer dan 155 tekens |
| hreflang | Retourlink op elk doel | Retourlink van hreflang ontbreekt |
De harde limieten komen uit de bronnen: 50.000 URL's en 50 MB per bestand uit het sitemaps.org-protocol, 500 KiB uit de robots.txt-specificatie van Google, retourlinks uit de hreflang-gids van Google. Lengtes van title en description zijn standaarden voor de weergave, geen regels: Google kort af op pixelbreedte, dus behandel ze als Bekijken, niet als Moet opgelost.
Wil je elk gebied uitgebreider doorlopen, bekijk dan de checklist voor een technische SEO-audit op SEO ProCheck.
Wat een volledige crawl van onze eigen site vond
We crawlden onze eigen site, seoprocheck.com, met Neova op 17 oktober 2026, een volledige crawl met de XML-sitemaps. Dit zijn de cijfers.
| Meting | seoprocheck.com, 17 okt. 2026 |
|---|---|
| Opgehaalde URL's | 10.222 |
| Tijd | 61 minuten |
| HTML-pagina's die 200 antwoorden | 4.561 |
| URL's in de XML-sitemaps | 1.835 |
| Bereikt via links, in geen enkele sitemap | 2.727 |
| In een sitemap, door geen enkele link bereikt | 1 |
| Volledigheid | 99.98% |
| Pagina-inhoud | 1,66 GB ruw, 340 MB opgeslagen |
| Melding | URL's |
|---|---|
| Meta description langer dan 155 tekens | 582 |
| Title langer dan 60 tekens | 557 |
| Dubbele title tussen HTML-pagina's | 56 |
| Canonical naar een andere interne URL | 5 |
| Afbeelding mist alt-tekst | 2 |
Twee lessen. Ten eerste vertelden de sitemaps het halve verhaal: 2.727 URL's waren via links bereikbaar maar nergens vermeld, en dat kan alleen een crawl tonen die links volgt en de sitemaps leest. Ten tweede waren de grootste aantallen lengtemeldingen, en dat zijn afwegingen. De 5 canonicals en 2 ontbrekende alt-teksten zijn er minder, maar sneller af te handelen. Sorteer op wat een melding raakt, niet op hoe groot het getal is.
Zo draai je een technische SEO-crawl
- Kies de start-URL. Gebruik de versie van de homepage die 200 antwoordt. Antwoordt http of de andere host ook 200, dan is dat je eerste bevinding.
- Bepaal de scope. De hele site, een paar mappen of een steekproef per template. Op een grote site vindt een steekproef per template het patroon sneller.
- Zet XML-sitemaps aan. Crawl je ze na de links, dan zie je pagina's die de sitemaps opsommen maar die geen link bereikt.
- Beslis over JavaScript-rendering. Render op een site met een framework een steekproef en vergelijk die met de ruwe HTML.
- Stel een beleefde snelheid in. Een paar URL's per seconde is ruim genoeg. Ga alleen sneller op een site die van jou is.
- Volg de eerste minuten. Stijgt het aantal URL's veel sneller dan verwacht, dan heb je een crawlval gevonden: een kalender, een facetfilter of een sessie-ID. Sluit die uit en ga door.
- Lees eerst de samenvatting. Begin bij de problemen die de meeste indexeerbare pagina's raken.
Begin je net? Je eerste crawl leidt je er in Neova doorheen.
De resultaten lezen zonder te verdrinken
Een volledige audit van een middelgrote site kan duizenden meldingen opleveren. De meeste komen uit een paar oorzaken, meestal een template.
- Groepeer per template. Heeft 90% van de productpagina's dezelfde melding, dan is het één oplossing, geen 4.000 tickets.
- Weeg af op verkeer. Een kapotte pagina met zoekklikken telt zwaarder dan een die niemand bezoekt. Koppel data uit Google Search Console aan de crawl.
- Scheid Moet opgelost van Bekijken. Een 5xx op een belangrijke pagina moet opgelost worden. Een title die een paar tekens boven de limiet zit, is een afweging.
- Controleer de bron. Vraagt een developer waarom een regel bestaat, antwoord dan met een document van Google of het W3C. Het naslagwerk voor HTTP-statuscodes op SEO ProCheck behandelt wat elke statuscode betekent.
- Crawl opnieuw na de oplossing. Twee crawls vergelijken is het enige bewijs dat de oplossing live staat en niets anders kapotmaakte.

Zo kies je de beste SEO-crawler voor jou
Er bestaat niet één beste SEO-crawler. Een freelancer die kleine sites audit, heeft iets anders nodig dan een inhouseteam met een miljoen URL's. Deze vragen helpen je kiezen.
| Vraag | Waar je op let | Neova |
|---|---|---|
| Waar draait hij? | Je eigen computers, of een browser | |
| Hoe groot kan een crawl worden? | URL-limiet, opgeslagen op schijf | Tot 5 miljoen URL's |
| Rendert het JavaScript? | Ruw tegenover gerenderd, naast elkaar | ✓ |
| Worden checks uitgelegd? | Regel, betekenis, oplossing, bron | 694 checks |
| Vergelijkt hij crawls? | Nieuwe, opgeloste, gewijzigde URL's | ✓ |
| Wat komt erna? | Exports, tickets, alerts | ✓ |
| Kun je hem gratis proberen? | Een abonnement of een proefperiode | 1.000 URL's, elke check |
Het getal van 5 miljoen geldt voor het Desktop-abonnement en hangt af van je computer. Onze vergelijkingspagina zet Neova regel voor regel naast Screaming Frog, Sitebulb en andere, op basis van hun eigen documentatie.
Zo crawlt Neova voor technische SEO
Neova is een desktop SEO-crawler voor Mac (Apple silicon), Windows en Linux, met Neova Online in de browser op hetzelfde account. Hij crawlt vanaf een start-URL, de links en de XML-sitemaps, en voert dan 694 checks uit. Elke check zegt wanneer hij meldt, wat het meestal betekent en wat je zou kunnen doen, en linkt naar zijn bron.
- Scope: een volledige crawl, mappen, een steekproef per paginagroep of een lijst met URL's.
- Standaard beleefd: 3 URL's per seconde, en hij vertraagt uit zichzelf als de server 429 of 503 antwoordt.
- Elke URL verantwoord: elke gevonden URL komt in één categorie terecht, en Ontdekking biedt aan een crawlval uit te sluiten zonder te stoppen.
- Rendering: optionele JavaScript-rendering in Chrome, vergeleken met de ruwe HTML.
- Na de crawl: meldingen Moet opgelost en Bekijken, tickets per check en paginagroep, een Actieplan, Crawls vergelijken, en exports van CSV tot een pdf in huisstijl.
De pagina met functies heeft de volledige lijst, en Vergelijken zet hem naast andere crawlers.
Een korte checklist voor een technische SEO-crawl
- Eén versie van de homepage antwoordt 200; de andere redirecten ernaar.
- Geen interne links naar URL's met 4xx of 5xx.
- Geen redirectketens of lussen tussen interne URL's.
- Canonicals wijzen naar indexeerbare URL's die 200 antwoorden.
- Elke indexeerbare pagina staat in een XML-sitemap, en verder niets.
- Geen belangrijke pagina dieper dan 3 klikken van de homepage.
- Geen pagina antwoordt 200 met een melding niet gevonden. Zie Title of H1 bevat een soft 404-zin.
- Titles, links en hoofdtekst staan in de ruwe HTML.
- robots.txt blokkeert alleen wat het moet blokkeren.
Houd de gids van Google over canonieke URL's open terwijl je werkt, en de SEO-audit-FAQ op SEO ProCheck voor de vragen die klanten stellen.
Vragen
Wat is een technische SEO-crawler?
Een programma dat een site pagina voor pagina ophaalt, links volgt zoals een zoekmachine dat doet, en statuscodes, directives, canonicals en links vastlegt. Daarna controleert het die data tegen de regels van zoekmachines en meldt het wat crawlen en indexeren in de weg zit.
Wat is de beste SEO-crawler?
Die bij jouw sites past. Vergelijk waar hij draait, hoe groot een crawl kan worden, of hij JavaScript rendert, hoe duidelijk elke bevinding wordt uitgelegd en of hij crawls vergelijkt. Probeer hem op je eigen site voordat je beslist.
Is een crawler voor site-audits hetzelfde als Google Search Console?
Nee. Search Console toont wat Google zag en deed. Een crawler toont wat je site op dit moment serveert, op elke URL die hij kan bereiken. Ze werken het best samen, en daarom koppelen veel crawlers data uit Search Console aan de crawl.
Hoe lang duurt een technische SEO-crawl?
Dat hangt af van de omvang en de snelheid die je instelt. Onze eigen volledige crawl van seoprocheck.com haalde op 17 oktober 2026 10.222 URL's op in 61 minuten. Een steekproef per template duurt een paar minuten.
Hoe vaak moet ik een technische SEO-crawl draaien?
Na elke belangrijke release, en wekelijks voor sites die vaak veranderen. Vergelijk elke crawl met de vorige, zodat wijzigingen opvallen.
Kan ik Neova gratis proberen?
Ja. Het Free-abonnement crawlt tot 1.000 URL's per crawl met elke check, en het Desktop-abonnement heeft een proefperiode van 14 dagen zonder creditcard. Zie prijzen of download Neova.