Een website crawlen voor SEO, stap voor stap
Een website crawlen betekent zijn pagina's ophalen zoals een zoekmachine dat doet, door van pagina naar pagina links te volgen. Zo crawl je een website goed: beleefd, volledig en zonder geblokkeerd te worden.
Wat een website crawlen betekent
Een websitecrawler voor SEO begint bij één URL, downloadt die, leest de links in de HTML en zet ze in een wachtrij. Dan pakt hij de volgende URL uit de wachtrij en doet hetzelfde, tot er niets nieuws meer opduikt of hij een limiet bereikt. Zoekmachines doen dit op de schaal van het web. Een SEO crawler doet het voor één site en legt vast wat elke URL antwoordde, zodat je hem kunt auditen.
Per URL legt een crawl meestal de statuscode vast, de response headers, de titel en meta description, de canonical, robots-richtlijnen, de inkomende en uitgaande links, en hoeveel klikken hij van de startpagina af ligt. Google beschrijft hoe zijn eigen crawlers en fetchers werken in zijn overzicht van Google-crawlers.
Vóór je crawlt: toestemming, robots.txt en bereik
Drie vragen om te beantwoorden voordat je op start drukt:
- Is het je eigen site, of heb je toestemming? Je eigen site of die van een klant crawlen is routine. Bij de site van iemand anders blijf je beleefd: respecteer robots.txt en houd de snelheid laag.
- Wat zegt robots.txt? Open /robots.txt en lees het. Het vertelt crawlers wat ze niet mogen ophalen en noemt meestal de XML-sitemaps. De regels volgen RFC 9309, en Google legt in zijn introductie tot robots.txt uit hoe het ze leest. Het volledige naslagwerk over robots.txt op SEO ProCheck gaat regel voor regel.
- Hoeveel heb je nodig? De hele site, één sectie, of een steekproef van elke template. Een steekproef beantwoordt de meeste vragen over templates in een paar minuten; voor kapotte links en weespagina's heb je een volledige crawl nodig.
Een website crawlen, stap voor stap
- Zoek de juiste start-URL. Vraag http en https op, met en zonder www. Eén moet met 200 antwoorden en de andere moeten ernaar redirecten. Begin daar.
- Kies een modus. Spidermodus volgt links vanaf de start-URL. Lijstmodus crawlt alleen de URL's die je opgeeft, handig om na een migratie een set oude URL's te controleren.
- Voeg de XML-sitemaps toe. De sitemap-URL's na de gelinkte pagina's crawlen toont welke pagina's de site wel noemt maar nergens naar linkt.
- Stel limieten in. Een URL-limiet, een dieptelimiet en regels voor queryparameters voorkomen dat filters met de crawl op de loop gaan. De SEO-gids over gefacetteerde navigatie op SEO ProCheck laat zien welke filter-URL's het crawlen waard zijn.
- Sluit uit wat je niet nodig hebt. Beheeromgevingen, URL's van winkelwagen en afrekenen, interne zoekresultaten. Gebruik include- en exclude-patronen, en test een URL ertegen voordat je begint.
- Kies een user agent. De eigen naam van je crawler is de eerlijke standaard. Crawlen als Googlebot toont wat Google geserveerd krijgt, maar sommige servers zien een nep-Googlebot als aanval.
- Start en kijk de eerste minuten mee. Loopt het aantal nieuwe URL's veel sneller op dan de omvang van de site, kijk dan waar ze vandaan komen. Kalenders en eindeloze filters zijn de gebruikelijke oorzaak.
- Laat de checks draaien. Begin als de crawl klaar is met de problemen die de meeste indexeerbare pagina's raken.

Een website crawlen op alle URL's
Links volgen vindt alleen de pagina's die links bereiken. Om een website op alle URL's te crawlen, combineer je meerdere bronnen:
| Bron | Gelinkte pagina's | Niet-gelinkte pagina's | Komt uit |
|---|---|---|---|
| Linkcrawl | ✓ | – | De start-URL |
| XML-sitemaps | ◐ | ✓ | robots.txt of /sitemap.xml |
| Seed-URL's | ◐ | ✓ | Je eigen lijst |
| Serverlogs | ◐ | ✓ | Server of CDN |
| Search Console | ◐ | ✓ | Je Google-property |
Op onze eigen site zagen we hoeveel dit uitmaakt. In de volledige crawl van seoprocheck.com door Neova op 17 oktober 2026:
| Meting | seoprocheck.com |
|---|---|
| Opgehaalde URL's | 10.222 |
| Tijd | 61 minuten |
| HTML-pagina's die 200 antwoorden | 4.561 |
| URL's in de XML-sitemaps | 1.835 |
| Bereikt via links, in geen enkele sitemap | 2.727 |
| In een sitemap, door geen enkele link bereikt | 1 |
| Volledigheid | 99.98% |
| Pagina-inhoud | 1,66 GB ruw, 340 MB opgeslagen |
Een audit van alleen de sitemap had 2.727 URL's gemist, en een crawl van alleen links had de ene weespagina gemist. Pagina's die alleen uit sitemaps, logs of Search Console komen, zijn weespagina's. Indexeerbare weespagina's met zoekverkeer hebben meestal interne links nodig. Checks die je hier wilt kennen: Weespagina geeft 200 en is indexeerbaar, Indexeerbare URL staat in geen enkele XML-sitemap en XML-sitemap kan niet worden opgehaald of geparst.
Een website crawlen zonder geblokkeerd te worden
De meeste blokkades komen door te snel crawlen of door te lijken op een bot die de server niet vertrouwt. Crawl zoals de eigenaar van de site het zou willen:
- Houd de snelheid laag. 2 of 3 URL's per seconde is genoeg voor de meeste audits. Alleen sneller op je eigen site.
- Zeg wie je bent. Een duidelijke user agent met een link naar een pagina over de crawler is makkelijker toe te laten dan een nagemaakte browserstring.
- Respecteer robots.txt. Het is de uitgesproken wens van de site, en het negeren op de site van iemand anders is de snelste manier om geblokkeerd te worden.
- Vraag of je erin mag. Op een klantsite achter een firewall of botbescherming vraag je het IT-team je crawler toe te laten, bijvoorbeeld via een geheime header die alleen jouw crawler meestuurt.
Lees daarna de antwoorden. Elke statuscode zegt iets anders:
| Answer | Betekent | Doen |
|---|---|---|
| 429 | Te veel verzoeken | Halveer de snelheid, respecteer Retry-After |
| 503 | Server bezet of plat | Vertraag, probeer later opnieuw |
| 403 | Geweigerd | Stop en vraag het |
| 401 | Inloggen vereist | Vraag om toegang |
| Reeks 5xx | Server heeft het zwaar | Pauzeer de crawl |
De pagina van Google over HTTP-statuscodes en netwerkfouten legt uit hoe Googlebot zelf met 429- en 5xx-antwoorden omgaat.
JavaScript-websites crawlen
Is de site gebouwd met React, Vue, Angular of een vergelijkbaar framework, dan kan de HTML die de server stuurt bijna leeg zijn, met de content toegevoegd door scripts. Een gewone crawl vindt dan weinig links en weinig tekst. Zet JavaScript-rendering aan, dat elke pagina in een headless browser laadt, en vergelijk de gerenderde pagina met de ruwe HTML. Waar het om gaat, is wat er vóór het renderen ontbreekt: hoofdtekst, links, titels en canonicals die pas verschijnen als scripts draaien. Renderen is trager, dus render eerst een steekproef van elke template.
Mijn website crawlen met Neova
Om je eigen website met Neova te crawlen, download je de app, kies je Crawl en dan Nieuwe crawl, typ je het adres en klik je op Crawl starten. De pagina Je eerste crawl toont elk scherm.
| Instelling | Standaard |
|---|---|
| Draait op | |
| User agent | NeovaBot |
| Snelheid | 3 URL's per seconde |
| Bij 429 of 503 | Halveert de snelheid, respecteert Retry-After |
| robots.txt | Gerespecteerd |
| CAPTCHA | Nooit opgelost |
| Gratis abonnement | 1.000 URL's per crawl |
- Check van de start-URL kiest de versie van de site (http of https, met of zonder www) die met 200 antwoordt en zegt wat de andere doen.
- Modi en bereik: Spider of Lijst, Volledige site, Specifieke mappen of Steekproef per paginagroep, plus XML-sitemaps, seed-URL's en regels voor opnemen en uitsluiten.
- Je eigen site: zodra je bevestigt dat hij van jou is, kan Neova sneller gaan en robots.txt negeren. De Allowlist-header maakt een geheime header die alleen naar die site wordt gestuurd, met de regel om aan het IT-team te geven.
- Geblokkeerde crawl uitgelegd: als een site de crawl weigert, zegt Neova waarom (rate limit, geblokkeerd door een firewall, verboden) en wat je daarna doet.
- Ontdekking en Uitsplitsing van URL's: terwijl de crawl loopt, komt elke gevonden URL in één bak terecht en worden vormen van crawl traps gemarkeerd, met ter plekke Overslaan of Uitsluiten.
- Pauzeren, Stoppen en Hervatten: stop wanneer je wilt en voer de checks uit op wat gecrawld is, of hervat later waar hij stopte.
Site-eigenaren lezen op de pagina over NeovaBot hoe de crawler zich identificeert en hoe je hem blokkeert.
Wat je met de crawl doet
Een crawl is een momentopname. De waarde zit in wat je oplost. Sorteer de bevindingen op hoeveel indexeerbare pagina's ze raken, los templateproblemen één keer op in plaats van pagina voor pagina, en crawl opnieuw om het te bevestigen. Een korte eerste ronde die meestal loont:
- Interne links naar 4xx- en 5xx-URL's. Zie Interne URL geeft 4xx, 5xx of geen respons.
- Redirectketens tussen interne URL's. Zie Interne URL zit in een redirectketen.
- Indexeerbare pagina's die door robots.txt geblokkeerd worden. Zie Interne URL wordt geblokkeerd door robots.txt.
- Een robots.txt die niet opgehaald kan worden. Zie robots.txt is onbereikbaar of te groot.
- Pagina's die in de XML-sitemaps ontbreken, en sitemaps met pagina's die redirecten of noindex zijn.
- Belangrijke pagina's die meer dan 3 klikken van de homepage liggen.
De checklist voor een technische SEO-audit zet de hele review op volgorde.
Vragen
Hoe crawl ik een website op alle URL's?
Combineer een linkcrawl met de XML-sitemaps en voeg daarna URL's uit Google Search Console en de serverlogs toe. Elke pagina die alleen die bronnen vinden en die geen interne link bereikt, is een weespagina die het bekijken waard is.
Hoe crawl ik een website zonder geblokkeerd te worden?
Crawl langzaam, gebruik een eerlijke user agent, respecteer robots.txt en vertraag als de server met 429 of 503 antwoordt. Op een klantsite achter een firewall vraag je het IT-team je crawler toe te laten in plaats van te proberen de blokkade te omzeilen.
Mag je een website crawlen?
Openbare pagina's crawlen is gangbaar, maar de regels verschillen per land en per de voorwaarden van de site. Crawl je eigen sites en die van je klanten gerust, respecteer overal robots.txt en lees bij twijfel de voorwaarden van de site. Dit is geen juridisch advies.
Hoe lang duurt het om een website te crawlen?
Ruwweg het aantal URL's gedeeld door de snelheid. Onze volledige crawl van seoprocheck.com op 17 oktober 2026 haalde 10.222 URL's op in 61 minuten, ongeveer 2,8 URL's per seconde. Bij 3 URL's per seconde duren 1.000 URL's ongeveer 6 minuten en 100.000 ongeveer 9 uur, zonder renderen. Een steekproef van elke template is veel sneller.
Kan ik mijn website gratis crawlen?
Ja. Het Free-abonnement van Neova crawlt tot 1.000 URL's per crawl met elke check, op Mac, Windows en Linux. Zie prijzen voor de grotere abonnementen.