Crawlbudget: wat het is, hoe je het controleert en hoe je verspilling stopt
Crawlbudget is het aantal URL's dat Googlebot op je site kan en wil ophalen. De meeste sites hoeven er nooit over na te denken. Grote of snel veranderende sites wel, en de oplossing is meestal dezelfde: zorg dat Googlebot zijn tijd niet besteedt aan URL's die er niet toe doen.
Wat is crawlbudget?
Google definieert crawlbudget als de set URL's die Googlebot op een site kan en wil crawlen. In zijn gids over het beheren van crawlbudget splitst het dit in twee delen:
- Limiet voor crawlcapaciteit. Hoeveel Googlebot kan ophalen zonder je server te overbelasten. Antwoordt de site snel, dan gaat de limiet omhoog. Wordt hij trager of geeft hij serverfouten, dan neemt Googlebot gas terug.
- Crawlvraag. Hoeveel Google wil crawlen. Populaire URL's en URL's die veranderen worden vaker gecrawld. Verouderde URL's of URL's met weinig waarde minder vaak.
Samen is crawlbudget in SEO het punt waar wat je server aankan en wat Google de moeite waard vindt om op te halen elkaar raken. Je kunt er niet meer van kopen. Je kunt wel beter gebruiken wat je krijgt.
Doet crawlbudget ertoe voor jouw site?
Volgens Google is crawlbudget vooral een aandachtspunt voor drie soorten sites. Uit zijn gids over crawlbudget:
| Site | Unieke pagina's | Content verandert | Een aandachtspunt |
|---|---|---|---|
| Groot | 1.000.000+ | Wekelijks | ✓ |
| Middelgroot of groter | 10.000+ | Dagelijks | ✓ |
| Veel pagina's met Gevonden, niet geïndexeerd | Onbeperkt | Onbeperkt | ✓ |
| De meeste andere sites | Een paar duizend | Onbeperkt | – |
Worden nieuwe pagina's binnen een dag of twee gecrawld, dan is crawlbudget niet je probleem. Kijk dan naar contentkwaliteit, interne links en indexeerbaarheid. De gids over Gevonden, momenteel niet geïndexeerd op SEO ProCheck behandelt die status en de oorzaken.
De gewoontes die crawlbudget besparen, zoals schone URL's, weinig redirects en geen crawl traps, helpen elke site. Ze maken ook je eigen crawls sneller en je audits makkelijker te lezen.
Zo controleer je crawlbudget
Er bestaat niet één getal voor crawlbudget. Je leest het af op drie plekken.
1. Het rapport Crawlstatistieken in Search Console
Open Instellingen en dan Crawlstatistieken. Je krijgt het totaal aantal crawlverzoeken, de totale downloadgrootte en de gemiddelde reactietijd over de laatste 90 dagen, uitgesplitst naar responscode, bestandstype, doel (ontdekking of vernieuwing) en type Googlebot. Hoststatus laat zien of het ophalen van robots.txt, DNS of de serververbinding problemen had.
Waar je op let: een groeiend aandeel 3xx- en 4xx-responses, een reactietijd die oploopt, of de meeste verzoeken die naar vernieuwing gaan terwijl nieuwe pagina's wachten.
2. Je serverlogs
Crawlstatistieken is een samenvatting. Logs tonen elk request, zodat je precies ziet welke URL's Googlebot ophaalt, hoe vaak, en welke hij nooit aanraakt. Importeren in plaats van koppelen somt de logformaten op die Neova leest en waar elke host ze bewaart.
3. Een eigen crawl
Een crawler toont de URL's die je links en sitemaps blootgeven. Vergelijk dat aantal met het aantal pagina's dat je echt geïndexeerd wilt hebben. We deden dit op onze eigen site:
| seoprocheck.com, 17 okt. 2026 | URL's |
|---|---|
| Opgehaald door de volledige crawl | 10.222 |
| HTML-pagina's die 200 antwoorden | 4.561 |
| Vermeld in de XML-sitemaps | 1.835 |
| Bereikt via links, in geen enkele sitemap | 2.727 |
Minder dan de helft van de opgehaalde URL's waren dus HTML-pagina's die met 200 antwoordden; de rest waren bestanden, redirects en andere antwoorden waar een bot ook verzoeken aan besteedt. En 2.727 gelinkte URL's staan in geen enkele sitemap, wat het bekijken waard is voordat je Google de schuld geeft. Levert een site met 20.000 producten 400.000 crawlbare URL's op, dan heb je je verspilde crawlbudget gevonden.
Waar verspild crawlbudget vandaan komt
| Bron | Ziet eruit als | Gebruikelijke oplossing |
|---|---|---|
| Gefacetteerde navigatie | Een URL per filtercombinatie | Blokkeer combinaties met weinig waarde |
| Parameters | Tracking, sessie, sortering | Haal ze uit interne links |
| Crawl traps | Kalenders, herhalende mappen | Begrens, blokkeer of herstel links |
| Redirect chains | 2 of meer stappen | Link naar de uiteindelijke URL |
| Soft 404's | Niet gevonden, antwoordt 200 | Geef 404 of 410 terug |
| Dubbele URL's | Hoofdletters, slash, volgorde van parameters | Redirect naar één versie |
| Vervuilde sitemaps | Redirects, noindex, fouten | Alleen indexeerbare URL's met 200 |
| Trage responses | Reactietijd loopt op | Maak de server sneller |
Gefacetteerde navigatie is in de meeste webshops de grootste bron; de uitleg over crawlbudget op SEO ProCheck laat zien wanneer elke bron telt.
Crawlbudget optimaliseren, stap voor stap
- Tel wat geïndexeerd moet worden. Schrijf op hoeveel pagina's je in Google wilt hebben. Alles daarboven is een kandidaat voor verspilling.
- Crawl de site en sorteer de URL's. Scheid schone pagina-URL's van parametervarianten, misvormde URL's, crawl traps en resources.
- Zoek de patronen. Verspilling is zelden willekeurig. Het is één filter, één kalender, één kapotte relatieve link die duizenden keren terugkomt.
- Blokkeer wat nooit gecrawld hoeft te worden. Gebruik robots.txt voor URL-patronen zonder zoekwaarde, zoals interne zoekresultaten of sorteervolgordes. Test de regel tegen je gecrawlde URL's voordat hij live gaat.
- Herstel de links die de verspilling veroorzaken. Blokkeren verbergt de URL's; de links herstellen zorgt dat ze niet meer ontstaan.
- Schoon de XML-sitemaps op. Alleen indexeerbare URL's die met 200 antwoorden, met lastmod-datums die veranderen als de pagina verandert.
- Geef de juiste statuscodes terug. 404 of 410 voor pagina's die weg zijn, geen 200 met een melding dat de pagina niet bestaat.
- Kort redirectketens in en laat interne links naar de uiteindelijke URL's wijzen.
- Houd de logs en Crawlstatistieken een paar weken in de gaten om te bevestigen dat Googlebot naar de pagina's gaat die ertoe doen.
Wat je beter niet doet
Een paar bekende tips over crawlbudget werken niet zoals mensen verwachten. Uit de gids over crawlbudget van Google en zijn pagina over het verlagen van de crawlfrequentie:
| Tip | Bespaart budget | Waarom |
|---|---|---|
| Noindex toevoegen | – | Pagina wordt nog steeds opgehaald |
| Pagina's tijdelijk blokkeren | – | Google raadt het af |
| Crawl-delay in robots.txt | – | Googlebot negeert het |
| 503 of 429 teruggeven | ◐ | Noodgevallen, 1 tot 2 dagen |
| URL's in een sitemap zetten | ◐ | Een hint, geen opdracht |
| Definitief blokkeren in robots.txt | ✓ | URL wordt nooit opgehaald |
Noindex helpt bij indexeren, niet bij crawlen. Blokkeer in robots.txt alleen URL's die je nooit gecrawld wilt hebben, en herstel de links die ze maken.
Hoe Neova helpt met crawlbudget
Neova is een crawler, geen Googlebot, dus het kan het budget van Google zelf niet tonen. Wat het wel toont, is waar je site Googlebot extra werk bezorgt:
- Ontdekking loopt mee met de crawl. Elke minuut laat het per patroon zien waar nieuwe URL's vandaan komen en markeert het vormen van crawl traps, zoals kalenders, herhalende mappen, sessie-ID's, veel parameters en heel diepe URL's, met ter plekke Doorgaan met crawlen, Overslaan of Uitsluiten.
- Uitsplitsing van URL's zet elke URL in één bak: schone pagina-URL's, parametervarianten, misvormde URL's, crawl traps en resources. Het aantal is altijd verklaard.
- De robots.txt-tester legt elke regel uit, en de concepttest somt de URL's op die een wijziging nieuw zou blokkeren of toestaan, voordat je hem live zet.
- Serverlog, in de desktop-app, somt de HTML-pagina's op die Googlebot in de periode van de log nooit bezocht, en de URL's waar bots om vragen die de crawl niet kent.
- Checks zoals indexeerbare URL's met zoek- of filterparameters, dezelfde parameters in een andere volgorde, soft-404-zinnen, redirectende URL's in XML-sitemaps en een recrawl-interval van Googlebot dat 50% of meer is gegroeid.

Neova crawlt ook beleefd: standaard 3 URL's per seconde, en het halveert zijn snelheid als de server trager wordt of met 429 of 503 antwoordt. Bekijk de functies of download Neova om het te proberen.
Checklist voor crawlbudget
| Signaal | Gezond | Locatie |
|---|---|---|
| Reactietijd | Stabiel of dalend | Crawlstatistieken |
| Aandeel 3xx en 4xx | Niet stijgend | Crawlstatistieken, logs |
| Crawlbare URL's tegenover gewenste pagina's | Dicht bij 1 op 1 | Je crawl |
| Crawl traps | 0 | Je crawl |
| Redirectstappen | Hooguit 1 | Je crawl |
| Verwijderde pagina's | 404 of 410 | Je crawl |
| Sitemapregels | Alleen indexeerbaar met 200 | Je crawl |
| URL's per sitemapbestand | Maximaal 50.000 | Je crawl |
| Dagen aan gelezen logs | 30 of meer | Serverlogs |
| Nieuwe belangrijke pagina's | Bezocht door Googlebot | Serverlogs |
Vragen
Wat is crawlbudget in SEO?
Het is het aantal URL's dat een zoekmachine in een bepaalde tijd op je site kan en wil crawlen. Google beschrijft het als de combinatie van crawlcapaciteit en crawlvraag.
Doet crawlbudget ertoe voor kleine sites?
Meestal niet. Volgens Google is het vooral een aandachtspunt voor heel grote sites, sites die dagelijks veranderen en sites met veel pagina's die gevonden maar niet geïndexeerd zijn. Kleine sites winnen meer met betere content en interne links.
Hoe verhoog ik mijn crawlbudget?
Maak de server snel en stabiel, en geef Google redenen om te crawlen: pagina's waar mensen naar linken en die ze bezoeken, en content die verandert. Stop daarna met het verspillen van wat je hebt aan parameters, redirects en duplicaten.
Bespaart noindex crawlbudget?
Nee. Google moet een pagina crawlen om de noindex te lezen. Wil je Googlebot definitief weghouden van een URL-patroon, blokkeer het dan in robots.txt en herstel de links die het maken.
Volgt Googlebot crawl-delay?
Nee. Google ondersteunt crawl-delay in robots.txt niet. Bing heeft gedocumenteerde ondersteuning ervoor. Neova markeert een crawl-delay voor alle user agents, zodat je kunt beslissen of die nog gewenst is.