NeovaGeavanceerd SEO-platform

Crawlbudget: wat het is, hoe je het controleert en hoe je verspilling stopt

Crawlbudget is het aantal URL's dat Googlebot op je site kan en wil ophalen. De meeste sites hoeven er nooit over na te denken. Grote of snel veranderende sites wel, en de oplossing is meestal dezelfde: zorg dat Googlebot zijn tijd niet besteedt aan URL's die er niet toe doen.

Crawlen en indexeringcrawlbudgetBijgewerkt op 21 november 2026Door het Neova-team

Wat is crawlbudget?

Google definieert crawlbudget als de set URL's die Googlebot op een site kan en wil crawlen. In zijn gids over het beheren van crawlbudget splitst het dit in twee delen:

  • Limiet voor crawlcapaciteit. Hoeveel Googlebot kan ophalen zonder je server te overbelasten. Antwoordt de site snel, dan gaat de limiet omhoog. Wordt hij trager of geeft hij serverfouten, dan neemt Googlebot gas terug.
  • Crawlvraag. Hoeveel Google wil crawlen. Populaire URL's en URL's die veranderen worden vaker gecrawld. Verouderde URL's of URL's met weinig waarde minder vaak.

Samen is crawlbudget in SEO het punt waar wat je server aankan en wat Google de moeite waard vindt om op te halen elkaar raken. Je kunt er niet meer van kopen. Je kunt wel beter gebruiken wat je krijgt.

Doet crawlbudget ertoe voor jouw site?

Volgens Google is crawlbudget vooral een aandachtspunt voor drie soorten sites. Uit zijn gids over crawlbudget:

SiteUnieke pagina'sContent verandertEen aandachtspunt
Groot1.000.000+Wekelijks✓
Middelgroot of groter10.000+Dagelijks✓
Veel pagina's met Gevonden, niet geïndexeerdOnbeperktOnbeperkt✓
De meeste andere sitesEen paar duizendOnbeperkt–

Worden nieuwe pagina's binnen een dag of twee gecrawld, dan is crawlbudget niet je probleem. Kijk dan naar contentkwaliteit, interne links en indexeerbaarheid. De gids over Gevonden, momenteel niet geïndexeerd op SEO ProCheck behandelt die status en de oorzaken.

De gewoontes die crawlbudget besparen, zoals schone URL's, weinig redirects en geen crawl traps, helpen elke site. Ze maken ook je eigen crawls sneller en je audits makkelijker te lezen.

Zo controleer je crawlbudget

Er bestaat niet één getal voor crawlbudget. Je leest het af op drie plekken.

1. Het rapport Crawlstatistieken in Search Console

Open Instellingen en dan Crawlstatistieken. Je krijgt het totaal aantal crawlverzoeken, de totale downloadgrootte en de gemiddelde reactietijd over de laatste 90 dagen, uitgesplitst naar responscode, bestandstype, doel (ontdekking of vernieuwing) en type Googlebot. Hoststatus laat zien of het ophalen van robots.txt, DNS of de serververbinding problemen had.

Waar je op let: een groeiend aandeel 3xx- en 4xx-responses, een reactietijd die oploopt, of de meeste verzoeken die naar vernieuwing gaan terwijl nieuwe pagina's wachten.

2. Je serverlogs

Crawlstatistieken is een samenvatting. Logs tonen elk request, zodat je precies ziet welke URL's Googlebot ophaalt, hoe vaak, en welke hij nooit aanraakt. Importeren in plaats van koppelen somt de logformaten op die Neova leest en waar elke host ze bewaart.

3. Een eigen crawl

Een crawler toont de URL's die je links en sitemaps blootgeven. Vergelijk dat aantal met het aantal pagina's dat je echt geïndexeerd wilt hebben. We deden dit op onze eigen site:

seoprocheck.com, 17 okt. 2026URL's
Opgehaald door de volledige crawl10.222
HTML-pagina's die 200 antwoorden4.561
Vermeld in de XML-sitemaps1.835
Bereikt via links, in geen enkele sitemap2.727

Minder dan de helft van de opgehaalde URL's waren dus HTML-pagina's die met 200 antwoordden; de rest waren bestanden, redirects en andere antwoorden waar een bot ook verzoeken aan besteedt. En 2.727 gelinkte URL's staan in geen enkele sitemap, wat het bekijken waard is voordat je Google de schuld geeft. Levert een site met 20.000 producten 400.000 crawlbare URL's op, dan heb je je verspilde crawlbudget gevonden.

Waar verspild crawlbudget vandaan komt

BronZiet eruit alsGebruikelijke oplossing
Gefacetteerde navigatieEen URL per filtercombinatieBlokkeer combinaties met weinig waarde
ParametersTracking, sessie, sorteringHaal ze uit interne links
Crawl trapsKalenders, herhalende mappenBegrens, blokkeer of herstel links
Redirect chains2 of meer stappenLink naar de uiteindelijke URL
Soft 404'sNiet gevonden, antwoordt 200Geef 404 of 410 terug
Dubbele URL'sHoofdletters, slash, volgorde van parametersRedirect naar één versie
Vervuilde sitemapsRedirects, noindex, foutenAlleen indexeerbare URL's met 200
Trage responsesReactietijd loopt opMaak de server sneller

Gefacetteerde navigatie is in de meeste webshops de grootste bron; de uitleg over crawlbudget op SEO ProCheck laat zien wanneer elke bron telt.

Crawlbudget optimaliseren, stap voor stap

  1. Tel wat geïndexeerd moet worden. Schrijf op hoeveel pagina's je in Google wilt hebben. Alles daarboven is een kandidaat voor verspilling.
  2. Crawl de site en sorteer de URL's. Scheid schone pagina-URL's van parametervarianten, misvormde URL's, crawl traps en resources.
  3. Zoek de patronen. Verspilling is zelden willekeurig. Het is één filter, één kalender, één kapotte relatieve link die duizenden keren terugkomt.
  4. Blokkeer wat nooit gecrawld hoeft te worden. Gebruik robots.txt voor URL-patronen zonder zoekwaarde, zoals interne zoekresultaten of sorteervolgordes. Test de regel tegen je gecrawlde URL's voordat hij live gaat.
  5. Herstel de links die de verspilling veroorzaken. Blokkeren verbergt de URL's; de links herstellen zorgt dat ze niet meer ontstaan.
  6. Schoon de XML-sitemaps op. Alleen indexeerbare URL's die met 200 antwoorden, met lastmod-datums die veranderen als de pagina verandert.
  7. Geef de juiste statuscodes terug. 404 of 410 voor pagina's die weg zijn, geen 200 met een melding dat de pagina niet bestaat.
  8. Kort redirectketens in en laat interne links naar de uiteindelijke URL's wijzen.
  9. Houd de logs en Crawlstatistieken een paar weken in de gaten om te bevestigen dat Googlebot naar de pagina's gaat die ertoe doen.

Wat je beter niet doet

Een paar bekende tips over crawlbudget werken niet zoals mensen verwachten. Uit de gids over crawlbudget van Google en zijn pagina over het verlagen van de crawlfrequentie:

TipBespaart budgetWaarom
Noindex toevoegen–Pagina wordt nog steeds opgehaald
Pagina's tijdelijk blokkeren–Google raadt het af
Crawl-delay in robots.txt–Googlebot negeert het
503 of 429 teruggeven◐Noodgevallen, 1 tot 2 dagen
URL's in een sitemap zetten◐Een hint, geen opdracht
Definitief blokkeren in robots.txt✓URL wordt nooit opgehaald

Noindex helpt bij indexeren, niet bij crawlen. Blokkeer in robots.txt alleen URL's die je nooit gecrawld wilt hebben, en herstel de links die ze maken.

Hoe Neova helpt met crawlbudget

Neova is een crawler, geen Googlebot, dus het kan het budget van Google zelf niet tonen. Wat het wel toont, is waar je site Googlebot extra werk bezorgt:

Een lopende crawl: opgehaalde URL's van het aantal gevonden, de snelheidslimiet, Uitsplitsing van URL's, Ontdekking en de live crawlkaart op klikken vanaf de start-URL
Een lopende crawl: opgehaalde URL's van het aantal gevonden, de snelheidslimiet, Uitsplitsing van URL's, Ontdekking en de live crawlkaart op klikken vanaf de start-URL

Neova crawlt ook beleefd: standaard 3 URL's per seconde, en het halveert zijn snelheid als de server trager wordt of met 429 of 503 antwoordt. Bekijk de functies of download Neova om het te proberen.

Checklist voor crawlbudget

SignaalGezondLocatie
ReactietijdStabiel of dalendCrawlstatistieken
Aandeel 3xx en 4xxNiet stijgendCrawlstatistieken, logs
Crawlbare URL's tegenover gewenste pagina'sDicht bij 1 op 1Je crawl
Crawl traps0Je crawl
RedirectstappenHooguit 1Je crawl
Verwijderde pagina's404 of 410Je crawl
SitemapregelsAlleen indexeerbaar met 200Je crawl
URL's per sitemapbestandMaximaal 50.000Je crawl
Dagen aan gelezen logs30 of meerServerlogs
Nieuwe belangrijke pagina'sBezocht door GooglebotServerlogs

Vragen

Wat is crawlbudget in SEO?

Het is het aantal URL's dat een zoekmachine in een bepaalde tijd op je site kan en wil crawlen. Google beschrijft het als de combinatie van crawlcapaciteit en crawlvraag.

Doet crawlbudget ertoe voor kleine sites?

Meestal niet. Volgens Google is het vooral een aandachtspunt voor heel grote sites, sites die dagelijks veranderen en sites met veel pagina's die gevonden maar niet geïndexeerd zijn. Kleine sites winnen meer met betere content en interne links.

Hoe verhoog ik mijn crawlbudget?

Maak de server snel en stabiel, en geef Google redenen om te crawlen: pagina's waar mensen naar linken en die ze bezoeken, en content die verandert. Stop daarna met het verspillen van wat je hebt aan parameters, redirects en duplicaten.

Bespaart noindex crawlbudget?

Nee. Google moet een pagina crawlen om de noindex te lezen. Wil je Googlebot definitief weghouden van een URL-patroon, blokkeer het dan in robots.txt en herstel de links die het maken.

Volgt Googlebot crawl-delay?

Nee. Google ondersteunt crawl-delay in robots.txt niet. Bing heeft gedocumenteerde ondersteuning ervoor. Neova markeert een crawl-delay voor alle user agents, zodat je kunt beslissen of die nog gewenst is.

Neem dit mee

De links naar de assistenten openen met een vraag over deze pagina die al klaarstaat.

Crawl je site met NeovaHet Free-abonnement voert elke check uit op Mac, Windows en Linux. Geen creditcard nodig.

Lees verder