Geavanceerde SEO-crawler: JavaScript, grote sites, crawls vergelijken en monitoring
Elke crawler vindt een 404. Een geavanceerde SEO-crawler kan overweg met de sites waarop eenvoudige crawlers vastlopen: JavaScript-frameworks, miljoenen URL's, gefacetteerde navigatie, migraties en sites die elke dag veranderen.
Wat een SEO-crawler geavanceerd maakt
Elke crawler haalt op, parseert, volgt links en rapporteert. Wat een geavanceerde crawler onderscheidt, is hoe hij zich gedraagt als de site lastig wordt.
| Lastig geval | Waar je op let | In Neova |
|---|---|---|
| JavaScript-sites | Ruw vs gerenderd, per pagina | ✓ |
| Crawl traps | Herkend en uitgesloten tijdens het crawlen | Ontdekking, elke minuut |
| Zeer grote sites | Crawl op schijf bewaard | 60 MB geheugen bij 60.000 URL's |
| Verandering in de tijd | Crawl tegen crawl | Crawls vergelijken |
| Dagelijkse releases | Planningen en alerts | Slack, Microsoft Teams |
| Workflow van het team | CLI, CI-poort, API | ✓ |
| Meerdere sites | Crawls naast elkaar | Tot 4 tegelijk |
Tot 4 crawls tegelijk kan vanaf het Desktop-abonnement, in één venster. Grote crawls worden begrensd door je schijf, niet door je geheugen.
JavaScript SEO-crawling: ruwe HTML tegenover gerenderde
Google crawlt eerst de HTML en rendert de pagina later, als de middelen het toelaten, zoals de basisprincipes van JavaScript SEO uitleggen. Veel AI-crawlers renderen misschien nooit. De vraag is dus wat er ontbreekt vóór het renderen.
| Alleen in gerenderde HTML | Neova-check |
|---|---|
| Hoofdtekst | Meeste hoofdtekst staat alleen in de gerenderde HTML |
| Interne links | Interne links staan alleen in de gerenderde HTML |
| Canonical | Canonical wordt alleen door JavaScript ingesteld |
| Titel | Titel staat alleen in de gerenderde HTML |
| Redirect | HTML-pagina redirect via JavaScript |
Renderen is traag en zwaar. Render op een grote site eerst een paar pagina's per template. Een template die volledig op de server wordt gerenderd, heeft niet meer nodig. De gids over JavaScript SEO-crawlers gaat dieper.
Wat een enterprise SEO-crawler nodig heeft: schaal, traps en templates
De notities van Google over crawlbudget beheren zeggen wie zich er zorgen over moet maken.
| Site | Unieke pagina's | Content verandert |
|---|---|---|
| Groot | 1 miljoen of meer | Wekelijks |
| Middelgroot of groter | 10.000 of meer | Dagelijks |
Daaronder is crawlbudget zelden het probleem. SEO ProCheck legt uitgebreider uit wanneer crawlbudget ertoe doet. Grote sites lopen toch op voorspelbare manieren vast bij een crawl, en meestal begint het met een crawl trap.
| Crawl trap | Voorbeeld-URL | Gebruikelijke oplossing |
|---|---|---|
| Kalender | /events/2031/04/ | Sluit het patroon uit |
| Herhalende map | /shop/shop/shop/ | Herstel de relatieve link |
| Sessie-ID | /?sid=8f3a2c | Houd ID's uit links |
| Filtercombinaties | ?color=red&size=9&sort=price | Kies welke facetten pagina's worden |
| Sorteren en weergave | ?sort=price&view=grid | Canonical naar de kale URL |
Voor filters behandelt de gids over gefacetteerde navigatie van SEO ProCheck welke facetten een eigen pagina verdienen. Steekproeven helpen ook: een vast aantal pagina's per template dekt elke template in enkele minuten. Segmenten op basis van regex tonen statuscodes per sectie, en extractie met XPath, CSS-selector of regex haalt prijzen, auteurs of schemavelden op.

Schaal op onze eigen site, seoprocheck.com, op 17 oktober 2026: een volledige crawl haalde 10.222 URL's op in 61 minuten, en 1,66 GB aan ruwe paginabody's werd opgeslagen als 340 MB.
Crawls vergelijken: zien wat er veranderde
Eén audit vertelt je hoe de site ervoor staat. Twee vergelijken vertelt je wat er met de site gebeurde. Kijk naar:
- URL's die nieuw, verwijderd of gewijzigd zijn tussen de twee
- Nieuwe meldingen en opgeloste meldingen
- Titels, meta descriptions en H1's, voor en na
- robots.txt-regels die veranderden. Zie robots.txt-regels gewijzigd sinds de vorige crawl.
- Een scherpe verandering in het aantal crawlbare URL's
Vergelijk gelijk met gelijk: een volledige crawl met een volledige crawl, met dezelfde instellingen. Een steekproef tegenover een volledige crawl toont verschillen die alleen over de scope gaan.
Monitoring: geplande crawls en alerts
Monitoring is crawls vergelijken dat vanzelf draait. Stem de planning af op hoe vaak de site nieuwe releases krijgt.
| Site | Volledige crawl | Momentopname Core Web Vitals |
|---|---|---|
| Drukke webshop | Dagelijks | Wekelijks |
| De meeste sites | Wekelijks | Wekelijks |
| Rustige site | Maandelijks | Maandelijks |
Wekelijks is genoeg voor velddata van Core Web Vitals, omdat het Chrome UX Report een voortschrijdend gemiddelde over 28 dagen is. Goede triggers voor alerts: nieuwe meldingen sinds de vorige crawl, een daling in klikken, een slechtere score voor Core Web Vitals, een gevolgde zoekterm die uit de top 10 valt. Stuur alerts naar de plek waar mensen al kijken, en houd het er weinig.
Migraties en stagingsites
Bij migraties verdient crawlen zichzelf terug. Crawl de oude site, crawl staging en vergelijk statuscodes, noindex, canonicals, titels, H1's en URL's die maar aan één kant bestaan. Bouw de redirect map van oud naar nieuw en controleer na de livegang elke live redirect.
Staging vraagt meestal om HTTP-authenticatie, een robots.txt die alles blokkeert en links die naar het live domein wijzen. Een crawler die links naar het live domein omschrijft naar de staginghost bespaart uren. De FAQ over sitemigraties van SEO ProCheck beantwoordt de vragen die op de dag van de livegang opkomen.
We vonden twee lanceringsfouten op onze eigen site. Tot onze SEO-ronde van 20 november 2026 antwoordde http://neova.app met 200 in plaats van een 301 naar https, en onbekende adressen antwoordden 503 vanaf een coming-soon-pagina in plaats van 404. Beide zijn nu opgelost, en beide zijn precies wat een crawl voor en na de lancering hoort te vangen. Zie HTTP-URL geeft 200 op een HTTPS-site.
Automatisering: CLI, CI en API's
Op schaal wordt crawlen onderdeel van de release.
| Onderdeel | Taak | In Neova |
|---|---|---|
| Opdrachtregel | Crawls starten, resultaten lezen | neova-CLI |
| CI-poort | Een build laten falen op nieuwe meldingen | neova check |
| API | Dashboards, interne tools | REST API, 60 verzoeken per minuut |
| MCP-server | AI-assistenten lezen crawls | ✓ |
| Tickets | Eén per probleem en template | Jira, Linear, Asana |
De REST API hoort bij Neova Online, vanaf het abonnement Desktop + Online. Een CI-poort werkt het best met een basiscrawl van de laatste goede release: de build faalt alleen op meldingen die nieuw zijn, zodat oude schuld niet elke deploy blokkeert.
Hoe Neova geavanceerd crawlen aanpakt
- Rendering: rendert in Chrome, alle pagina's of een paar per paginagroep, en markeert elke pagina als Server-Rendered, Hydrated of Needs JavaScript.
- Schaal: bewaart de crawl op schijf, biedt Steekproef per paginagroep, en Discovery biedt voor elke trap Doorgaan met crawlen, Overslaan of Uitsluiten.
- Geschiedenis: Crawls vergelijken, en Historische data bewaart elke crawl, elke versie van robots.txt en elke XML-sitemap.
- Serverlogs: logs van Apache of Nginx, of je eigen Cloudflare-account; Googlebot, Bingbot en AI-crawlers tellen alleen mee als hun adres op de lijst staat die elk bedrijf publiceert.
- Voorbij de bronnen: bewaart elke maand aan Search Console-data nadat Google die na 16 maanden laat vallen.
- Migraties: Redirect Map met een betrouwbaarheidsscore per URL, Live Redirect Check, Staging vs. productie en URL Rewriting.
Bekijk elke functie op de pagina met functies, of hoe Neova zich verhoudt op Vergelijken.
Vragen
Wat is een geavanceerde SEO-crawler?
Een crawler die gebouwd is voor lastige sites: hij rendert JavaScript en vergelijkt dat met de ruwe HTML, kan omgaan met crawl traps en zeer grote sites, vergelijkt crawls door de tijd heen, draait volgens een planning en past in tickets, CI en API's.
Moet ik elke pagina met JavaScript renderen?
Meestal niet. Render eerst een steekproef per template. Templates waarvan alle content in de server-HTML staat, hebben geen volledige rendering nodig; templates die van JavaScript afhangen wel.
Wanneer doet crawlbudget ertoe?
Volgens Google vooral bij sites met 1 miljoen of meer unieke pagina's die wekelijks veranderen, of 10.000 of meer die dagelijks veranderen. Kleinere sites lopen er zelden tegenaan.
Hoe groot mag een site zijn voor een enterprise SEO-crawler?
Dat hangt af van de tool en, bij desktopcrawlers, van de computer. Neova bewaart de crawl op schijf en gaat op het Desktop-abonnement tot 5 miljoen URL's per crawl, afhankelijk van je computer. Zie de prijzen.
Kan ik een deployment laten falen op SEO-problemen?
Ja, met een CI-poort. In Neova vergelijkt neova check een crawl met een basiscrawl en stopt met een foutcode als er nieuwe meldingen verschijnen, zodat de pipeline de release kan tegenhouden.