SEO Spider: wat het is, hoe het werkt en hoe je er een kiest
Een SEO spider is een programma dat een website link voor link doorloopt, zoals een zoekmachine dat doet, en noteert wat elke URL antwoordt. Dit is hoe hij onder de motorkap werkt, wat je test voordat je zijn cijfers vertrouwt en welke je kunt proberen.
Wat een SEO spider is
Het web is een web, dus de programma's die er via links doorheen bewegen, werden spiders genoemd. Je hoort ook crawler, bot en robot. Ze betekenen allemaal in de basis hetzelfde: software die een pagina ophaalt, de links leest en doorgaat naar de pagina's waar die links naartoe wijzen.
Zoekmachines draaien de grootste. Googlebot is een spider. Een SEO spider is hetzelfde idee, gericht op je eigen site, gebouwd om te rapporteren waar een zoekmachine over zou struikelen: kapotte links, redirects, geblokkeerde pagina's, ontbrekende titles, dubbele content en pagina's waar niets naar linkt.
Veel mensen kennen de term van Screaming Frog, wiens desktopcrawler de SEO Spider heet, en de term wordt nu voor de hele categorie gebruikt. Wat de naam op de doos ook is, een SEO spider verschilt van twee tools waarmee hij vaak verward wordt:
- Een scraper haalt specifieke data uit pagina's, zoals prijzen. Een spider brengt de hele site in kaart en hoe de pagina's met elkaar verbonden zijn.
- Een backlinktool leest andere sites om links naar jou te vinden. Een spider leest jouw site, van binnenuit.
Hoe een SEO spider werkt, stap voor stap
Onder de motorkap draait elke SEO spider dezelfde lus tot de URL's op zijn of hij een limiet raakt die jij instelde:
- Begin met een wachtrij. De wachtrij bevat de start-URL, en vaak ook de URL's uit de XML-sitemaps.
- Controleer de regels. Voordat hij een URL ophaalt, controleert de spider robots.txt en zijn eigen scope-instellingen: deze host, deze map, deze patronen. SEO ProCheck houdt een volledig naslagwerk voor robots.txt bij.
- Ophalen en vastleggen. Hij vraagt de URL op en bewaart het antwoord: statuscode, headers, responstijd en de body.
- De pagina parsen. Uit de HTML leest hij de title, meta robots, canonical, koppen en elke link, met de ankertekst.
- De links opschonen. Relatieve links worden volledige URL's, fragmenten vallen weg, en elke URL wordt vergeleken met de al geziene, zodat niets twee keer wordt opgehaald.
- Zet wat nieuw is in de wachtrij. Nieuwe URL's binnen de scope gaan achteraan de wachtrij. Die op volgorde afwerken geeft elke pagina haar crawldiepte, het aantal klikken vanaf de start-URL.
- Wachten, dan herhalen. Een beleefde spider spreidt zijn verzoeken en vertraagt als de server tegenstribbelt.
Als de wachtrij leeg is, begint het echte werk: de spider vergelijkt elke pagina met de andere en met de regels die zoekmachines publiceren, en zet de data om in bevindingen. Sommige spiders renderen pagina's eerst ook in een browser, om links en content te zien die pas verschijnen nadat JavaScript draait.
Wat een SEO spider per URL vastlegt
De bevindingen zijn maar zo goed als de data eronder. Voor elke URL bewaart een goede SEO spider:
| Gebied | Wat hij vastlegt |
|---|---|
| Respons | Statuscode, redirectdoel, headers, responstijd, grootte |
| Indexeringssignalen | Meta robots, X-Robots-Tag, canonical, of robots.txt de URL toestaat |
| Content | Title, meta description, koppen, aantal woorden |
| Links | Inlinks en outlinks, ankertekst, waar op de pagina elke link staat |
| Structuur | Crawldiepte, map, de template die de pagina gebruikt |
| Ontdekking | Hoe de URL gevonden is: een link, een XML-sitemap, een redirect |
Daaruit volgen de checks. Een paar voorbeelden van hoe die eruitzien: Interne URL geeft 4xx, 5xx of geen respons, Interne URL zit in een redirectketen, Wees-URL geeft 200 en is indexeerbaar en URL met 4xx staat in een XML-sitemap. De gids over de technische SEO-crawler loopt de volledige lijst door van gebieden die een audit moet dekken.
SEO spider downloaden of SEO spider online
Mensen zoeken op beide, en het zijn twee verschillende opzetten.
| Desktopspider | Online spider | |
|---|---|---|
| Draait op | ||
| Data bewaard | Je schijf | De servers van de leverancier |
| Crawlomvang bepaald door | Je eigen computer | Je abonnement |
| Staging achter een VPN | ✓ | ◐ Met een IP-allowlist |
| Crawlt met de laptop dicht | – | ✓ |
| Een crawl delen | Een bestand of een sync | Een link |
Geen van beide is in het algemeen beter. Consultants die veel sites auditen, kiezen vaak een desktopapp; teams die een paar grote sites de klok rond volgen, kiezen vaak de cloud. Sommige tools bieden allebei.
Wat je test voordat je een SEO spider vertrouwt
Hoe een spider zich op een echte site gedraagt, telt meer dan zijn lijst met functies. Crawl een site die je goed kent en kijk naar het volgende:
- Klopt het aantal URL's? Vergelijk het met je XML-sitemaps. Een veel hoger getal betekent meestal parameters, filters of een crawlval, en de tool moet je helpen zien welke.
- Hoe beleefd is hij? Zoek een snelheidsinstelling in URL's per seconde en automatisch vertragen als de server 429 of 503 antwoordt.
- Hoe gaat hij om met robots.txt? Hij moet die standaard respecteren, en je die laten negeren voor een site die van jou is, zoals staging.
- Kan hij een lijst crawlen? Een lijstmodus, om na een migratie een set URL's te controleren, scheelt veel tijd.
- Rendert hij JavaScript, en toont hij het verschil? De ruwe en de gerenderde HTML naast elkaar zien, vertelt je of rendering voor de site uitmaakt.
- Kan hij stoppen en hervatten? Grote crawls worden onderbroken. Verdergaan waar hij stopte, wint van opnieuw beginnen.
- Kun je iets met een bevinding? Open één melding en kijk of die zegt waarom het ertoe doet en hoe je het oplost.
Dit is de test van het aantal URL's op onze eigen site. Neova crawlde seoprocheck.com op 17 oktober 2026:
| seoprocheck.com, volledige crawl | Aantal |
|---|---|
| Opgehaalde URL's | 10.222 |
| Tijd | 61 minuten |
| HTML-pagina's die 200 antwoorden | 4.561 |
| URL's in de XML-sitemaps | 1.835 |
| Bereikt via links, niet in een sitemap | 2.727 |
| In een sitemap, door geen enkele link bereikt | 1 |
| Volledigheid | 99.98% |
| Pagina-inhoud, ruw | 1,66 GB |
| Gecomprimeerd op schijf opgeslagen | 340 MB |
De crawl vond veel meer URL's dan de sitemaps opsommen. Het grootste deel van het verschil zijn pagina's die prima te crawlen zijn maar in de sitemap ontbreken, en dat is wat Indexeerbare URL staat in geen enkele XML-sitemap rapporteert. De ene vermelde URL die geen link bereikte, is een wees-URL in een XML-sitemap. Op een grote site gaat crawlbudget bij zulke gaten tellen.
SEO-spidertools die je moet kennen
Er zijn goede opties voor elk soort werk. Dit is waar elk om bekendstaat, volgens de eigen pagina's van elk bedrijf, gelezen op 11 en 21 november 2026:
| Tool | Draait op | Uitproberen | Bekend om |
|---|---|---|---|
| Screaming Frog SEO Spider | 500 URL's gratis | Configuratie, extractie, commandline | |
| Sitebulb | Proefperiode van 14 dagen | 300+ geprioriteerde Hints | |
| Lumar | Een voorstel | Grote en kleine crawls tegelijk | |
| JetOctopus | Proefperiode van 7 dagen | Onbeperkt crawls en gebruikers | |
| Semrush Site Audit | Met de suite | Onderdeel van een SEO-suite | |
| Ahrefs Site Audit | Met de suite | Onderdeel van een SEO-suite | |
| Neova | 1.000 URL's gratis | 694 checks, elk met een bron |
De desktopcrawler van Screaming Frog gaf de categorie haar naam, en de gratis versie vraagt geen registratie. De vergelijkingspagina zet ze functie voor functie naast elkaar, met een bron voor elk vinkje. Gebruik je Screaming Frog al en wil je zien hoe een andere crawler ernaast past, dan behandelt de gids over een Screaming Frog-alternatief dat, en de gids over gratis SEO-crawlers vergelijkt de gratis abonnementen.
De spidercrawl van Neova
Neova is een desktop SEO-crawler voor Mac (Apple silicon), Windows en Linux, plus Neova Online in de browser, van Neova LLC. Zijn modus die links volgt, heet letterlijk Spider: Nieuwe crawl, Crawlmodus, Spider. Hij volgt de interne links vanaf de start-URL, dan de XML-sitemaps, en voert 694 checks uit op wat hij ophaalde, elk met een bron.
- Check van de start-URL: voor het crawlen kiest hij de versie van de homepage die 200 antwoordt en zegt hij wat de andere versies doen.
- Standaard beleefd: 3 URL's per seconde, halveert zijn snelheid als de server vertraagt of 429 of 503 antwoordt, en respecteert Retry-After. Tot 50 per seconde op een site waarvan je bevestigt dat die van jou is.
- Elke URL verklaard: de Uitsplitsing van URL's zet elke URL in één bak (schone pagina's, parametervarianten, misvormde URL's, crawlvallen, afbeeldingen enzovoort), en Ontdekking biedt aan een val uit te sluiten terwijl de crawl loopt.
- Ook een lijstmodus: Lijstcrawl haalt alleen de URL's op die je plakt of uploadt.
- Grote crawls op schijf: de crawl staat op schijf, niet in het geheugen, en Hervatten zet een gestopte crawl voort met de instellingen hersteld.
- Rendering als je het nodig hebt: JavaScript-rendering in Chrome, vergeleken met de ruwe HTML.
- Je oude crawls gaan mee: Crawl importeren opent een Internal-export van Screaming Frog of een URL-export van Sitebulb en voert de checks erop uit.

Het Free-abonnement crawlt tot 1.000 URL's per crawl met elke check, en Desktop kun je 14 dagen gratis proberen zonder creditcard. Zie functies en prijzen.
Je eerste spidercrawl
- Download Neova voor je computer en open het.
- Kies Crawl, dan Nieuwe crawl, typ het adres van de site en klik op Crawl starten.
- Volg de eerste minuten. Toont Ontdekking een kalender of een filter die URL's vermenigvuldigt, sluit die dan uit en laat de crawl doorgaan.
- Als de checks klaar zijn, begin je bij het Overzicht, dan Alle meldingen, Moet opgelost eerst. Veelvoorkomende eerste vondsten: dubbele titles en meta descriptions langer dan 155 tekens. Onze eigen crawl van seoprocheck.com had er 56 en 582.
De helppagina Je eerste crawl toont elk scherm, en de gids een website crawlen behandelt scope en uitsluitingen uitgebreider.
Vragen
Wat is een SEO spider?
Een programma dat een website crawlt zoals een zoekmachine dat doet: het haalt een pagina op, volgt de links en legt vast wat elke URL antwoordt. Een SEO spider controleert die data dan op problemen die crawlen en indexeren in de weg zitten.
Is er een gratis SEO spider?
Ja. De SEO Spider van Screaming Frog heeft een gratis versie voor tot 500 URL's per crawl, en Neova heeft een Free-abonnement voor tot 1.000 URL's per crawl met alle 694 checks. De gids over gratis SEO-crawlers vergelijkt de opties.
Is er een SEO spider online?
Ja. Cloudcrawlers zoals Lumar en JetOctopus, Sitebulb Cloud en de site-audits in Semrush en Ahrefs draaien in de browser. Neova draait op je computer en in de browser als Neova Online, op hetzelfde account.
Maakt een SEO spider mijn site trager?
Niet op een beleefde snelheid. Een paar URL's per seconde is licht werk voor de meeste servers, en goede spiders vertragen uit zichzelf als een server 429 of 503 antwoordt. Crawl alleen sneller op een site die van jou is, of met toestemming van de eigenaar.
Kan ik een SEO spider voor Mac downloaden?
Ja. Neova draait native op Macs met Apple silicon, en op Windows en Linux. Download Neova en begin met het Free-abonnement.