NeovaGeavanceerd SEO-platform

SEO Spider: wat het is, hoe het werkt en hoe je er een kiest

Een SEO spider is een programma dat een website link voor link doorloopt, zoals een zoekmachine dat doet, en noteert wat elke URL antwoordt. Dit is hoe hij onder de motorkap werkt, wat je test voordat je zijn cijfers vertrouwt en welke je kunt proberen.

Een crawler kiezenseo spiderBijgewerkt op 21 november 2026Door het Neova-team

Wat een SEO spider is

Het web is een web, dus de programma's die er via links doorheen bewegen, werden spiders genoemd. Je hoort ook crawler, bot en robot. Ze betekenen allemaal in de basis hetzelfde: software die een pagina ophaalt, de links leest en doorgaat naar de pagina's waar die links naartoe wijzen.

Zoekmachines draaien de grootste. Googlebot is een spider. Een SEO spider is hetzelfde idee, gericht op je eigen site, gebouwd om te rapporteren waar een zoekmachine over zou struikelen: kapotte links, redirects, geblokkeerde pagina's, ontbrekende titles, dubbele content en pagina's waar niets naar linkt.

Veel mensen kennen de term van Screaming Frog, wiens desktopcrawler de SEO Spider heet, en de term wordt nu voor de hele categorie gebruikt. Wat de naam op de doos ook is, een SEO spider verschilt van twee tools waarmee hij vaak verward wordt:

  • Een scraper haalt specifieke data uit pagina's, zoals prijzen. Een spider brengt de hele site in kaart en hoe de pagina's met elkaar verbonden zijn.
  • Een backlinktool leest andere sites om links naar jou te vinden. Een spider leest jouw site, van binnenuit.

Hoe een SEO spider werkt, stap voor stap

Onder de motorkap draait elke SEO spider dezelfde lus tot de URL's op zijn of hij een limiet raakt die jij instelde:

  1. Begin met een wachtrij. De wachtrij bevat de start-URL, en vaak ook de URL's uit de XML-sitemaps.
  2. Controleer de regels. Voordat hij een URL ophaalt, controleert de spider robots.txt en zijn eigen scope-instellingen: deze host, deze map, deze patronen. SEO ProCheck houdt een volledig naslagwerk voor robots.txt bij.
  3. Ophalen en vastleggen. Hij vraagt de URL op en bewaart het antwoord: statuscode, headers, responstijd en de body.
  4. De pagina parsen. Uit de HTML leest hij de title, meta robots, canonical, koppen en elke link, met de ankertekst.
  5. De links opschonen. Relatieve links worden volledige URL's, fragmenten vallen weg, en elke URL wordt vergeleken met de al geziene, zodat niets twee keer wordt opgehaald.
  6. Zet wat nieuw is in de wachtrij. Nieuwe URL's binnen de scope gaan achteraan de wachtrij. Die op volgorde afwerken geeft elke pagina haar crawldiepte, het aantal klikken vanaf de start-URL.
  7. Wachten, dan herhalen. Een beleefde spider spreidt zijn verzoeken en vertraagt als de server tegenstribbelt.

Als de wachtrij leeg is, begint het echte werk: de spider vergelijkt elke pagina met de andere en met de regels die zoekmachines publiceren, en zet de data om in bevindingen. Sommige spiders renderen pagina's eerst ook in een browser, om links en content te zien die pas verschijnen nadat JavaScript draait.

Wat een SEO spider per URL vastlegt

De bevindingen zijn maar zo goed als de data eronder. Voor elke URL bewaart een goede SEO spider:

GebiedWat hij vastlegt
ResponsStatuscode, redirectdoel, headers, responstijd, grootte
IndexeringssignalenMeta robots, X-Robots-Tag, canonical, of robots.txt de URL toestaat
ContentTitle, meta description, koppen, aantal woorden
LinksInlinks en outlinks, ankertekst, waar op de pagina elke link staat
StructuurCrawldiepte, map, de template die de pagina gebruikt
OntdekkingHoe de URL gevonden is: een link, een XML-sitemap, een redirect

Daaruit volgen de checks. Een paar voorbeelden van hoe die eruitzien: Interne URL geeft 4xx, 5xx of geen respons, Interne URL zit in een redirectketen, Wees-URL geeft 200 en is indexeerbaar en URL met 4xx staat in een XML-sitemap. De gids over de technische SEO-crawler loopt de volledige lijst door van gebieden die een audit moet dekken.

SEO spider downloaden of SEO spider online

Mensen zoeken op beide, en het zijn twee verschillende opzetten.

DesktopspiderOnline spider
Draait op
Data bewaardJe schijfDe servers van de leverancier
Crawlomvang bepaald doorJe eigen computerJe abonnement
Staging achter een VPN✓◐ Met een IP-allowlist
Crawlt met de laptop dicht–✓
Een crawl delenEen bestand of een syncEen link

Geen van beide is in het algemeen beter. Consultants die veel sites auditen, kiezen vaak een desktopapp; teams die een paar grote sites de klok rond volgen, kiezen vaak de cloud. Sommige tools bieden allebei.

Wat je test voordat je een SEO spider vertrouwt

Hoe een spider zich op een echte site gedraagt, telt meer dan zijn lijst met functies. Crawl een site die je goed kent en kijk naar het volgende:

  • Klopt het aantal URL's? Vergelijk het met je XML-sitemaps. Een veel hoger getal betekent meestal parameters, filters of een crawlval, en de tool moet je helpen zien welke.
  • Hoe beleefd is hij? Zoek een snelheidsinstelling in URL's per seconde en automatisch vertragen als de server 429 of 503 antwoordt.
  • Hoe gaat hij om met robots.txt? Hij moet die standaard respecteren, en je die laten negeren voor een site die van jou is, zoals staging.
  • Kan hij een lijst crawlen? Een lijstmodus, om na een migratie een set URL's te controleren, scheelt veel tijd.
  • Rendert hij JavaScript, en toont hij het verschil? De ruwe en de gerenderde HTML naast elkaar zien, vertelt je of rendering voor de site uitmaakt.
  • Kan hij stoppen en hervatten? Grote crawls worden onderbroken. Verdergaan waar hij stopte, wint van opnieuw beginnen.
  • Kun je iets met een bevinding? Open één melding en kijk of die zegt waarom het ertoe doet en hoe je het oplost.

Dit is de test van het aantal URL's op onze eigen site. Neova crawlde seoprocheck.com op 17 oktober 2026:

seoprocheck.com, volledige crawlAantal
Opgehaalde URL's10.222
Tijd61 minuten
HTML-pagina's die 200 antwoorden4.561
URL's in de XML-sitemaps1.835
Bereikt via links, niet in een sitemap2.727
In een sitemap, door geen enkele link bereikt1
Volledigheid99.98%
Pagina-inhoud, ruw1,66 GB
Gecomprimeerd op schijf opgeslagen340 MB

De crawl vond veel meer URL's dan de sitemaps opsommen. Het grootste deel van het verschil zijn pagina's die prima te crawlen zijn maar in de sitemap ontbreken, en dat is wat Indexeerbare URL staat in geen enkele XML-sitemap rapporteert. De ene vermelde URL die geen link bereikte, is een wees-URL in een XML-sitemap. Op een grote site gaat crawlbudget bij zulke gaten tellen.

SEO-spidertools die je moet kennen

Er zijn goede opties voor elk soort werk. Dit is waar elk om bekendstaat, volgens de eigen pagina's van elk bedrijf, gelezen op 11 en 21 november 2026:

ToolDraait opUitproberenBekend om
Screaming Frog SEO Spider500 URL's gratisConfiguratie, extractie, commandline
SitebulbProefperiode van 14 dagen300+ geprioriteerde Hints
LumarEen voorstelGrote en kleine crawls tegelijk
JetOctopusProefperiode van 7 dagenOnbeperkt crawls en gebruikers
Semrush Site AuditMet de suiteOnderdeel van een SEO-suite
Ahrefs Site AuditMet de suiteOnderdeel van een SEO-suite
Neova1.000 URL's gratis694 checks, elk met een bron

De desktopcrawler van Screaming Frog gaf de categorie haar naam, en de gratis versie vraagt geen registratie. De vergelijkingspagina zet ze functie voor functie naast elkaar, met een bron voor elk vinkje. Gebruik je Screaming Frog al en wil je zien hoe een andere crawler ernaast past, dan behandelt de gids over een Screaming Frog-alternatief dat, en de gids over gratis SEO-crawlers vergelijkt de gratis abonnementen.

De spidercrawl van Neova

Neova is een desktop SEO-crawler voor Mac (Apple silicon), Windows en Linux, plus Neova Online in de browser, van Neova LLC. Zijn modus die links volgt, heet letterlijk Spider: Nieuwe crawl, Crawlmodus, Spider. Hij volgt de interne links vanaf de start-URL, dan de XML-sitemaps, en voert 694 checks uit op wat hij ophaalde, elk met een bron.

  • Check van de start-URL: voor het crawlen kiest hij de versie van de homepage die 200 antwoordt en zegt hij wat de andere versies doen.
  • Standaard beleefd: 3 URL's per seconde, halveert zijn snelheid als de server vertraagt of 429 of 503 antwoordt, en respecteert Retry-After. Tot 50 per seconde op een site waarvan je bevestigt dat die van jou is.
  • Elke URL verklaard: de Uitsplitsing van URL's zet elke URL in één bak (schone pagina's, parametervarianten, misvormde URL's, crawlvallen, afbeeldingen enzovoort), en Ontdekking biedt aan een val uit te sluiten terwijl de crawl loopt.
  • Ook een lijstmodus: Lijstcrawl haalt alleen de URL's op die je plakt of uploadt.
  • Grote crawls op schijf: de crawl staat op schijf, niet in het geheugen, en Hervatten zet een gestopte crawl voort met de instellingen hersteld.
  • Rendering als je het nodig hebt: JavaScript-rendering in Chrome, vergeleken met de ruwe HTML.
  • Je oude crawls gaan mee: Crawl importeren opent een Internal-export van Screaming Frog of een URL-export van Sitebulb en voert de checks erop uit.
Een Neova-crawl in uitvoering: 257 van 612 URL's met 2 per seconde, met de Uitsplitsing van URL's, Ontdekking en een live crawlkaart in ringen per klikafstand vanaf de start-URL
Een Neova-crawl in uitvoering: 257 van 612 URL's met 2 per seconde, met de Uitsplitsing van URL's, Ontdekking en een live crawlkaart in ringen per klikafstand vanaf de start-URL

Het Free-abonnement crawlt tot 1.000 URL's per crawl met elke check, en Desktop kun je 14 dagen gratis proberen zonder creditcard. Zie functies en prijzen.

Je eerste spidercrawl

  1. Download Neova voor je computer en open het.
  2. Kies Crawl, dan Nieuwe crawl, typ het adres van de site en klik op Crawl starten.
  3. Volg de eerste minuten. Toont Ontdekking een kalender of een filter die URL's vermenigvuldigt, sluit die dan uit en laat de crawl doorgaan.
  4. Als de checks klaar zijn, begin je bij het Overzicht, dan Alle meldingen, Moet opgelost eerst. Veelvoorkomende eerste vondsten: dubbele titles en meta descriptions langer dan 155 tekens. Onze eigen crawl van seoprocheck.com had er 56 en 582.

De helppagina Je eerste crawl toont elk scherm, en de gids een website crawlen behandelt scope en uitsluitingen uitgebreider.

Vragen

Wat is een SEO spider?

Een programma dat een website crawlt zoals een zoekmachine dat doet: het haalt een pagina op, volgt de links en legt vast wat elke URL antwoordt. Een SEO spider controleert die data dan op problemen die crawlen en indexeren in de weg zitten.

Is er een gratis SEO spider?

Ja. De SEO Spider van Screaming Frog heeft een gratis versie voor tot 500 URL's per crawl, en Neova heeft een Free-abonnement voor tot 1.000 URL's per crawl met alle 694 checks. De gids over gratis SEO-crawlers vergelijkt de opties.

Is er een SEO spider online?

Ja. Cloudcrawlers zoals Lumar en JetOctopus, Sitebulb Cloud en de site-audits in Semrush en Ahrefs draaien in de browser. Neova draait op je computer en in de browser als Neova Online, op hetzelfde account.

Maakt een SEO spider mijn site trager?

Niet op een beleefde snelheid. Een paar URL's per seconde is licht werk voor de meeste servers, en goede spiders vertragen uit zichzelf als een server 429 of 503 antwoordt. Crawl alleen sneller op een site die van jou is, of met toestemming van de eigenaar.

Kan ik een SEO spider voor Mac downloaden?

Ja. Neova draait native op Macs met Apple silicon, en op Windows en Linux. Download Neova en begin met het Free-abonnement.

Neem dit mee

De links naar de assistenten openen met een vraag over deze pagina die al klaarstaat.

Crawl je site met NeovaHet Free-abonnement voert elke check uit op Mac, Windows en Linux. Geen creditcard nodig.

Lees verder