NeovaGeavanceerd SEO-platform

robots.txt-tester: zo test je robots.txt-regels voordat ze de verkeerde pagina's blokkeren

robots.txt is een kort tekstbestand met veel macht. Eén regel kan een zoekmachine weghouden van een map die je wilde verbergen, of van de hele site die je wilde laten ranken. Een robots.txt-tester vertelt je URL voor URL wat elke crawler mag ophalen, zodat jij het eerder weet dan Googlebot.

Crawlen en indexeringrobots.txt-testerBijgewerkt op 21 november 2026Door het Neova-team

Wat een robots.txt-tester doet

Een robots.txt-tester neemt een robots.txt-bestand en een URL, kiest de groep regels die voor een bepaalde user agent geldt, en vertelt je of die URL toegestaan of geblokkeerd is, en welke regel dat besliste. Een goede wijst ook regels aan die de parser niet kan lezen, velden die hij negeert en regels die elkaar opheffen.

Eén URL tegelijk testen is handig voor een snelle vraag. Elke URL van een crawl testen vangt de verrassingen: een regel geschreven voor één map die ook een productfilter raakt, of een wildcard die de CSS blokkeert die je pagina's nodig hebben om te renderen.

Google heeft zijn robots.txt-tester stopgezet

Jarenlang had Search Console een robots.txt-tester waarin je het bestand kon bewerken en URL's ertegen kon testen. Eind 2023 zette Google hem stop en verving hem door het robots.txt-rapport. Het rapport toont welke robots.txt-bestanden Google vond voor de top 20 hosts van een property, wanneer elk voor het laatst werd gecrawld, en eventuele waarschuwingen of fouten. Je kunt er ook een nieuwe crawl van het bestand aanvragen na een dringende correctie.

Het rapport vertelt je hoe Google je live bestand las. Het test geen regel die nog niet live is, en het test niet je hele URL-lijst tegen het bestand. Daarvoor heb je een aparte tester nodig. Google publiceert zijn eigen opensource robots.txt-parser, en Bing Webmaster Tools heeft een robots.txt-tester die handig is om te controleren hoe Bingbot een bestand leest.

Hoe robots.txt-regels werken

Het bestand staat in de root van een host, bijvoorbeeld https://www.example.com/robots.txt. De regels zijn vastgelegd in RFC 9309, het Robots Exclusion Protocol, en Google documenteert hoe het ze leest in Hoe Google de robots.txt-specificatie interpreteert. Een bestand bestaat uit groepen. Elke groep begint met een of meer User-agent-regels, gevolgd door Allow- en Disallow-regels:

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

De punten die testers controleren, zoals Google ze documenteert. Het volledige naslagwerk over robots.txt van SEO ProCheck loopt elk veld langs.

  • Eén groep per crawler. Een crawler volgt alleen de meest specifieke groep die bij zijn naam past. Heeft Googlebot een eigen groep, dan negeert hij de *-groep volledig.
  • De langste match wint. Passen een Allow en een Disallow allebei op een URL, dan geldt de regel met het langste pad. Bij gelijkspel gebruikt Google de minst beperkende regel.
  • Twee wildcards. * past op elke reeks tekens en $ markeert het einde van de URL.
  • Paden zijn hoofdlettergevoelig. Disallow: /Admin blokkeert /admin niet.
  • Eén bestand per host. Regels gelden alleen voor het protocol, de host en de poort waarvandaan het bestand geleverd wordt. Een subdomein heeft een eigen bestand nodig.

Wat robots.txt niet doet

robots.txt regelt het crawlen, niet het indexeren. De introductie tot robots.txt van Google is duidelijk: een geblokkeerde URL kan toch geïndexeerd worden als andere pagina's ernaar linken, meestal getoond zonder beschrijving. Wil je een pagina uit de zoekresultaten, laat die dan crawlen en gebruik in plaats daarvan noindex. Een pagina die Google niet kan ophalen, is een pagina waarvan Google de noindex nooit ziet.

Nog een paar beperkingen die goed zijn om te weten:

  • Geen noindex-regel. Google stopte in 2019 met het ondersteunen van noindex in robots.txt, samen met de regels voor nofollow en crawl-delay daarin.
  • Geen crawl-delay voor Google. Googlebot negeert Crawl-delay. Sommige andere crawlers lezen het wel, en daarom kan een waarde voor elke user agent ze flink vertragen.
  • Geen beveiliging. Het bestand is openbaar en beleefde crawlers volgen het vrijwillig. Alles wat privé is, heeft een login nodig.

Veelgemaakte fouten in robots.txt die een tester vangt

FoutGevolgOplossing
Disallow: / achtergebleven van stagingHele site geblokkeerdVerwijder de regel
Benoemde groep zonder gedeelde regels*-regels vervallen voor die botKopieer de gedeelde regels erin
Geblokkeerde CSS, JavaScript, afbeeldingenPagina kan niet renderenSta de bestanden toe
Wildcard te breed/*? blokkeert filters, pagina'sMaak het patroon smaller
Regel vóór User-agent, typfoutRegel overgeslagenHerstel de syntaxis
Disallow om te deïndexerennoindex nooit gelezenToestaan, daarna noindex
www en non-www verschillenRegels verschillen per hostLever één bestand

Een URL blokkeren die je ook in je XML-sitemap vermeldt, geeft tegenstrijdige signalen. De gids XML sitemap checker behandelt die kant.

Serverfouten en bestandsgrootte

Hoe het bestand geleverd wordt, telt net zo zwaar als wat erin staat. Google documenteert elk geval:

GevalWat Google doetHoe lang
4xx, geen 429Crawlt alsof er geen bestand isTot het opgelost is
5xx of 429Stopt met het crawlen van de siteEerste 12 uur
Faalt nog steedsGebruikt de laatste goede kopieTot 30 dagen
Bestand groter dan 500 KiBNegeert de restVoorbij 500 KiB
Elke wijzigingGebruikt de gecachete kopieTot 24 uur

De aanvraag voor een nieuwe crawl in het robots.txt-rapport is bedoeld voor dringende correcties. Een robots.txt die op het verkeerde moment een time-out geeft, kan het crawlen van de hele site pauzeren; de gids over crawlbudget legt uit waarom dat het meest telt op grote sites.

Wat we in onze eigen robots.txt vonden

Bij onze eigen SEO-controle van neova.app op 20 november 2026 vonden we twee regels die meer blokkeerden dan bedoeld:

Wat er geblokkeerd wasGeraakte pagina'sWat Google zagOplossing
E-mailscript van Cloudflare onder /cdn-cgi/1.320Een script dat Google niet kon ophalenDat script toegestaan
/favicon en /apple-touch-icon.pngElk resultaatEen gewone letter, geen logoBeide bestanden toegestaan

De faviconbestanden zaten achter een Disallow: /-regel. De richtlijnen voor favicons van Google vereisen dat het bestand crawlbaar is voor Googlebot-Image, dus de zoekresultaten toonden een letter in plaats van ons logo naast neova.app. Geen van beide regels zag er in het bestand verkeerd uit. Beide kwamen pas aan het licht toen de regels werden getest tegen elke URL en elk bestand dat de pagina's laden.

Zo test je robots.txt veilig

  1. Crawl de site zodat je een volledige lijst echte URL's hebt, niet alleen de paar die je je herinnert.
  2. Test het live bestand tegen die lijst voor elke crawler die je belangrijk vindt: Googlebot, Googlebot-Image, Bingbot en de AI-crawlers.
  3. Schrijf de wijziging als concept en test het concept tegen dezelfde lijst. Kijk naar de URL's die nieuw geblokkeerd en nieuw toegestaan worden.
  4. Controleer de resources. Zorg dat geen indexeerbare pagina haar scripts, stylesheets of afbeeldingen verliest.
  5. Zet het live en bevestig daarna in het robots.txt-rapport van Search Console dat Google de nieuwe versie zonder fouten heeft opgehaald.
  6. Crawl opnieuw en vergelijk, zodat een onbedoelde wijziging later wordt opgemerkt.

Beslis je wat AI-crawlers mogen ophalen, dan somt de gids over AI-crawlers hun namen op en wat elk doet. Geblokkeerde pagina's komen ook terug in de gids indexeerbaarheid checken.

robots.txt testen met Neova

De robots.txt-tester van Neova legt elke regel van het live bestand, of van een concept, in gewone woorden uit, zoals Google het documenteert en RFC 9309 het vastlegt, met de gecrawlde URL's waarop elke regel past. De weergave Alle crawlers toont wat Googlebot, Bingbot en de AI-crawlers mogen ophalen, met de URL's waarvoor elk geblokkeerd is. De tester meldt wanneer de eigen groep van een crawler de regels van de *-groep laat vallen, en de concepttest somt elke URL van de crawl op die een wijziging nieuw zou blokkeren of nieuw zou toestaan. Daarna kun je crawlen volgens het concept om het volledige effect te zien. De checks erachter:

Neova bewaart elke robots.txt-versie die de crawls lazen, zodat je ziet wanneer een regel veranderde. Met de instelling User agent kun je crawlen als Googlebot, Bingbot, een AI-crawler of een eigen string. Bekijk de functies of download Neova.

Vragen

Heeft Google nog een robots.txt-tester?

Nee. Google zette de robots.txt-tester in Search Console in 2023 stop en verving hem door het robots.txt-rapport, dat toont hoe Google je live bestand las en eventuele fouten. Om een wijziging te testen voordat ze live is, gebruik je een aparte robots.txt-tester.

Hoe test ik of een URL door robots.txt geblokkeerd wordt?

Zoek de groep die bij de user agent van de crawler past, en daarna het langste Allow- of Disallow-pad dat op de URL past. Die regel beslist. Een robots.txt-tester doet dit voor je en noemt de regel, voor één URL of voor elke URL van een crawl. De robots.txt FAQ van SEO ProCheck beantwoordt de randgevallen.

Voorkomt robots.txt dat een pagina geïndexeerd wordt?

Nee. Het stopt het crawlen. Een geblokkeerde URL kan toch geïndexeerd worden als andere pagina's ernaar linken. Gebruik noindex op een pagina die Google kan crawlen als je die uit de zoekresultaten wilt.

Waarom negeert Googlebot mijn User-agent: *-regels?

Omdat het bestand een groep heeft met de naam Googlebot. Een crawler volgt alleen de meest specifieke groep die bij hem past, dus kopieer de gedeelde regels ook naar de groep voor Googlebot.

Hoe lang duurt het voordat een wijziging in robots.txt werkt?

Google cachet robots.txt in het algemeen tot 24 uur. Na een dringende correctie kun je een nieuwe crawl aanvragen in het robots.txt-rapport van Search Console.

Neem dit mee

De links naar de assistenten openen met een vraag over deze pagina die al klaarstaat.

Crawl je site met NeovaHet Free-abonnement voert elke check uit op Mac, Windows en Linux. Geen creditcard nodig.

Lees verder