robots.txt-tester: zo test je robots.txt-regels voordat ze de verkeerde pagina's blokkeren
robots.txt is een kort tekstbestand met veel macht. Eén regel kan een zoekmachine weghouden van een map die je wilde verbergen, of van de hele site die je wilde laten ranken. Een robots.txt-tester vertelt je URL voor URL wat elke crawler mag ophalen, zodat jij het eerder weet dan Googlebot.
Wat een robots.txt-tester doet
Een robots.txt-tester neemt een robots.txt-bestand en een URL, kiest de groep regels die voor een bepaalde user agent geldt, en vertelt je of die URL toegestaan of geblokkeerd is, en welke regel dat besliste. Een goede wijst ook regels aan die de parser niet kan lezen, velden die hij negeert en regels die elkaar opheffen.
Eén URL tegelijk testen is handig voor een snelle vraag. Elke URL van een crawl testen vangt de verrassingen: een regel geschreven voor één map die ook een productfilter raakt, of een wildcard die de CSS blokkeert die je pagina's nodig hebben om te renderen.
Google heeft zijn robots.txt-tester stopgezet
Jarenlang had Search Console een robots.txt-tester waarin je het bestand kon bewerken en URL's ertegen kon testen. Eind 2023 zette Google hem stop en verving hem door het robots.txt-rapport. Het rapport toont welke robots.txt-bestanden Google vond voor de top 20 hosts van een property, wanneer elk voor het laatst werd gecrawld, en eventuele waarschuwingen of fouten. Je kunt er ook een nieuwe crawl van het bestand aanvragen na een dringende correctie.
Het rapport vertelt je hoe Google je live bestand las. Het test geen regel die nog niet live is, en het test niet je hele URL-lijst tegen het bestand. Daarvoor heb je een aparte tester nodig. Google publiceert zijn eigen opensource robots.txt-parser, en Bing Webmaster Tools heeft een robots.txt-tester die handig is om te controleren hoe Bingbot een bestand leest.
Hoe robots.txt-regels werken
Het bestand staat in de root van een host, bijvoorbeeld https://www.example.com/robots.txt. De regels zijn vastgelegd in RFC 9309, het Robots Exclusion Protocol, en Google documenteert hoe het ze leest in Hoe Google de robots.txt-specificatie interpreteert. Een bestand bestaat uit groepen. Elke groep begint met een of meer User-agent-regels, gevolgd door Allow- en Disallow-regels:
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
De punten die testers controleren, zoals Google ze documenteert. Het volledige naslagwerk over robots.txt van SEO ProCheck loopt elk veld langs.
- Eén groep per crawler. Een crawler volgt alleen de meest specifieke groep die bij zijn naam past. Heeft Googlebot een eigen groep, dan negeert hij de
*-groep volledig. - De langste match wint. Passen een Allow en een Disallow allebei op een URL, dan geldt de regel met het langste pad. Bij gelijkspel gebruikt Google de minst beperkende regel.
- Twee wildcards.
*past op elke reeks tekens en$markeert het einde van de URL. - Paden zijn hoofdlettergevoelig.
Disallow: /Adminblokkeert/adminniet. - Eén bestand per host. Regels gelden alleen voor het protocol, de host en de poort waarvandaan het bestand geleverd wordt. Een subdomein heeft een eigen bestand nodig.
Wat robots.txt niet doet
robots.txt regelt het crawlen, niet het indexeren. De introductie tot robots.txt van Google is duidelijk: een geblokkeerde URL kan toch geïndexeerd worden als andere pagina's ernaar linken, meestal getoond zonder beschrijving. Wil je een pagina uit de zoekresultaten, laat die dan crawlen en gebruik in plaats daarvan noindex. Een pagina die Google niet kan ophalen, is een pagina waarvan Google de noindex nooit ziet.
Nog een paar beperkingen die goed zijn om te weten:
- Geen noindex-regel. Google stopte in 2019 met het ondersteunen van noindex in robots.txt, samen met de regels voor nofollow en crawl-delay daarin.
- Geen crawl-delay voor Google. Googlebot negeert
Crawl-delay. Sommige andere crawlers lezen het wel, en daarom kan een waarde voor elke user agent ze flink vertragen. - Geen beveiliging. Het bestand is openbaar en beleefde crawlers volgen het vrijwillig. Alles wat privé is, heeft een login nodig.
Veelgemaakte fouten in robots.txt die een tester vangt
| Fout | Gevolg | Oplossing |
|---|---|---|
Disallow: / achtergebleven van staging | Hele site geblokkeerd | Verwijder de regel |
| Benoemde groep zonder gedeelde regels | *-regels vervallen voor die bot | Kopieer de gedeelde regels erin |
| Geblokkeerde CSS, JavaScript, afbeeldingen | Pagina kan niet renderen | Sta de bestanden toe |
| Wildcard te breed | /*? blokkeert filters, pagina's | Maak het patroon smaller |
| Regel vóór User-agent, typfout | Regel overgeslagen | Herstel de syntaxis |
| Disallow om te deïndexeren | noindex nooit gelezen | Toestaan, daarna noindex |
| www en non-www verschillen | Regels verschillen per host | Lever één bestand |
Een URL blokkeren die je ook in je XML-sitemap vermeldt, geeft tegenstrijdige signalen. De gids XML sitemap checker behandelt die kant.
Serverfouten en bestandsgrootte
Hoe het bestand geleverd wordt, telt net zo zwaar als wat erin staat. Google documenteert elk geval:
| Geval | Wat Google doet | Hoe lang |
|---|---|---|
| 4xx, geen 429 | Crawlt alsof er geen bestand is | Tot het opgelost is |
| 5xx of 429 | Stopt met het crawlen van de site | Eerste 12 uur |
| Faalt nog steeds | Gebruikt de laatste goede kopie | Tot 30 dagen |
| Bestand groter dan 500 KiB | Negeert de rest | Voorbij 500 KiB |
| Elke wijziging | Gebruikt de gecachete kopie | Tot 24 uur |
De aanvraag voor een nieuwe crawl in het robots.txt-rapport is bedoeld voor dringende correcties. Een robots.txt die op het verkeerde moment een time-out geeft, kan het crawlen van de hele site pauzeren; de gids over crawlbudget legt uit waarom dat het meest telt op grote sites.
Wat we in onze eigen robots.txt vonden
Bij onze eigen SEO-controle van neova.app op 20 november 2026 vonden we twee regels die meer blokkeerden dan bedoeld:
| Wat er geblokkeerd was | Geraakte pagina's | Wat Google zag | Oplossing |
|---|---|---|---|
| E-mailscript van Cloudflare onder /cdn-cgi/ | 1.320 | Een script dat Google niet kon ophalen | Dat script toegestaan |
| /favicon en /apple-touch-icon.png | Elk resultaat | Een gewone letter, geen logo | Beide bestanden toegestaan |
De faviconbestanden zaten achter een Disallow: /-regel. De richtlijnen voor favicons van Google vereisen dat het bestand crawlbaar is voor Googlebot-Image, dus de zoekresultaten toonden een letter in plaats van ons logo naast neova.app. Geen van beide regels zag er in het bestand verkeerd uit. Beide kwamen pas aan het licht toen de regels werden getest tegen elke URL en elk bestand dat de pagina's laden.
Zo test je robots.txt veilig
- Crawl de site zodat je een volledige lijst echte URL's hebt, niet alleen de paar die je je herinnert.
- Test het live bestand tegen die lijst voor elke crawler die je belangrijk vindt: Googlebot, Googlebot-Image, Bingbot en de AI-crawlers.
- Schrijf de wijziging als concept en test het concept tegen dezelfde lijst. Kijk naar de URL's die nieuw geblokkeerd en nieuw toegestaan worden.
- Controleer de resources. Zorg dat geen indexeerbare pagina haar scripts, stylesheets of afbeeldingen verliest.
- Zet het live en bevestig daarna in het robots.txt-rapport van Search Console dat Google de nieuwe versie zonder fouten heeft opgehaald.
- Crawl opnieuw en vergelijk, zodat een onbedoelde wijziging later wordt opgemerkt.
Beslis je wat AI-crawlers mogen ophalen, dan somt de gids over AI-crawlers hun namen op en wat elk doet. Geblokkeerde pagina's komen ook terug in de gids indexeerbaarheid checken.
robots.txt testen met Neova
De robots.txt-tester van Neova legt elke regel van het live bestand, of van een concept, in gewone woorden uit, zoals Google het documenteert en RFC 9309 het vastlegt, met de gecrawlde URL's waarop elke regel past. De weergave Alle crawlers toont wat Googlebot, Bingbot en de AI-crawlers mogen ophalen, met de URL's waarvoor elk geblokkeerd is. De tester meldt wanneer de eigen groep van een crawler de regels van de *-groep laat vallen, en de concepttest somt elke URL van de crawl op die een wijziging nieuw zou blokkeren of nieuw zou toestaan. Daarna kun je crawlen volgens het concept om het volledige effect te zien. De checks erachter:
- robots.txt heeft ongeldige syntaxis of onbekende velden
- robots.txt is onbereikbaar of te groot, voor 5xx, 429, geen respons of meer dan 500 KiB
- Interne URL wordt geblokkeerd door robots.txt
- HTML-pagina gebruikt een door robots.txt geblokkeerd JavaScript-bestand, stylesheet en afbeelding
- Crawl-delay is ingesteld voor alle user agents in robots.txt
- robots.txt van een hostvariant wijkt af van de canonical host
- Regels in robots.txt veranderd sinds de vorige crawl
- Favicon ontbreekt, is kapot of is geblokkeerd, ook een favicon die voor Googlebot-Image geblokkeerd is
- Geblokkeerde URL staat in een XML-sitemap
Neova bewaart elke robots.txt-versie die de crawls lazen, zodat je ziet wanneer een regel veranderde. Met de instelling User agent kun je crawlen als Googlebot, Bingbot, een AI-crawler of een eigen string. Bekijk de functies of download Neova.
Vragen
Heeft Google nog een robots.txt-tester?
Nee. Google zette de robots.txt-tester in Search Console in 2023 stop en verving hem door het robots.txt-rapport, dat toont hoe Google je live bestand las en eventuele fouten. Om een wijziging te testen voordat ze live is, gebruik je een aparte robots.txt-tester.
Hoe test ik of een URL door robots.txt geblokkeerd wordt?
Zoek de groep die bij de user agent van de crawler past, en daarna het langste Allow- of Disallow-pad dat op de URL past. Die regel beslist. Een robots.txt-tester doet dit voor je en noemt de regel, voor één URL of voor elke URL van een crawl. De robots.txt FAQ van SEO ProCheck beantwoordt de randgevallen.
Voorkomt robots.txt dat een pagina geïndexeerd wordt?
Nee. Het stopt het crawlen. Een geblokkeerde URL kan toch geïndexeerd worden als andere pagina's ernaar linken. Gebruik noindex op een pagina die Google kan crawlen als je die uit de zoekresultaten wilt.
Waarom negeert Googlebot mijn User-agent: *-regels?
Omdat het bestand een groep heeft met de naam Googlebot. Een crawler volgt alleen de meest specifieke groep die bij hem past, dus kopieer de gedeelde regels ook naar de groep voor Googlebot.
Hoe lang duurt het voordat een wijziging in robots.txt werkt?
Google cachet robots.txt in het algemeen tot 24 uur. Na een dringende correctie kun je een nieuwe crawl aanvragen in het robots.txt-rapport van Search Console.