Testador de robots.txt: como testar as regras antes que bloqueiem as páginas erradas
O robots.txt é um arquivo de texto curto com muito poder. Uma linha pode manter um buscador longe de uma pasta que você queria esconder, ou do site inteiro que você queria ranquear. Um testador de robots.txt diz, URL por URL, o que cada crawler pode buscar, para você descobrir antes do Googlebot.
O que um testador de robots.txt faz
Um testador de robots.txt recebe um arquivo robots.txt e uma URL, escolhe o grupo de regras que se aplica a um user agent e diz se aquela URL está permitida ou bloqueada, e qual linha decidiu. Um bom testador também aponta as linhas que o parser não consegue ler, os campos que ele ignora e as regras que se anulam.
Testar uma URL de cada vez é útil para uma pergunta rápida. Testar todas as URLs de um crawl é o que pega as surpresas: uma regra escrita para uma pasta que também pega um filtro de produtos, ou um curinga que bloqueia o CSS de que as suas páginas precisam para renderizar.
O Google aposentou o seu testador de robots.txt
Durante anos, o Search Console teve um Testador de robots.txt em que você podia editar o arquivo e testar URLs nele. No fim de 2023, o Google o aposentou e o substituiu pelo relatório de robots.txt. O relatório mostra quais arquivos robots.txt o Google encontrou para os 20 principais hosts de uma propriedade, quando cada um foi rastreado pela última vez e eventuais avisos ou erros. Ele também permite pedir um novo rastreamento do arquivo depois de uma correção urgente.
O relatório diz como o Google leu o seu arquivo ao vivo. Ele não testa uma regra que ainda não está no ar e não roda a sua lista inteira de URLs contra o arquivo. Para isso, você precisa de um testador à parte. O Google publica o seu próprio parser de robots.txt open source, e o Bing Webmaster Tools tem um testador de robots.txt que é útil para conferir como o Bingbot lê um arquivo.
Como funcionam as regras do robots.txt
O arquivo fica na raiz de um host, por exemplo https://www.example.com/robots.txt. As regras são definidas pelo RFC 9309, o Robots Exclusion Protocol, e o Google documenta como as lê em Como o Google interpreta a especificação do robots.txt. Um arquivo é feito de grupos. Cada grupo começa com uma ou mais linhas User-agent, seguidas de regras Allow e Disallow:
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
Os pontos que os testadores verificam, conforme o Google os documenta. A referência completa de robots.txt do SEO ProCheck passa por todos os campos.
- Um grupo por crawler. Um crawler segue só o grupo mais específico que combina com o nome dele. Se o Googlebot tem o seu próprio grupo, ele ignora completamente o grupo
*. - A correspondência mais longa vence. Quando um Allow e um Disallow combinam com a mesma URL, vale a regra com o caminho mais longo. Em caso de empate, o Google usa a regra menos restritiva.
- Dois curingas.
*corresponde a qualquer sequência de caracteres e$marca o fim da URL. - Os caminhos diferenciam maiúsculas de minúsculas.
Disallow: /Adminnão bloqueia/admin. - Um arquivo por host. As regras valem só para o protocolo, o host e a porta de onde o arquivo é servido. Um subdomínio precisa do seu próprio arquivo.
O que o robots.txt não faz
O robots.txt controla o rastreamento, não a indexação. A introdução ao robots.txt do Google deixa claro que uma URL bloqueada ainda pode ser indexada se outras páginas linkarem para ela, normalmente exibida sem descrição. Se você quer uma página fora dos resultados de busca, deixe-a ser rastreada e use noindex. Uma página que o Google não consegue buscar é uma página cujo noindex ele nunca vê.
Alguns outros limites que vale conhecer:
- Nada de linha noindex. O Google deixou de suportar noindex no robots.txt em 2019, assim como as regras nofollow e crawl-delay no arquivo.
- Nada de crawl-delay para o Google. O Googlebot ignora
Crawl-delay. Alguns outros crawlers o leem, e é por isso que um valor definido para todos os user agents pode deixá-los muito mais lentos. - Nada de segurança. O arquivo é público, e os crawlers educados o seguem por escolha. Qualquer coisa privada precisa de login.
Erros comuns de robots.txt que um testador pega
| Erro | Efeito | Correção |
|---|---|---|
Disallow: / herdado do staging | Site inteiro bloqueado | Remova a linha |
| Grupo nomeado sem as regras compartilhadas | Regras de * descartadas para esse bot | Copie as regras compartilhadas para o grupo |
| CSS, JavaScript e imagens bloqueados | A página não consegue renderizar | Permita os arquivos |
| Curinga amplo demais | /*? bloqueia filtros e páginas | Restrinja o padrão |
| Regra antes do User-agent, erro de digitação | Linha ignorada | Corrija a sintaxe |
| Disallow para desindexar | O noindex nunca é lido | Permita e use noindex |
| www e sem www diferem | As regras mudam conforme o host | Sirva um só arquivo |
Bloquear uma URL que você também lista no seu sitemap XML manda sinais contraditórios. O guia de verificador de sitemap XML trata desse lado.
Erros de servidor e tamanho do arquivo
Como o arquivo é servido importa tanto quanto o que ele diz. O Google documenta cada caso:
| Caso | O que o Google faz | Por quanto tempo |
|---|---|---|
| 4xx, exceto 429 | Rastreia como se não houvesse arquivo | Até ser corrigido |
| 5xx ou 429 | Para de rastrear o site | Primeiras 12 horas |
| Continua falhando | Usa a última cópia boa | Até 30 dias |
| Arquivo acima de 500 KiB | Ignora o resto | Depois de 500 KiB |
| Qualquer mudança | Usa a cópia em cache | Até 24 horas |
O pedido de novo rastreamento no relatório de robots.txt serve para correções urgentes. Um robots.txt que dá timeout na hora errada pode pausar o rastreamento do site inteiro; o guia de crawl budget explica por que isso pesa mais em sites grandes.
O que encontramos no nosso próprio robots.txt
A nossa própria revisão de SEO do neova.app, em 20 de novembro de 2026, encontrou duas regras que bloqueavam mais do que queríamos:
| O que estava bloqueado | Páginas afetadas | O que o Google via | Correção |
|---|---|---|---|
| Script de e-mail da Cloudflare em /cdn-cgi/ | 1.320 | Um script que ele não conseguia buscar | Permitimos esse script |
| /favicon e /apple-touch-icon.png | Todos os resultados | Uma letra simples, sem logo | Permitimos os dois arquivos |
Os arquivos de favicon estavam atrás de uma regra Disallow: /. As diretrizes de favicon do Google exigem que o arquivo possa ser rastreado pelo Googlebot-Image, então os resultados de busca mostravam uma letra em vez do nosso logo ao lado de neova.app. Nenhuma das regras parecia errada no arquivo. As duas só apareceram quando as regras foram testadas contra todas as URLs e arquivos que as páginas carregam.
Como testar o robots.txt com segurança
- Rastreie o site para ter uma lista completa de URLs reais, e não só as poucas de que você se lembra.
- Teste o arquivo ao vivo contra essa lista para cada crawler que importa para você: Googlebot, Googlebot-Image, Bingbot e os crawlers de IA.
- Escreva a mudança como rascunho e teste o rascunho contra a mesma lista. Veja as URLs que passam a ser bloqueadas e as que passam a ser permitidas.
- Confira os recursos. Garanta que nenhuma página indexável perca os seus scripts, folhas de estilo ou imagens.
- Publique e depois confirme no relatório de robots.txt do Search Console que o Google buscou a nova versão sem erros.
- Rastreie de novo e compare, para pegar qualquer mudança acidental mais adiante.
Se você está decidindo o que os crawlers de IA podem buscar, o guia de crawlers de IA lista os nomes deles e o que cada um faz. As páginas bloqueadas também aparecem no guia de verificador de indexabilidade.
Teste o robots.txt com a Neova
O Testador de robots.txt da Neova explica cada linha do arquivo ao vivo, ou de um rascunho, em palavras simples, como o Google documenta e o RFC 9309 define, com as URLs rastreadas que cada regra pega. A visão Todos os crawlers mostra o que o Googlebot, o Bingbot e os crawlers de IA podem buscar, com as URLs bloqueadas para cada um. Ela avisa quando o grupo próprio de um crawler descarta as regras do grupo *, e o teste do rascunho lista cada URL do crawl que uma mudança passaria a bloquear ou a permitir. Depois você pode rastrear respeitando o rascunho para ver o efeito completo. As verificações por trás:
- robots.txt com sintaxe inválida ou campos desconhecidos
- robots.txt inacessível ou grande demais, para 5xx, 429, ausência de resposta ou mais de 500 KiB
- URL interna bloqueada pelo robots.txt
- Página HTML usa um arquivo JavaScript bloqueado pelo robots.txt, folha de estilo e imagem
- Crawl-delay definido para todos os user agents no robots.txt
- robots.txt de uma variante de host difere do host canônico
- Regras do robots.txt mudaram desde o crawl anterior
- Favicon ausente, quebrado ou bloqueado, inclusive um favicon bloqueado para o Googlebot-Image
- URL bloqueada pelo robots.txt listada em um sitemap XML
A Neova guarda cada versão do robots.txt que os seus crawls leram, para você ver quando uma regra mudou. Com a configuração User agent, você pode rastrear como Googlebot, Bingbot, um crawler de IA ou uma string personalizada. Veja os Recursos ou baixe a Neova.
Perguntas
O Google ainda tem um testador de robots.txt?
Não. O Google aposentou o Testador de robots.txt do Search Console em 2023 e o substituiu pelo relatório de robots.txt, que mostra como o Google leu o seu arquivo ao vivo e eventuais erros. Para testar uma mudança antes de ela ir ao ar, use um testador de robots.txt à parte.
Como testo se uma URL está bloqueada pelo robots.txt?
Encontre o grupo que combina com o user agent do crawler e depois o caminho Allow ou Disallow mais longo que combina com a URL. Essa regra decide. Um testador de robots.txt faz isso por você e indica a linha, para uma URL ou para todas as URLs de um crawl. O FAQ de robots.txt do SEO ProCheck responde aos casos-limite.
O robots.txt impede que uma página seja indexada?
Não. Ele impede o rastreamento. Uma URL bloqueada ainda pode ser indexada se outras páginas linkarem para ela. Use noindex em uma página que o Google possa rastrear se você a quiser fora dos resultados de busca.
Por que o Googlebot ignora as minhas regras de User-agent: *?
Porque o arquivo tem um grupo com o nome do Googlebot. Um crawler segue só o grupo mais específico que combina com ele, então copie as regras compartilhadas também para o grupo do Googlebot.
Quanto tempo uma mudança no robots.txt leva para valer?
O Google geralmente faz cache do robots.txt por até 24 horas. Depois de uma correção urgente, você pode pedir um novo rastreamento no relatório de robots.txt do Search Console.