NeovaPlataforma avançada de SEO

Testador de robots.txt: como testar as regras antes que bloqueiem as páginas erradas

O robots.txt é um arquivo de texto curto com muito poder. Uma linha pode manter um buscador longe de uma pasta que você queria esconder, ou do site inteiro que você queria ranquear. Um testador de robots.txt diz, URL por URL, o que cada crawler pode buscar, para você descobrir antes do Googlebot.

Rastreamento e indexaçãoTestador de robots.txtAtualizado em 21 de novembro de 2026Pela equipe da Neova

O que um testador de robots.txt faz

Um testador de robots.txt recebe um arquivo robots.txt e uma URL, escolhe o grupo de regras que se aplica a um user agent e diz se aquela URL está permitida ou bloqueada, e qual linha decidiu. Um bom testador também aponta as linhas que o parser não consegue ler, os campos que ele ignora e as regras que se anulam.

Testar uma URL de cada vez é útil para uma pergunta rápida. Testar todas as URLs de um crawl é o que pega as surpresas: uma regra escrita para uma pasta que também pega um filtro de produtos, ou um curinga que bloqueia o CSS de que as suas páginas precisam para renderizar.

O Google aposentou o seu testador de robots.txt

Durante anos, o Search Console teve um Testador de robots.txt em que você podia editar o arquivo e testar URLs nele. No fim de 2023, o Google o aposentou e o substituiu pelo relatório de robots.txt. O relatório mostra quais arquivos robots.txt o Google encontrou para os 20 principais hosts de uma propriedade, quando cada um foi rastreado pela última vez e eventuais avisos ou erros. Ele também permite pedir um novo rastreamento do arquivo depois de uma correção urgente.

O relatório diz como o Google leu o seu arquivo ao vivo. Ele não testa uma regra que ainda não está no ar e não roda a sua lista inteira de URLs contra o arquivo. Para isso, você precisa de um testador à parte. O Google publica o seu próprio parser de robots.txt open source, e o Bing Webmaster Tools tem um testador de robots.txt que é útil para conferir como o Bingbot lê um arquivo.

Como funcionam as regras do robots.txt

O arquivo fica na raiz de um host, por exemplo https://www.example.com/robots.txt. As regras são definidas pelo RFC 9309, o Robots Exclusion Protocol, e o Google documenta como as lê em Como o Google interpreta a especificação do robots.txt. Um arquivo é feito de grupos. Cada grupo começa com uma ou mais linhas User-agent, seguidas de regras Allow e Disallow:

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

Os pontos que os testadores verificam, conforme o Google os documenta. A referência completa de robots.txt do SEO ProCheck passa por todos os campos.

  • Um grupo por crawler. Um crawler segue só o grupo mais específico que combina com o nome dele. Se o Googlebot tem o seu próprio grupo, ele ignora completamente o grupo *.
  • A correspondência mais longa vence. Quando um Allow e um Disallow combinam com a mesma URL, vale a regra com o caminho mais longo. Em caso de empate, o Google usa a regra menos restritiva.
  • Dois curingas. * corresponde a qualquer sequência de caracteres e $ marca o fim da URL.
  • Os caminhos diferenciam maiúsculas de minúsculas. Disallow: /Admin não bloqueia /admin.
  • Um arquivo por host. As regras valem só para o protocolo, o host e a porta de onde o arquivo é servido. Um subdomínio precisa do seu próprio arquivo.

O que o robots.txt não faz

O robots.txt controla o rastreamento, não a indexação. A introdução ao robots.txt do Google deixa claro que uma URL bloqueada ainda pode ser indexada se outras páginas linkarem para ela, normalmente exibida sem descrição. Se você quer uma página fora dos resultados de busca, deixe-a ser rastreada e use noindex. Uma página que o Google não consegue buscar é uma página cujo noindex ele nunca vê.

Alguns outros limites que vale conhecer:

  • Nada de linha noindex. O Google deixou de suportar noindex no robots.txt em 2019, assim como as regras nofollow e crawl-delay no arquivo.
  • Nada de crawl-delay para o Google. O Googlebot ignora Crawl-delay. Alguns outros crawlers o leem, e é por isso que um valor definido para todos os user agents pode deixá-los muito mais lentos.
  • Nada de segurança. O arquivo é público, e os crawlers educados o seguem por escolha. Qualquer coisa privada precisa de login.

Erros comuns de robots.txt que um testador pega

ErroEfeitoCorreção
Disallow: / herdado do stagingSite inteiro bloqueadoRemova a linha
Grupo nomeado sem as regras compartilhadasRegras de * descartadas para esse botCopie as regras compartilhadas para o grupo
CSS, JavaScript e imagens bloqueadosA página não consegue renderizarPermita os arquivos
Curinga amplo demais/*? bloqueia filtros e páginasRestrinja o padrão
Regra antes do User-agent, erro de digitaçãoLinha ignoradaCorrija a sintaxe
Disallow para desindexarO noindex nunca é lidoPermita e use noindex
www e sem www diferemAs regras mudam conforme o hostSirva um só arquivo

Bloquear uma URL que você também lista no seu sitemap XML manda sinais contraditórios. O guia de verificador de sitemap XML trata desse lado.

Erros de servidor e tamanho do arquivo

Como o arquivo é servido importa tanto quanto o que ele diz. O Google documenta cada caso:

CasoO que o Google fazPor quanto tempo
4xx, exceto 429Rastreia como se não houvesse arquivoAté ser corrigido
5xx ou 429Para de rastrear o sitePrimeiras 12 horas
Continua falhandoUsa a última cópia boaAté 30 dias
Arquivo acima de 500 KiBIgnora o restoDepois de 500 KiB
Qualquer mudançaUsa a cópia em cacheAté 24 horas

O pedido de novo rastreamento no relatório de robots.txt serve para correções urgentes. Um robots.txt que dá timeout na hora errada pode pausar o rastreamento do site inteiro; o guia de crawl budget explica por que isso pesa mais em sites grandes.

O que encontramos no nosso próprio robots.txt

A nossa própria revisão de SEO do neova.app, em 20 de novembro de 2026, encontrou duas regras que bloqueavam mais do que queríamos:

O que estava bloqueadoPáginas afetadasO que o Google viaCorreção
Script de e-mail da Cloudflare em /cdn-cgi/1.320Um script que ele não conseguia buscarPermitimos esse script
/favicon e /apple-touch-icon.pngTodos os resultadosUma letra simples, sem logoPermitimos os dois arquivos

Os arquivos de favicon estavam atrás de uma regra Disallow: /. As diretrizes de favicon do Google exigem que o arquivo possa ser rastreado pelo Googlebot-Image, então os resultados de busca mostravam uma letra em vez do nosso logo ao lado de neova.app. Nenhuma das regras parecia errada no arquivo. As duas só apareceram quando as regras foram testadas contra todas as URLs e arquivos que as páginas carregam.

Como testar o robots.txt com segurança

  1. Rastreie o site para ter uma lista completa de URLs reais, e não só as poucas de que você se lembra.
  2. Teste o arquivo ao vivo contra essa lista para cada crawler que importa para você: Googlebot, Googlebot-Image, Bingbot e os crawlers de IA.
  3. Escreva a mudança como rascunho e teste o rascunho contra a mesma lista. Veja as URLs que passam a ser bloqueadas e as que passam a ser permitidas.
  4. Confira os recursos. Garanta que nenhuma página indexável perca os seus scripts, folhas de estilo ou imagens.
  5. Publique e depois confirme no relatório de robots.txt do Search Console que o Google buscou a nova versão sem erros.
  6. Rastreie de novo e compare, para pegar qualquer mudança acidental mais adiante.

Se você está decidindo o que os crawlers de IA podem buscar, o guia de crawlers de IA lista os nomes deles e o que cada um faz. As páginas bloqueadas também aparecem no guia de verificador de indexabilidade.

Teste o robots.txt com a Neova

O Testador de robots.txt da Neova explica cada linha do arquivo ao vivo, ou de um rascunho, em palavras simples, como o Google documenta e o RFC 9309 define, com as URLs rastreadas que cada regra pega. A visão Todos os crawlers mostra o que o Googlebot, o Bingbot e os crawlers de IA podem buscar, com as URLs bloqueadas para cada um. Ela avisa quando o grupo próprio de um crawler descarta as regras do grupo *, e o teste do rascunho lista cada URL do crawl que uma mudança passaria a bloquear ou a permitir. Depois você pode rastrear respeitando o rascunho para ver o efeito completo. As verificações por trás:

A Neova guarda cada versão do robots.txt que os seus crawls leram, para você ver quando uma regra mudou. Com a configuração User agent, você pode rastrear como Googlebot, Bingbot, um crawler de IA ou uma string personalizada. Veja os Recursos ou baixe a Neova.

Perguntas

O Google ainda tem um testador de robots.txt?

Não. O Google aposentou o Testador de robots.txt do Search Console em 2023 e o substituiu pelo relatório de robots.txt, que mostra como o Google leu o seu arquivo ao vivo e eventuais erros. Para testar uma mudança antes de ela ir ao ar, use um testador de robots.txt à parte.

Como testo se uma URL está bloqueada pelo robots.txt?

Encontre o grupo que combina com o user agent do crawler e depois o caminho Allow ou Disallow mais longo que combina com a URL. Essa regra decide. Um testador de robots.txt faz isso por você e indica a linha, para uma URL ou para todas as URLs de um crawl. O FAQ de robots.txt do SEO ProCheck responde aos casos-limite.

O robots.txt impede que uma página seja indexada?

Não. Ele impede o rastreamento. Uma URL bloqueada ainda pode ser indexada se outras páginas linkarem para ela. Use noindex em uma página que o Google possa rastrear se você a quiser fora dos resultados de busca.

Por que o Googlebot ignora as minhas regras de User-agent: *?

Porque o arquivo tem um grupo com o nome do Googlebot. Um crawler segue só o grupo mais específico que combina com ele, então copie as regras compartilhadas também para o grupo do Googlebot.

Quanto tempo uma mudança no robots.txt leva para valer?

O Google geralmente faz cache do robots.txt por até 24 horas. Depois de uma correção urgente, você pode pedir um novo rastreamento no relatório de robots.txt do Search Console.

Leve isto com você

Os links dos assistentes abrem com uma pergunta sobre esta página já escrita.

Rastreie seu site com a NeovaO plano Free roda todas as verificações no Mac, Windows e Linux. Sem cartão de crédito.

Continue lendo