NeovaPlataforma avançada de SEO

Crawlers de IA: o que GPTBot, ClaudeBot e PerplexityBot fazem e como controlá-los

Os crawlers de IA buscam suas páginas para treinar modelos de linguagem, para montar índices de busca com IA ou para responder na hora à pergunta de uma pessoa. Cada tipo tem o próprio nome no robots.txt, então você pode liberar uns e bloquear outros. Veja quem são, o que cada um faz e como verificar o que eles realmente recebem.

Busca com IAcrawlers de iaAtualizado em 21 de novembro de 2026Pela equipe da Neova

O que são crawlers de IA?

Crawlers de IA, também chamados de crawlers de LLM, são bots operados por empresas de IA. Eles não são todos iguais, e tratá-los como um grupo só leva a regras ruins no robots.txt. Existem três tipos:

  • Crawlers de treinamento coletam páginas que podem ser usadas para treinar modelos futuros. GPTBot e ClaudeBot são os mais conhecidos.
  • Crawlers de busca montam o índice que um assistente de IA consulta quando responde com fontes e links. OAI-SearchBot, Claude-SearchBot e PerplexityBot estão nesse grupo.
  • Fetchers acionados pelo usuário carregam uma página porque uma pessoa perguntou ao assistente sobre ela, por exemplo colando uma URL. ChatGPT-User, Claude-User e Perplexity-User funcionam assim.

Bloquear um crawler de treinamento mantém suas páginas fora de futuros conjuntos de treino. Bloquear um crawler de busca pode deixar você fora das respostas de IA com citações, o que muitas vezes é o contrário do que uma empresa quer.

Os principais crawlers de IA e seus tokens no robots.txt

Cada empresa documenta os próprios bots. Estes são os nomes a usar no robots.txt, com a página da própria empresa no link:

TokenEmpresaTipoBot próprio
GPTBotOpenAITreinamento✓
OAI-SearchBotOpenAIBusca com IA✓
ChatGPT-UserOpenAIPedido do usuário✓
ClaudeBotAnthropicTreinamento✓
Claude-SearchBotAnthropicBusca com IA✓
Claude-UserAnthropicPedido do usuário✓
PerplexityBotPerplexityBusca com IA✓
Perplexity-UserPerplexityPedido do usuário✓
Google-ExtendedGoogleUso do conteúdo pelo Gemini–
Applebot-ExtendedAppleTreinamento de modelos da Apple–
CCBotCommon CrawlArquivo aberto da web✓

Google-Extended e Applebot-Extended são tokens, não bots separados: eles controlam como o conteúdo que o Googlebot ou o Applebot já rastreiam pode ser usado. O Google diz que o Google-Extended não afeta a inclusão na Pesquisa Google nem os rankings. Para limitar como o seu conteúdo aparece nos recursos de IA da Pesquisa do próprio Google, o Google indica controles de snippet como o nosnippet. Para uma lista mais longa com cada bot e a finalidade dele, veja o mapa de crawlers de IA no SEO ProCheck.

Você deve bloquear crawlers de LLM?

Não existe uma única resposta certa. Depende de para que serve o seu conteúdo. Em termos de robots.txt, três políticas cobrem a maioria dos sites:

PolíticaTreinamentoBusca com IAPedido do usuário
Aberto a todos✓✓✓
Citado, sem treinamento–✓✓
Fechado para IA––◐
  • Libere os crawlers de busca se quiser ser citado e linkado na busca do ChatGPT, no Claude e no Perplexity. Para a maioria das empresas, essa é uma visibilidade desejada.
  • Considere bloquear os crawlers de treinamento se o seu conteúdo é o seu produto: notícias, pesquisas, cursos, dados pagos. Bloquear impede coletas futuras; não remove o que já foi coletado.
  • Pense duas vezes antes de bloquear fetchers acionados pelo usuário. Eles agem por uma pessoa que perguntou sobre a sua página, e algumas empresas dizem que eles podem não seguir o robots.txt como os crawlers seguem, daí o "em parte" acima.

Registre a decisão por escrito: quais bots são liberados, quais são bloqueados e por quê. Depois faça o robots.txt corresponder a ela. Uma política escrita é o que impede um futuro desenvolvedor de bloquear tudo durante um redesign.

robots.txt para bots de IA: exemplos

Esta é uma configuração comum: liberar a busca com IA, bloquear o treinamento.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Várias linhas User-agent podem compartilhar um grupo de regras. Fique atento a uma armadilha. Pelo padrão do robots.txt, a RFC 9309, um crawler segue só o grupo mais específico que o nomeia. Se você adicionar um grupo para o GPTBot, o GPTBot ignora totalmente o grupo *, inclusive o seu Disallow: /search/. É por isso que o grupo de busca acima repete as duas regras comuns. Tudo o que um grupo nomeado não bloqueia está liberado.

Para bloquear do treinamento uma única pasta em vez do site inteiro:

User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/

Para fetchers acionados pelo usuário, leia a página de cada empresa antes de confiar no robots.txt.

Teste cada regra contra URLs reais antes de publicar. Encontramos duas regras no neova.app, em 20 de novembro de 2026, que bloqueavam mais do que o pretendido:

Regra atingidaEfeitoAlcance
/cdn-cgi/ bloqueadoScript de e-mail da Cloudflare bloqueado1.320 páginas
Disallow: / sobre os faviconsUma letra simples em vez do logo no GoogleTodos os resultados de busca

As duas foram corrigidas liberando os caminhos. Um Disallow escrito para um bot ou uma pasta atinge todos os arquivos abaixo dele, scripts e ícones incluídos.

Além do robots.txt: firewalls, CDNs e verificação

O robots.txt é um pedido, não uma tranca. As empresas de IA acima documentam como os seus crawlers o tratam, mas outros bots podem ignorá-lo.

  • Verifique também o firewall. Algumas CDNs e WAFs têm configurações que bloqueiam crawlers de IA, às vezes por padrão. Um site pode liberar o GPTBot no robots.txt e ainda assim responder a ele com um 403. Teste o que cada crawler realmente recebe.
  • Verifique antes de confiar. A OpenAI e o Perplexity publicam listas de IPs dos seus bots, e o Google e a Microsoft também. Uma requisição que se apresenta como um bot a partir de um endereço fora da lista da empresa dele não é esse bot.
  • Bloqueie os maus atores na borda. Para scrapers que ignoram o robots.txt, regras na CDN ou no servidor são a única coisa que funciona.

Com que frequência isso dá errado na prática: o SEO ProCheck testou o que os crawlers de IA realmente recebem em 400 sites em Can AI Crawlers Actually Read Your Site? 400 Sites Measured.

Deixe suas páginas legíveis para crawlers de IA

Liberar um crawler é metade do SEO para crawlers de IA. A outra metade é garantir que ele consiga ler o que busca.

  • Coloque o conteúdo principal no HTML. Nem todo crawler roda JavaScript. Se o seu texto só aparece depois que os scripts rodam, considere que alguns crawlers de IA nunca o veem.
  • Vá direto ao ponto. Menus longos e textos padrão antes do texto principal empurram a resposta mais para baixo na página.
  • Não esconda fatos importantes em imagens, PDFs ou widgets. Preços, especificações e contatos devem estar em texto HTML simples.
  • Retorne códigos de status reais. Uma página quebrada ou redirecionada que as respostas de IA citam manda os leitores delas para um erro.
  • Mantenha o HTML leve. O Googlebot lê os primeiros 2 MB de um arquivo HTML; a Neova sinaliza páginas acima disso em HTML acima de 2 MB ou Core Web Vitals fora da faixa boa.
  • O llms.txt é opcional. É um formato proposto, não um padrão da web. Se você publicar um, mantenha-o válido e atualizado.

Como verificar o que os crawlers de IA veem

A Neova mostra o que cada crawler de IA tem permissão para buscar e o que ele realmente recebe, no app desktop e na Neova Online:

  • O que cada assistente de IA recebe pede páginas de amostra como 10 agentes de IA, incluindo ChatGPT, Claude e Perplexity e os crawlers deles, Meta AI, Google-Extended e Common Crawl, e mostra quem tem acesso completo e o que o robots.txt permite.
  • Rastreie como um crawler de IA. Rode um crawl inteiro como GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot ou outro user agent de IA.
  • O Testador de robots.txt mostra o que o Googlebot, o Bingbot e os crawlers de IA podem buscar, com as URLs de que cada um está bloqueado, e avisa quando o grupo próprio de um crawler descarta as regras do grupo *.
  • A tela Renderização mostra quantas páginas precisam de JavaScript e o que cada crawler de IA recebe.
  • Log do servidor, no app desktop, mostra visitas verificadas de crawlers de IA e recusas por URL.
  • Citações em IA do Bing Webmaster Tools e da Visibilidade em IA do Microsoft Clarity, quando você os conecta. Veja Microsoft Clarity.

Verificações para começar: uma requisição com user agent de crawler de busca com IA é bloqueada, uma regra de crawler de IA no robots.txt difere da política escrita, um fetcher de IA acionado pelo usuário é bloqueado, uma página importante restringe snippets ou bloqueia crawlers de busca com IA e bots de IA pedindo URLs que respondem com erro. O plano Free inclui as telas de Busca com IA; veja os Preços ou baixe a Neova.

Checklist de SEO para crawlers de IA

ItemPronto quando
Política escritaCada bot de IA: liberar ou bloquear
robots.txtCorresponde à política
Grupos nomeadosRegras comuns repetidas
Crawlers de busca com IALiberados nas páginas a citar
Firewall e CDNIgual à política
O que cada crawler recebe200 e a página completa
Conteúdo principalNo HTML, logo no início
Fatos importantesEm texto, não em imagens
LogsVisitas verificadas, falsas contadas à parte
Páginas citadasRespondem 200

Perguntas

O que é o GPTBot?

O GPTBot é o crawler da OpenAI que coleta conteúdo que pode ser usado para treinar os modelos dela. Ele é separado do OAI-SearchBot, que encontra páginas para a busca do ChatGPT. Veja a página de crawlers da OpenAI.

Bloquear o GPTBot tira o meu site da busca do ChatGPT?

Não. A OpenAI usa bots separados, e cada um lê as próprias regras do robots.txt. A busca do ChatGPT depende do OAI-SearchBot, então você pode bloquear o GPTBot e continuar liberando o OAI-SearchBot.

O Google-Extended afeta meus rankings no Google?

O Google diz que ele não afeta a inclusão na Pesquisa Google e não é um sinal de ranking. Ele controla se o seu conteúdo pode ser usado pelos modelos Gemini.

Como bloquear crawlers de LLM?

Adicione ao robots.txt um grupo que nomeie cada crawler, como GPTBot, ClaudeBot e CCBot, com Disallow: /. Para bots que ignoram o robots.txt, adicione uma regra no firewall ou na CDN.

Como saber se crawlers de IA visitam o meu site?

Leia os logs do servidor ou da CDN e verifique cada requisição contra a lista de IPs que a empresa dela publica. A ferramenta Log do servidor da Neova faz isso por URL. Veja Importar em vez de conectar para os formatos de log.

Leve isto com você

Os links dos assistentes abrem com uma pergunta sobre esta página já escrita.

Rastreie seu site com a NeovaO plano Free roda todas as verificações no Mac, Windows e Linux. Sem cartão de crédito.

Continue lendo