NeovaPlataforma avançada de SEO

Análise de logs para SEO: como ler o que o Googlebot realmente faz

Um crawler diz o que um buscador poderia buscar. Os logs do seu servidor dizem o que ele de fato buscou. A análise de logs para SEO é o hábito de ler esses logs para ver onde o Googlebot, o Bingbot e os crawlers de IA gastam o seu tempo, e onde nunca vão.

Auditorias, logs e monitoramentoanálise de logs para seoAtualizado em 21 de novembro de 2026Pela equipe da Neova

O que é análise de arquivos de log?

Todo servidor web grava uma linha para cada requisição que responde: quem pediu, qual URL, quando e o que o servidor respondeu. Essas linhas vão para um access log. A análise de arquivos de log é ler esse log, normalmente filtrado para buscadores e crawlers de IA, e transformá-lo em respostas.

Para SEO, as perguntas são simples. Quais páginas o Googlebot visita, e com que frequência? Quais ele nunca visita? Onde ele esbarra em redirecionamentos e erros? Ele está desperdiçando requisições em URLs que não deveriam existir?

Nenhuma outra fonte responde a isso com o mesmo detalhe. O relatório Estatísticas de rastreamento do Search Console dá um resumo. Um crawl mostra o que os seus links expõem. Só o log mostra cada requisição real.

FonteCada requisiçãoTodos os botsPor URL
Log do servidor✓✓✓
Estatísticas de rastreamento–◐◐
O seu próprio crawl––✓

As Estatísticas de rastreamento cobrem só o Googlebot, em 90 dias, com URLs de amostra. Para um passo a passo mais longo do método, veja log file analysis for SEO no SEO ProCheck.

Por que a análise de logs importa para o SEO

  • Encontre as páginas que o Googlebot ignora. Uma página linkada, indexável e no sitemap que nunca é requisitada é uma página que o Google não acha que vale a viagem.
  • Pegue o desperdício de crawl budget. Parâmetros, URLs facetadas e redirecionamentos antigos aparecem nos logs muito depois de você ter esquecido deles.
  • Veja os erros como o Googlebot os vê. Um 5xx que só acontece sob carga, ou um 429 de um firewall, pode nunca aparecer no seu próprio crawl.
  • Encontre as órfãs. URLs que os bots requisitam e para as quais nenhum link interno leva costumam ser páginas antigas que ainda recebem atenção.
  • Veja os crawlers de IA. GPTBot, ClaudeBot, PerplexityBot e outros também deixam linhas, então você vê o que eles levam e o que lhes é recusado.
  • Confira uma migração. Depois de uma mudança, o log mostra se o Googlebot está seguindo os seus redirecionamentos e chegando às novas URLs.

O que uma linha de log do servidor contém

O formato mais comum é o combined log format do Apache, que também é o padrão do Nginx. Uma linha fica assim:

66.249.66.1 - - [10/Nov/2026:13:55:36 -0600] "GET /shoes/ HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
CampoExemploPor que importa
IP do cliente66.249.66.1A única forma de verificar se o bot é real
Tempo10/Nov/2026:13:55:36Frequência de rastreamento e intervalos de novo rastreamento
RequisiçãoGET /shoes/Qual URL foi buscada
Status200Sucesso, redirecionamento ou erro
Bytes2326Tamanho da resposta
User agentGooglebot/2.1Qual crawler diz estar pedindo

O IIS grava o formato W3C extended, com uma linha #Fields: que nomeia as colunas. CDNs e load balancers, como Cloudflare, CloudFront, load balancers da AWS, Google Cloud, Akamai e Fastly, têm os seus próprios layouts, muitas vezes em JSON. O common format simples do Apache não tem user agent, então nenhum bot pode ser distinguido nele. Peça o combined format.

Como obter os logs do seu servidor

HostOnde fica o log
cPanelMetrics, Raw Access (.gz)
PleskLogs, Manage Log Files
AmazonBucket S3, depois de ativar o logging
Google CloudCloud Logging, depois de ativado
CloudflareLogpush, ou a sua própria conta
Qualquer outroPeça à TI ou à sua hospedagem

Na Amazon e no Google Cloud, o logging de acesso fica desligado até você ativá-lo. Quando pedir um log, mantenha o pedido pequeno e fácil de aprovar:

PeçaValor
Dias30 ou mais
LinhasSó crawlers
CamposHorário, URL, status, user agent, IP
FormatoCombined, não common

Deixar de fora os visitantes comuns mantém dados pessoais fora do pedido, o que as equipes de segurança agradecem. Com menos de 30 dias, páginas rastreadas devagar parecem nunca ter sido visitadas.

Verifique o Googlebot antes de confiar em uma linha

Qualquer um pode colocar Googlebot em uma string de user agent. Os scrapers fazem isso o tempo todo. Antes de contar uma requisição, confira se ela veio da empresa que ela nomeia:

BotO DNS reverso termina emLista de IPs publicada
Googlebotgooglebot.com, google.com, googleusercontent.com✓
Bingbotsearch.msn.com✓
GPTBot, OAI-SearchBot, ChatGPT-UserUse a lista de IPs✓
PerplexityBot, Perplexity-UserUse a lista de IPs✓

Para o DNS, faça uma consulta reversa do IP, confira o nome e depois uma consulta direta para confirmar que ele aponta de volta para o mesmo IP. Uma requisição que nomeia um bot mas não passa na verificação não é desse bot. Conte-a à parte. Se requisições não verificadas que dizem ser de um crawler de IA recebem respostas 200, alguém está coletando o seu conteúdo com um nome emprestado; a Neova sinaliza isso como Requisições não verificadas de crawlers de IA retornaram 2xx, e como Nome de crawler de IA aparece só em requisições não verificadas quando nenhuma requisição passa na verificação.

O que procurar: um checklist de análise de logs

Leia o log comparando com um crawl. O nosso crawl completo do seoprocheck.com em 17 de outubro de 2026 encontrou 4.561 páginas HTML respondendo 200: essa é a lista com que um log desse site é comparado, página por página. Os sinais que valem a leitura, com os limites que as verificações de log da Neova usam quando existe um:

SinalSaudávelPreocupe-se quando
Parcela de 3xx, 4xx, 5xx por botBaixa e estávelAcima de 1% e dobrou
429 e 403 para bots0Quantos quiser
Páginas importantes nunca visitadas0Quantos quiser
Intervalo de novo rastreamento do GooglebotEstávelSubiu 50% ou mais
URLs nunca vistas por diaEstável10+ por dia, dobrou
CSS e JS buscadosRespondem 200Qualquer erro

Conte também as requisições verificadas por dia de cada bot e olhe as URLs que os bots requisitam e que o seu crawl não encontrou: órfãs, páginas antigas, parâmetros ou links de outros sites. Um aumento repentino de URLs nunca vistas costuma significar que uma armadilha de crawl ou um template quebrado entrou no ar.

Análise de logs na Neova

O app desktop da Neova tem uma ferramenta Log do servidor que junta o log ao crawl, para que cada URL mostre tanto o que o crawl encontrou quanto o que os bots fizeram.

  • 8 fontes de log, identificadas pelas próprias linhas: Apache e Nginx combined, IIS W3C, Amazon CloudFront, load balancers da Amazon, Cloudflare Logpush, load balancing do Google Cloud, Akamai DataStream e Fastly ou outros logs JSON e CSV com os nomes de campo habituais. Simples, .gz ou vários arquivos em um só .zip.
  • Só bots verificados. Uma requisição conta para o Googlebot, o Bingbot ou um crawler de IA só quando o endereço dela está na lista que a empresa dele publica. O DNS reverso também pode ser ativado para o Google e a Microsoft.
  • Nunca visitadas e órfãs: páginas HTML que o Googlebot nunca visitou na janela do log, e URLs que os bots pediram e que o crawl não conhece.
  • Recusas: as respostas 429 e 403 que cada bot recebeu.
  • Cloudflare: para um site atrás da Cloudflare, a Neova pode coletar as requisições de crawlers na sua própria conta da Cloudflare, sem precisar de acesso ao servidor.
  • Pedir o log escreve o pedido para enviar à TI: só as linhas de crawlers, nada para instalar.
  • Leitura no seu computador. O arquivo nunca sai dele, e nenhum endereço IP é gravado em lugar nenhum.

As verificações de log incluem uma parcela crescente de respostas 3xx, 4xx ou 5xx para bots de busca, um intervalo de novo rastreamento do Googlebot que cresceu 50% ou mais, requisições de bots para URLs nunca vistas que dobraram e órfãs indexáveis encontradas pelo log. O passo a passo está em Importar em vez de conectar, e Preços mostra quais planos incluem logs de servidor.

Erros comuns

  • Confiar no user agent. Sem verificação de IP, Googlebots falsos inflam todos os números.
  • Usar uma semana de logs. Muitas páginas são rastreadas com menos frequência do que isso. Use pelo menos 30 dias.
  • Analisar contagens de hits em vez de requisições. Um resumo dos seus logs é uma boa visão geral, mas o detalhe está nas linhas brutas. Peça essas.
  • Esquecer a CDN. Se uma CDN responde pelo cache, o log do seu servidor de origem não registra essas requisições. Use os logs da CDN.
  • Ler logs sem um crawl. Um log sozinho não diz quais páginas os bots pularam. Você precisa da lista de páginas que existem para comparar.

O FAQ de análise de arquivos de log do SEO ProCheck responde às perguntas que vêm em seguida.

Perguntas

O que é análise de logs em SEO?

É ler os access logs do seu servidor para ver quais URLs os buscadores e os crawlers de IA requisitaram, com que frequência e o que o seu servidor respondeu. Ela mostra o comportamento real de rastreamento, e não o que um crawler conseguiria alcançar.

De quantos dias de logs eu preciso?

De pelo menos 30 dias. Janelas mais curtas fazem páginas que o Googlebot visita a cada poucas semanas parecerem nunca rastreadas.

Dá para fazer análise de logs sem acesso ao servidor?

Muitas vezes, sim. Se o site está atrás de uma CDN como a Cloudflare ou o CloudFront, os logs dela contêm as requisições dos crawlers. A Neova pode coletar as requisições de crawlers na sua própria conta da Cloudflare sem acesso ao servidor.

As Estatísticas de rastreamento do Search Console substituem os logs de servidor?

Não. As Estatísticas de rastreamento dão totais e amostras do Googlebot. Os logs dão cada requisição, de cada bot, por URL, para você cruzá-las com o seu crawl.

Os logs de servidor contêm dados pessoais?

Eles contêm os endereços IP dos visitantes, então trate-os com cuidado. Peça só as linhas de crawlers. A Neova lê os logs no seu computador e não grava nenhum endereço IP em lugar nenhum.

Leve isto com você

Os links dos assistentes abrem com uma pergunta sobre esta página já escrita.

Rastreie seu site com a NeovaO plano Free roda todas as verificações no Mac, Windows e Linux. Sem cartão de crédito.

Continue lendo