NeovaПродвинутая SEO-платформа

Анализ лог-файлов для SEO: как увидеть, что на самом деле делает Googlebot

Краулер показывает, что поисковая система могла бы загрузить. Серверные логи показывают, что она действительно загрузила. Анализ лог-файлов для SEO означает привычку читать эти логи, чтобы видеть, где Googlebot, Bingbot и ИИ-краулеры проводят время и куда они никогда не заходят.

Аудиты, логи и мониторинганализ лог-файлов для seoОбновлено 21 ноября 2026 г.Команда Neova

Что такое анализ лог-файлов?

Каждый веб-сервер записывает строку на каждый запрос, на который отвечает: кто спросил, какой URL, когда и что ответил сервер. Эти строки попадают в журнал доступа (access log). Анализ лог-файлов означает чтение этого журнала, обычно с фильтром по поисковым и ИИ-краулерам, и превращение его в ответы.

Для SEO вопросы простые. Какие страницы посещает Googlebot и как часто? Какие он не посещает никогда? Где он натыкается на редиректы и ошибки? Не тратит ли он запросы на URL, которых не должно существовать?

Ни один другой источник не отвечает на них так подробно. Отчёт «Статистика сканирования» в Search Console даёт сводку. Сканирование показывает, что открывают ваши ссылки. Только лог показывает каждый реальный запрос.

ИсточникКаждый запросКаждый ботПо каждому URL
Лог сервера✓✓✓
Статистика сканирования–◐◐
Ваше собственное сканирование––✓

«Статистика сканирования» охватывает только Googlebot за 90 дней, с примерами URL. Более подробный разбор метода смотрите в статье анализ лог-файлов для SEO на SEO ProCheck.

Почему анализ лог-файлов важен для SEO

  • Найдите страницы, которые игнорирует Googlebot. Страница, на которую есть ссылки, которая индексируема и есть в карте сайта, но ни разу не запрашивалась, оказывается страницей, ради которой Google не считает нужным приходить.
  • Ловите потери краулингового бюджета. Параметры, фасетные URL и старые редиректы появляются в логах ещё долго после того, как вы о них забыли.
  • Замечайте ошибки так, как их видит Googlebot. 5xx, который возникает только под нагрузкой, или 429 от файрвола могут ни разу не появиться в вашем собственном сканировании.
  • Находите страницы-сироты. URL, которые запрашивают боты, но на которые не ведёт ни одна внутренняя ссылка, часто оказываются старыми страницами, которые всё ещё получают внимание.
  • Видьте ИИ-краулеры. GPTBot, ClaudeBot, PerplexityBot и другие тоже оставляют строки, так что видно, что они забирают и в чём им отказывают.
  • Проверяйте миграцию. После переезда лог показывает, проходит ли Googlebot по вашим редиректам и доходит ли до новых URL.

Что содержит строка серверного лога

Самым распространённым форматом является combined log format Apache, он же формат Nginx по умолчанию. Одна строка выглядит так:

66.249.66.1 - - [10/Nov/2026:13:55:36 -0600] "GET /shoes/ HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
ПолевыеПримерПочему это важно
IP клиента66.249.66.1Единственный способ проверить, что бот настоящий
Время10/Nov/2026:13:55:36Частота сканирования и интервалы повторного сканирования
ЗапросGET /shoes/Какой URL загружен
Статус200Успех, редирект или ошибка
Байты2326Размер ответа
User agentGooglebot/2.1Какой краулер заявляет, что это он

IIS пишет расширенный формат W3C со строкой #Fields:, в которой названы столбцы. У CDN и балансировщиков нагрузки, таких как Cloudflare, CloudFront, балансировщики AWS, Google Cloud, Akamai и Fastly, свои форматы, часто JSON. В простом common format Apache нет user agent, поэтому ботов в нём не различить. Просите combined format.

Как получить серверные логи

ХостингГде лежит лог
cPanelMetrics, Raw Access (.gz)
PleskLogs, Manage Log Files
AmazonБакет S3, после включения логирования
Google CloudCloud Logging, после включения
CloudflareLogpush или ваш собственный аккаунт
Все остальныеСпросите IT-отдел или хостинг

В Amazon и Google Cloud журналы доступа выключены, пока вы их не включите. Когда просите лог, делайте запрос небольшим и простым для одобрения:

Что проситьЗначение
Дни30 и больше
СтрокиТолько краулеры
ПоляВремя, URL, код ответа, user agent, IP
ФорматCombined, а не common

Если исключить обычных посетителей, в запрос не попадут персональные данные, и службы безопасности это ценят. Если взять меньше 30 дней, редко сканируемые страницы будут выглядеть так, будто их не посещали вовсе.

Проверьте Googlebot, прежде чем доверять строке

Кто угодно может вписать Googlebot в строку user agent. Скраперы делают это постоянно. Прежде чем засчитать запрос, проверьте, что он пришёл от компании, которую называет:

БотОбратный DNS заканчивается наОпубликован список IP
Googlebotgooglebot.com, google.com, googleusercontent.com✓
Bingbotsearch.msn.com✓
GPTBot, OAI-SearchBot, ChatGPT-UserИспользуйте список IP✓
PerplexityBot, Perplexity-UserИспользуйте список IP✓

Для DNS выполните обратный запрос по IP, проверьте имя, затем прямой запрос, чтобы убедиться, что оно указывает на тот же IP. Запрос, который называет бота, но не проходит проверку, не является этим ботом. Считайте его отдельно. Если непроверенные запросы, выдающие себя за ИИ-краулер, получают ответы 200, кто-то собирает ваш контент под чужим именем; Neova отмечает это проверкой Непроверенные запросы ИИ-краулеров получили ответ 2xx, а проверкой Имя ИИ-краулера встречается только в непроверенных запросах, когда ни один запрос не проходит проверку.

На что смотреть: чек-лист анализа логов

Читайте лог вместе со сканированием. Наше полное сканирование seoprocheck.com 17 октября 2026 года нашло 4561 HTML-страницу с ответом 200: именно с этим списком постранично сравнивается лог этого сайта. Сигналы, которые стоит читать, с порогами, которые используют проверки логов Neova, где они есть:

СигналНормаТревожно, когда
Доля 3xx, 4xx, 5xx для каждого ботаНизкая и стабильнаяБольше 1% и удвоилась
429 и 403 для ботов0Сколько угодно
Ключевые страницы ни разу не посещены0Сколько угодно
Интервал повторного сканирования GooglebotСтабильныйВырос на 50% или больше
Новые URL в деньСтабильныйОт 10 в день, удвоилось
Загрузка CSS и JSОтвечают 200Любая ошибка

Также считайте проверенные запросы в день для каждого бота и смотрите на URL, которые запрашивают боты, но не нашло ваше сканирование: страницы-сироты, старые страницы, параметры или ссылки с других сайтов. Резкий рост ранее не встречавшихся URL часто означает, что в работу попала краулинговая ловушка или сломанный шаблон.

Анализ лог-файлов в Neova

В десктопном приложении Neova есть инструмент Лог сервера, который объединяет лог со сканированием, так что для каждого URL видно и то, что нашло сканирование, и то, что делали боты.

  • 8 источников логов, определяемых по самим строкам: combined Apache и Nginx, IIS W3C, Amazon CloudFront, балансировщики нагрузки Amazon, Cloudflare Logpush, балансировка нагрузки Google Cloud, Akamai DataStream, а также Fastly или другие логи JSON и CSV с обычными названиями полей. Обычные файлы, .gz или несколько файлов в одном .zip.
  • Только проверенные боты. Запрос засчитывается Googlebot, Bingbot или ИИ-краулеру, только если его адрес есть в списке, опубликованном его компанией. Для Google и Microsoft можно также включить обратный DNS.
  • Ни разу не посещённые и сироты: HTML-страницы, которые Googlebot ни разу не посетил за период лога, и URL, которые запрашивали боты, но о которых не знает сканирование.
  • Отказы: ответы 429 и 403, которые получил каждый бот.
  • Cloudflare: для сайта за Cloudflare Neova может собирать запросы краулеров в вашем собственном аккаунте Cloudflare, без доступа к серверу.
  • Запросить лог составляет запрос для IT-отдела: только строки краулеров, ничего не нужно устанавливать.
  • Чтение на вашем компьютере. Файл никогда его не покидает, и IP-адреса нигде не записываются.

Проверки логов включают растущую долю ответов 3xx, 4xx или 5xx поисковым ботам, интервал повторного сканирования Googlebot, выросший на 50% или больше, удвоившиеся запросы ботов к ранее не встречавшимся URL и индексируемые страницы-сироты, найденные через лог. Пошаговая инструкция в разделе Импорт вместо подключения, а на странице Цены видно, какие тарифы включают серверные логи.

Частые ошибки

  • Доверие к user agent. Без проверки IP поддельные Googlebot раздувают все цифры.
  • Лог за неделю. Многие страницы сканируются реже. Берите не меньше 30 дней.
  • Анализ счётчиков обращений вместо запросов. Сводка логов хороша как обзор, но подробности живут в исходных строках. Просите именно их.
  • Забытый CDN. Если CDN отвечает из кеша, лог вашего исходного сервера пропускает эти запросы. Используйте логи CDN.
  • Чтение логов без сканирования. Один лог не скажет, какие страницы боты пропустили. Нужен список существующих страниц для сравнения.

FAQ по анализу лог-файлов на SEO ProCheck отвечает на вопросы, которые возникают дальше.

Вопросы

Что такое анализ лог-файлов в SEO?

Это чтение журналов доступа вашего сервера, чтобы увидеть, какие URL запрашивали поисковые и ИИ-краулеры, как часто и что отвечал сервер. Он показывает реальное поведение краулеров, а не то, до чего краулер мог бы дойти.

Логи за сколько дней мне нужны?

Не меньше чем за 30 дней. В более коротком периоде страницы, которые Googlebot посещает раз в несколько недель, выглядят так, будто их никогда не сканировали.

Можно ли анализировать логи без доступа к серверу?

Часто да. Если сайт работает за CDN, например Cloudflare или CloudFront, в его логах есть запросы краулеров. Neova может собирать запросы краулеров в вашем собственном аккаунте Cloudflare без доступа к серверу.

Заменяет ли «Статистика сканирования» в Search Console серверные логи?

Нет. «Статистика сканирования» даёт итоги и примеры по Googlebot. Логи дают каждый запрос каждого бота по каждому URL, так что их можно сопоставить с вашим сканированием.

Есть ли в серверных логах персональные данные?

В них есть IP-адреса посетителей, поэтому обращайтесь с ними осторожно. Просите только строки краулеров. Neova читает логи на вашем компьютере и нигде не записывает IP-адреса.

Сохраните и поделитесь

Ссылки на ассистентов открываются с уже написанным вопросом об этой странице.

Просканируйте свой сайт с NeovaТариф Free выполняет все проверки на Mac, Windows и Linux. Банковская карта не нужна.

Читайте также