NeovaПродвинутая SEO-платформа

Как просканировать сайт для SEO: пошагово

Просканировать сайт означает загрузить его страницы так, как это делает поисковая система, переходя по ссылкам со страницы на страницу. Вот как просканировать сайт правильно: аккуратно, полностью и без блокировок.

Сканирование и индексациякак просканировать сайтОбновлено 21 ноября 2026 г.Команда Neova

Что значит просканировать сайт

Краулер сайта для SEO начинает с одного URL, загружает его, читает ссылки в HTML и добавляет их в очередь. Затем берёт следующий URL из очереди и делает то же самое, пока не перестанет находить новое или не упрётся в лимит. Поисковые системы делают это в масштабах всего интернета. SEO-краулер делает это для одного сайта и записывает, что ответил каждый URL, чтобы вы могли провести аудит.

Для каждого URL сканирование обычно записывает код ответа, заголовки ответа, title и meta description, canonical, директивы robots, входящие и исходящие ссылки и то, в скольких кликах от стартовой страницы он находится. Как работают собственные краулеры и загрузчики Google, описано в его обзоре краулеров Google.

Перед сканированием: разрешение, robots.txt и границы

Три вопроса, на которые нужно ответить до нажатия на старт:

  • Это ваш сайт или у вас есть разрешение? Сканировать собственный сайт или сайт клиента вполне обычно. На чужом сайте будьте аккуратны: соблюдайте robots.txt и держите скорость низкой.
  • Что написано в robots.txt? Откройте /robots.txt и прочитайте его. Он говорит краулерам, что им загружать нельзя, и обычно указывает XML Sitemap. Правила следуют RFC 9309, а как их читает Google, объясняет его введение в robots.txt. Полный справочник по robots.txt на SEO ProCheck разбирает его строка за строкой.
  • Сколько вам нужно? Весь сайт, один раздел или выборка по каждому шаблону. Выборка за минуты отвечает на большинство вопросов о шаблонах; полное сканирование нужно для битых ссылок и страниц-сирот.

Как просканировать сайт: пошагово

  1. Найдите правильный стартовый URL. Запросите http и https, с www и без. Один должен ответить 200, а остальные перенаправлять на него. Начинайте с него.
  2. Выберите режим. Режим паука переходит по ссылкам от стартового URL. Режим списка сканирует только заданные вами URL, что удобно для проверки набора старых URL после миграции.
  3. Добавьте XML Sitemap. Сканирование URL из карты сайта после страниц со ссылками показывает, какие страницы сайт перечисляет, но никогда на них не ссылается.
  4. Задайте лимиты. Лимит URL, лимит глубины и правила для параметров запроса не дают фильтрам захватить сканирование. Руководство по SEO для фасетной навигации на SEO ProCheck показывает, какие URL фильтров стоит сканировать.
  5. Исключите то, что вам не нужно. Админка, URL корзины и оформления заказа, результаты внутреннего поиска. Используйте шаблоны включения и исключения и проверьте на них URL до старта.
  6. Выберите user agent. Честный вариант по умолчанию: собственное имя вашего краулера. Сканирование от имени Googlebot показывает, что получает Google, но некоторые серверы воспринимают поддельный Googlebot как атаку.
  7. Запустите и следите за первыми минутами. Если число новых URL растёт намного быстрее размера сайта, посмотрите, откуда они берутся. Обычно причина в календарях и бесконечных фильтрах.
  8. Дайте проверкам отработать. Когда сканирование закончится, начните с проблем, которые затрагивают больше всего индексируемых страниц.
Новое сканирование, «Скорость и отрисовка»: скорость в URL в секунду, которая снижается, когда сервер замедляется, user agent, который отправляется с каждым запросом, и отрисовка JavaScript
Новое сканирование, «Скорость и отрисовка»: скорость в URL в секунду, которая снижается, когда сервер замедляется, user agent, который отправляется с каждым запросом, и отрисовка JavaScript

Как просканировать сайт, чтобы найти все URL

Переход по ссылкам находит только страницы, до которых доходят ссылки. Чтобы найти все URL сайта, объедините несколько источников:

ИсточникСтраницы со ссылкамиСтраницы без ссылокОткуда
Сканирование по ссылкам✓–Стартовый URL
XML-карты сайта◐✓robots.txt или /sitemap.xml
Seed URL◐✓Ваш собственный список
Логи сервера◐✓Сервер или CDN
Search Console◐✓Ваш ресурс в Google

Насколько это важно, мы увидели на собственном сайте. В полном сканировании seoprocheck.com в Neova 17 октября 2026 года:

Метрикаseoprocheck.com
Загружено URL10 222
Время61 минута
HTML-страниц с ответом 2004 561
URL в XML Sitemap1 835
Найдено по ссылкам, нет ни в одной карте сайта2 727
В карте сайта, без единой ссылки1
Полнота99.98%
Содержимое страниц1,66 ГБ без сжатия, 340 МБ на диске

Аудит только по карте сайта пропустил бы 2727 URL, а сканирование только по ссылкам пропустило бы одну страницу-сироту. Страницы, которые приходят только из карт сайта, логов или Search Console, являются сиротами. Индексируемым сиротам с поисковым трафиком обычно нужны внутренние ссылки. Полезные проверки здесь: URL-сирота отвечает 200 и индексируется, Индексируемого URL нет ни в одной XML Sitemap и XML Sitemap не загружается или не парсится.

Как просканировать сайт без блокировок

Большинство блокировок возникает из-за слишком быстрого сканирования или из-за того, что вы похожи на бота, которому сервер не доверяет. Сканируйте так, как хотел бы владелец сайта:

  • Держите скорость низкой. Для большинства аудитов хватает 2 или 3 URL в секунду. Быстрее только на собственном сайте.
  • Представьтесь. Понятный user agent со ссылкой на страницу о краулере разрешить проще, чем поддельную строку браузера.
  • Соблюдайте robots.txt. Это выраженное желание сайта, а игнорировать его на чужом сайте значит быстрее всего получить блокировку.
  • Попросите доступ. На сайте клиента за файрволом или защитой от ботов попросите IT-команду разрешить ваш краулер, например по секретному заголовку, который отправляет только ваш краулер.

Затем читайте ответы. Каждый код ответа говорит о своём:

AnswerЗначениеДелайте
429Слишком много запросовСнизить скорость вдвое, соблюдать Retry-After
503Сервер занят или недоступенЗамедлиться, повторить позже
403ОтказОстановиться и спросить
401Требуется входЗапросить доступ
Серия 5xxСервер не справляетсяПриостановить сканирование

Страница Google о кодах ответа HTTP и сетевых ошибках объясняет, как сам Googlebot обрабатывает ответы 429 и 5xx.

Сканирование сайтов на JavaScript

Если сайт построен на React, Vue, Angular или похожем фреймворке, HTML, который отправляет сервер, может быть почти пустым, а контент добавляют скрипты. Тогда обычное сканирование находит мало ссылок и мало текста. Включите отрисовку JavaScript, которая загружает каждую страницу в headless-браузере, и сравните отрисованную страницу с исходным HTML. Важно то, чего не хватает до отрисовки: основной текст, ссылки, title и canonical, которые появляются только после выполнения скриптов. Отрисовка медленнее, поэтому сначала отрисуйте выборку по каждому шаблону.

Сканирование вашего сайта в Neova

Чтобы просканировать свой сайт в Neova, скачайте приложение, затем выберите «Сканирование», «Новое сканирование», введите адрес и нажмите «Начать сканирование». Каждый экран показан на странице Ваше первое сканирование.

ПараметрПо умолчанию
Платформы
User agentNeovaBot
Скорость3 URL в секунду
При 429 или 503Снижает скорость вдвое, соблюдает Retry-After
robots.txtСоблюдается
CAPTCHAНикогда не решаются
Бесплатный тариф1000 URL за сканирование
  • Проверка стартового URL выбирает версию сайта (http или https, с www или без), которая отвечает 200, и сообщает, что делают остальные.
  • Режимы и границы: паук или список, весь сайт, отдельные папки или выборка по группам страниц, плюс XML Sitemap, начальные URL и правила включения и исключения.
  • Ваш собственный сайт: когда вы подтвердите, что сайт ваш, Neova может сканировать быстрее и игнорировать robots.txt. «Заголовок для белого списка» создаёт секретный заголовок, который отправляется только этому сайту, вместе с правилом для IT-команды.
  • Объяснение блокировки сканирования: когда сайт отказывает в сканировании, Neova сообщает почему (ограничение частоты, блокировка файрволом, запрет доступа) и что делать дальше.
  • Обнаружение и разбивка URL: во время сканирования каждый найденный URL попадает в одну группу, а признаки ловушек для краулера отмечаются, с кнопками «Пропустить» или «Исключить» прямо на месте.
  • Пауза, остановка и продолжение: остановитесь, когда захотите, и запустите проверки по уже просканированному или продолжите позже с того места, где остановились.

Владельцы сайтов могут прочитать, как краулер представляется и как его заблокировать, на странице NeovaBot.

Что делать со сканированием

Сканирование даёт лишь снимок. Его ценность в том, что вы исправите. Отсортируйте находки по числу затронутых индексируемых страниц, исправляйте проблемы шаблонов один раз, а не постранично, и сканируйте снова, чтобы убедиться. Короткий первый проход, который обычно окупается:

Чек-лист технического SEO-аудита выстраивает всю проверку по порядку.

Вопросы

Как просканировать сайт, чтобы найти все URL?

Объедините сканирование по ссылкам с XML Sitemap, затем добавьте URL из Google Search Console и логов сервера. Любая страница, которую находят только эти источники и до которой не доходит ни одна внутренняя ссылка, является сиротой, на которую стоит посмотреть.

Как просканировать сайт без блокировок?

Сканируйте медленно, используйте честный user agent, соблюдайте robots.txt и замедляйтесь, когда сервер отвечает 429 или 503. На сайте клиента за файрволом попросите IT-команду разрешить ваш краулер, а не пытайтесь обойти блокировку.

Законно ли сканировать сайт?

Сканирование общедоступных страниц широко распространено, но правила зависят от страны и условий сайта. Свободно сканируйте собственные сайты и сайты клиентов, везде соблюдайте robots.txt и при сомнениях читайте условия сайта. Это не юридическая консультация.

Сколько времени занимает сканирование сайта?

Примерно число URL, делённое на скорость. Наше полное сканирование seoprocheck.com 17 октября 2026 года загрузило 10 222 URL за 61 минуту, около 2,8 URL в секунду. При 3 URL в секунду 1000 URL занимают около 6 минут, а 100 000 около 9 часов, без учёта отрисовки. Выборка по каждому шаблону гораздо быстрее.

Можно ли просканировать сайт бесплатно?

Да. Тариф Free в Neova сканирует до 1000 URL за сканирование со всеми проверками, на Mac, Windows и Linux. Более крупные тарифы на странице цен.

Сохраните и поделитесь

Ссылки на ассистентов открываются с уже написанным вопросом об этой странице.

Просканируйте свой сайт с NeovaТариф Free выполняет все проверки на Mac, Windows и Linux. Банковская карта не нужна.

Читайте также