Как просканировать сайт для SEO: пошагово
Просканировать сайт означает загрузить его страницы так, как это делает поисковая система, переходя по ссылкам со страницы на страницу. Вот как просканировать сайт правильно: аккуратно, полностью и без блокировок.
Что значит просканировать сайт
Краулер сайта для SEO начинает с одного URL, загружает его, читает ссылки в HTML и добавляет их в очередь. Затем берёт следующий URL из очереди и делает то же самое, пока не перестанет находить новое или не упрётся в лимит. Поисковые системы делают это в масштабах всего интернета. SEO-краулер делает это для одного сайта и записывает, что ответил каждый URL, чтобы вы могли провести аудит.
Для каждого URL сканирование обычно записывает код ответа, заголовки ответа, title и meta description, canonical, директивы robots, входящие и исходящие ссылки и то, в скольких кликах от стартовой страницы он находится. Как работают собственные краулеры и загрузчики Google, описано в его обзоре краулеров Google.
Перед сканированием: разрешение, robots.txt и границы
Три вопроса, на которые нужно ответить до нажатия на старт:
- Это ваш сайт или у вас есть разрешение? Сканировать собственный сайт или сайт клиента вполне обычно. На чужом сайте будьте аккуратны: соблюдайте robots.txt и держите скорость низкой.
- Что написано в robots.txt? Откройте /robots.txt и прочитайте его. Он говорит краулерам, что им загружать нельзя, и обычно указывает XML Sitemap. Правила следуют RFC 9309, а как их читает Google, объясняет его введение в robots.txt. Полный справочник по robots.txt на SEO ProCheck разбирает его строка за строкой.
- Сколько вам нужно? Весь сайт, один раздел или выборка по каждому шаблону. Выборка за минуты отвечает на большинство вопросов о шаблонах; полное сканирование нужно для битых ссылок и страниц-сирот.
Как просканировать сайт: пошагово
- Найдите правильный стартовый URL. Запросите http и https, с www и без. Один должен ответить 200, а остальные перенаправлять на него. Начинайте с него.
- Выберите режим. Режим паука переходит по ссылкам от стартового URL. Режим списка сканирует только заданные вами URL, что удобно для проверки набора старых URL после миграции.
- Добавьте XML Sitemap. Сканирование URL из карты сайта после страниц со ссылками показывает, какие страницы сайт перечисляет, но никогда на них не ссылается.
- Задайте лимиты. Лимит URL, лимит глубины и правила для параметров запроса не дают фильтрам захватить сканирование. Руководство по SEO для фасетной навигации на SEO ProCheck показывает, какие URL фильтров стоит сканировать.
- Исключите то, что вам не нужно. Админка, URL корзины и оформления заказа, результаты внутреннего поиска. Используйте шаблоны включения и исключения и проверьте на них URL до старта.
- Выберите user agent. Честный вариант по умолчанию: собственное имя вашего краулера. Сканирование от имени Googlebot показывает, что получает Google, но некоторые серверы воспринимают поддельный Googlebot как атаку.
- Запустите и следите за первыми минутами. Если число новых URL растёт намного быстрее размера сайта, посмотрите, откуда они берутся. Обычно причина в календарях и бесконечных фильтрах.
- Дайте проверкам отработать. Когда сканирование закончится, начните с проблем, которые затрагивают больше всего индексируемых страниц.

Как просканировать сайт, чтобы найти все URL
Переход по ссылкам находит только страницы, до которых доходят ссылки. Чтобы найти все URL сайта, объедините несколько источников:
| Источник | Страницы со ссылками | Страницы без ссылок | Откуда |
|---|---|---|---|
| Сканирование по ссылкам | ✓ | – | Стартовый URL |
| XML-карты сайта | ◐ | ✓ | robots.txt или /sitemap.xml |
| Seed URL | ◐ | ✓ | Ваш собственный список |
| Логи сервера | ◐ | ✓ | Сервер или CDN |
| Search Console | ◐ | ✓ | Ваш ресурс в Google |
Насколько это важно, мы увидели на собственном сайте. В полном сканировании seoprocheck.com в Neova 17 октября 2026 года:
| Метрика | seoprocheck.com |
|---|---|
| Загружено URL | 10 222 |
| Время | 61 минута |
| HTML-страниц с ответом 200 | 4 561 |
| URL в XML Sitemap | 1 835 |
| Найдено по ссылкам, нет ни в одной карте сайта | 2 727 |
| В карте сайта, без единой ссылки | 1 |
| Полнота | 99.98% |
| Содержимое страниц | 1,66 ГБ без сжатия, 340 МБ на диске |
Аудит только по карте сайта пропустил бы 2727 URL, а сканирование только по ссылкам пропустило бы одну страницу-сироту. Страницы, которые приходят только из карт сайта, логов или Search Console, являются сиротами. Индексируемым сиротам с поисковым трафиком обычно нужны внутренние ссылки. Полезные проверки здесь: URL-сирота отвечает 200 и индексируется, Индексируемого URL нет ни в одной XML Sitemap и XML Sitemap не загружается или не парсится.
Как просканировать сайт без блокировок
Большинство блокировок возникает из-за слишком быстрого сканирования или из-за того, что вы похожи на бота, которому сервер не доверяет. Сканируйте так, как хотел бы владелец сайта:
- Держите скорость низкой. Для большинства аудитов хватает 2 или 3 URL в секунду. Быстрее только на собственном сайте.
- Представьтесь. Понятный user agent со ссылкой на страницу о краулере разрешить проще, чем поддельную строку браузера.
- Соблюдайте robots.txt. Это выраженное желание сайта, а игнорировать его на чужом сайте значит быстрее всего получить блокировку.
- Попросите доступ. На сайте клиента за файрволом или защитой от ботов попросите IT-команду разрешить ваш краулер, например по секретному заголовку, который отправляет только ваш краулер.
Затем читайте ответы. Каждый код ответа говорит о своём:
| Answer | Значение | Делайте |
|---|---|---|
| 429 | Слишком много запросов | Снизить скорость вдвое, соблюдать Retry-After |
| 503 | Сервер занят или недоступен | Замедлиться, повторить позже |
| 403 | Отказ | Остановиться и спросить |
| 401 | Требуется вход | Запросить доступ |
| Серия 5xx | Сервер не справляется | Приостановить сканирование |
Страница Google о кодах ответа HTTP и сетевых ошибках объясняет, как сам Googlebot обрабатывает ответы 429 и 5xx.
Сканирование сайтов на JavaScript
Если сайт построен на React, Vue, Angular или похожем фреймворке, HTML, который отправляет сервер, может быть почти пустым, а контент добавляют скрипты. Тогда обычное сканирование находит мало ссылок и мало текста. Включите отрисовку JavaScript, которая загружает каждую страницу в headless-браузере, и сравните отрисованную страницу с исходным HTML. Важно то, чего не хватает до отрисовки: основной текст, ссылки, title и canonical, которые появляются только после выполнения скриптов. Отрисовка медленнее, поэтому сначала отрисуйте выборку по каждому шаблону.
Сканирование вашего сайта в Neova
Чтобы просканировать свой сайт в Neova, скачайте приложение, затем выберите «Сканирование», «Новое сканирование», введите адрес и нажмите «Начать сканирование». Каждый экран показан на странице Ваше первое сканирование.
| Параметр | По умолчанию |
|---|---|
| Платформы | |
| User agent | NeovaBot |
| Скорость | 3 URL в секунду |
| При 429 или 503 | Снижает скорость вдвое, соблюдает Retry-After |
| robots.txt | Соблюдается |
| CAPTCHA | Никогда не решаются |
| Бесплатный тариф | 1000 URL за сканирование |
- Проверка стартового URL выбирает версию сайта (http или https, с www или без), которая отвечает 200, и сообщает, что делают остальные.
- Режимы и границы: паук или список, весь сайт, отдельные папки или выборка по группам страниц, плюс XML Sitemap, начальные URL и правила включения и исключения.
- Ваш собственный сайт: когда вы подтвердите, что сайт ваш, Neova может сканировать быстрее и игнорировать robots.txt. «Заголовок для белого списка» создаёт секретный заголовок, который отправляется только этому сайту, вместе с правилом для IT-команды.
- Объяснение блокировки сканирования: когда сайт отказывает в сканировании, Neova сообщает почему (ограничение частоты, блокировка файрволом, запрет доступа) и что делать дальше.
- Обнаружение и разбивка URL: во время сканирования каждый найденный URL попадает в одну группу, а признаки ловушек для краулера отмечаются, с кнопками «Пропустить» или «Исключить» прямо на месте.
- Пауза, остановка и продолжение: остановитесь, когда захотите, и запустите проверки по уже просканированному или продолжите позже с того места, где остановились.
Владельцы сайтов могут прочитать, как краулер представляется и как его заблокировать, на странице NeovaBot.
Что делать со сканированием
Сканирование даёт лишь снимок. Его ценность в том, что вы исправите. Отсортируйте находки по числу затронутых индексируемых страниц, исправляйте проблемы шаблонов один раз, а не постранично, и сканируйте снова, чтобы убедиться. Короткий первый проход, который обычно окупается:
- Внутренние ссылки на URL с 4xx и 5xx. См. Внутренний URL отдаёт 4xx, 5xx или не отвечает.
- Цепочки редиректов между внутренними URL. См. Внутренний URL в цепочке редиректов.
- Индексируемые страницы, закрытые в robots.txt. См. Внутренний URL запрещён в robots.txt.
- robots.txt, который не загружается. См. robots.txt недоступен или слишком большой.
- Страницы, которых нет в XML Sitemap, и карты сайта, в которых есть страницы с редиректом или noindex.
- Важные страницы дальше 3 кликов от главной.
Чек-лист технического SEO-аудита выстраивает всю проверку по порядку.
Вопросы
Как просканировать сайт, чтобы найти все URL?
Объедините сканирование по ссылкам с XML Sitemap, затем добавьте URL из Google Search Console и логов сервера. Любая страница, которую находят только эти источники и до которой не доходит ни одна внутренняя ссылка, является сиротой, на которую стоит посмотреть.
Как просканировать сайт без блокировок?
Сканируйте медленно, используйте честный user agent, соблюдайте robots.txt и замедляйтесь, когда сервер отвечает 429 или 503. На сайте клиента за файрволом попросите IT-команду разрешить ваш краулер, а не пытайтесь обойти блокировку.
Законно ли сканировать сайт?
Сканирование общедоступных страниц широко распространено, но правила зависят от страны и условий сайта. Свободно сканируйте собственные сайты и сайты клиентов, везде соблюдайте robots.txt и при сомнениях читайте условия сайта. Это не юридическая консультация.
Сколько времени занимает сканирование сайта?
Примерно число URL, делённое на скорость. Наше полное сканирование seoprocheck.com 17 октября 2026 года загрузило 10 222 URL за 61 минуту, около 2,8 URL в секунду. При 3 URL в секунду 1000 URL занимают около 6 минут, а 100 000 около 9 часов, без учёта отрисовки. Выборка по каждому шаблону гораздо быстрее.
Можно ли просканировать сайт бесплатно?
Да. Тариф Free в Neova сканирует до 1000 URL за сканирование со всеми проверками, на Mac, Windows и Linux. Более крупные тарифы на странице цен.