Продвинутый SEO-краулер: JavaScript, большие сайты, сравнение сканирований и мониторинг
Любой краулер найдёт 404. Продвинутый SEO-краулер справляется с сайтами, на которых простые ломаются: JavaScript-фреймворки, миллионы URL, фасетная навигация, миграции и сайты, которые меняются каждый день.
Что делает SEO-краулер продвинутым
Любой краулер загружает, разбирает, проходит по ссылкам и выдаёт отчёт. Продвинутый отличается тем, как он ведёт себя, когда сайт становится сложным.
| Сложный случай | На что смотреть | В Neova |
|---|---|---|
| Сайты на JavaScript | Исходный и отрендеренный HTML по каждой странице | ✓ |
| Краулинговые ловушки | Обнаружены и исключены во время сканирования | Поиск, каждую минуту |
| Очень большие сайты | Сканирование хранится на диске | 60 МБ памяти на 60 000 URL |
| Изменения со временем | Сравнение сканирований | Сравнить сканирования |
| Ежедневные релизы | Расписания и оповещения | Slack, Microsoft Teams |
| Работа в команде | CLI, проверка в CI, API | ✓ |
| Несколько сайтов | Сканирования рядом | До 4 одновременно |
До 4 сканирований одновременно в одном окне доступно на тарифе Desktop и выше. Большие сканирования ограничены диском, а не памятью.
Сканирование JavaScript для SEO: исходный HTML против отрендеренного
Google сначала сканирует HTML, а рендерит страницу позже, когда есть ресурсы, как объясняют его основы JavaScript SEO. Многие ИИ-краулеры могут вообще не рендерить. Поэтому вопрос в том, чего не хватает до рендеринга.
| Только в отрендеренном HTML | Проверка Neova |
|---|---|
| Основной текст | Большая часть основного текста есть только в отрендеренном HTML |
| Внутренние ссылки | Внутренние ссылки есть только в отрендеренном HTML |
| Canonical | Canonical задаётся только через JavaScript |
| Title | Title есть только в отрендеренном HTML |
| Редирект | HTML-страница перенаправляет через JavaScript |
Рендеринг медленный и тяжёлый. На большом сайте сначала отрендерите несколько страниц каждого шаблона. Шаблону, полностью отрендеренному на сервере, больше не нужно. Подробнее в руководстве JavaScript SEO-краулер.
Что нужно от корпоративного SEO-краулера: масштаб, ловушки и шаблоны
В заметках Google об управлении краулинговым бюджетом сказано, кому стоит об этом думать.
| Сайт | Уникальных страниц | Контент меняется |
|---|---|---|
| Крупный | 1 миллион и больше | Раз в неделю |
| Средний или крупнее | 10 000 и больше | Каждый день |
Ниже этих порогов краулинговый бюджет редко бывает проблемой. SEO ProCheck подробнее объясняет, когда важен краулинговый бюджет. Но большие сайты всё равно срывают сканирования предсказуемым образом, и чаще всего всё начинается с краулинговой ловушки.
| Ловушка | Пример URL | Обычное решение |
|---|---|---|
| Календарь | /events/2031/04/ | Исключить шаблон |
| Повторяющаяся папка | /shop/shop/shop/ | Исправить относительную ссылку |
| ID сессии | /?sid=8f3a2c | Не добавлять ID в ссылки |
| Комбинации фильтров | ?color=red&size=9&sort=price | Решить, какие фасеты будут страницами |
| Сортировка и вид | ?sort=price&view=grid | Canonical на URL без параметров |
О фильтрах: руководство SEO ProCheck по фасетной навигации объясняет, какие фасеты заслуживают своей страницы. Помогает и выборка: фиксированное число страниц на шаблон охватывает все шаблоны за минуты. Сегменты по регулярным выражениям показывают коды ответа по разделам, а извлечение через XPath, CSS-селектор или регулярное выражение достаёт цены, авторов или поля разметки.

Масштаб на нашем собственном сайте seoprocheck.com 17 октября 2026 г.: полное сканирование загрузило 10 222 URL за 61 минуту, а 1,66 ГБ исходного кода страниц заняли при хранении 340 МБ.
Сравнение сканирований: что изменилось
Один аудит показывает состояние сайта. Сравнение двух показывает, что с ним произошло. Смотрите на:
- URL, которые появились, исчезли или изменились между ними
- Новые и устранённые отметки
- Title, meta description и H1 до и после
- Изменившиеся правила robots.txt. См. Правила robots.txt изменились с прошлого сканирования.
- Резкое изменение числа сканируемых URL
Сравнивайте сопоставимое: полное сканирование с полным, с теми же настройками. Выборка против полного сканирования покажет различия, связанные только с охватом.
Мониторинг: сканирования по расписанию и оповещения
Мониторинг представляет собой сравнение сканирований, которое работает само. Подберите расписание под то, как часто сайт выпускает обновления.
| Сайт | Полное сканирование | Снимок Core Web Vitals |
|---|---|---|
| Активный магазин | Каждый день | Раз в неделю |
| Большинство сайтов | Раз в неделю | Раз в неделю |
| Редко меняющийся сайт | Помесячно | Помесячно |
Для полевых данных Core Web Vitals достаточно раза в неделю, потому что Chrome UX Report показывает скользящее среднее за 28 дней. Хорошие поводы для оповещений: новые отметки с прошлого сканирования, падение кликов, ухудшение оценки Core Web Vitals, выпадение отслеживаемого запроса из топ-10. Отправляйте оповещения туда, куда люди и так смотрят, и пусть их будет немного.
Миграции и тестовые сайты
На миграциях сканирование окупается полностью. Просканируйте старый сайт, просканируйте тестовую версию и сравните коды ответа, noindex, canonical, title, H1 и URL, которые есть только с одной стороны. Составьте карту редиректов со старых адресов на новые и после запуска проверьте каждый живой редирект.
Тестовой версии обычно нужны HTTP-авторизация, robots.txt, который всё запрещает, и ссылки, ведущие на рабочий домен. Краулер, который переписывает ссылки рабочего домена на тестовый хост, экономит часы. FAQ SEO ProCheck по миграции сайта отвечает на вопросы, которые возникают в день запуска.
Мы нашли две ошибки запуска на собственном сайте. До SEO-проверки 20 ноября 2026 г. http://neova.app отвечал 200 вместо 301 на https, а несуществующие адреса отвечали 503 со страницы «скоро открытие» вместо 404. Обе исправлены, и обе как раз должно ловить сканирование до и после запуска. См. HTTP URL отвечает 200 на HTTPS-сайте.
Автоматизация: CLI, CI и API
На большом масштабе сканирование становится частью релиза.
| Элемент | Задание | В Neova |
|---|---|---|
| Командная строка | Запуск сканирований, чтение результатов | CLI neova |
| Проверка в CI | Остановить сборку при новых отметках | neova check |
| API | Дашборды, внутренние инструменты | REST API, 60 запросов в минуту |
| MCP-сервер | ИИ-ассистенты читают сканирования | ✓ |
| Задачи | Одна на проблему и шаблон | Jira, Linear, Asana |
REST API входит в Neova Online на тарифе Desktop + Online и выше. Проверка в CI лучше всего работает с базовым сканированием последнего удачного релиза: сборка падает только из-за новых отметок, поэтому старый долг не блокирует каждый деплой.
Как Neova справляется с продвинутым сканированием
- Рендеринг: рендерит в Chrome все страницы или несколько на группу страниц и помечает каждую страницу как Server-Rendered, Hydrated или Needs JavaScript.
- Масштаб: хранит сканирование на диске, предлагает Sample per Page Group, а Discovery для каждой ловушки предлагает Keep Crawling, Skip или Exclude.
- История: Compare Crawls, а Historical Data хранит каждое сканирование, каждую версию robots.txt и XML-карты сайта.
- Логи сервера: логи Apache или Nginx либо ваш собственный аккаунт Cloudflare; Googlebot, Bingbot и ИИ-краулеры засчитываются, только если их адрес есть в списке, который публикует каждая компания.
- Больше, чем дают источники: хранит каждый месяц данных Search Console после того, как Google удаляет их через 16 месяцев.
- Миграции: Redirect Map с уверенностью для каждого URL, Live Redirect Check, Staging vs. Production и URL Rewriting.
Все функции на странице возможностей, а сравнение Neova с другими в разделе Сравнение.
Вопросы
Что такое продвинутый SEO-краулер?
Краулер для сложных сайтов: он рендерит JavaScript и сравнивает результат с исходным HTML, справляется с краулинговыми ловушками и очень большими сайтами, сравнивает сканирования во времени, работает по расписанию и встраивается в задачи, CI и API.
Нужно ли рендерить каждую страницу с JavaScript?
Обычно нет. Сначала отрендерите выборку по каждому шаблону. Шаблонам, весь контент которых есть в серверном HTML, полный рендеринг не нужен; шаблонам, зависящим от JavaScript, нужен.
Когда важен краулинговый бюджет?
По словам Google, в основном для сайтов с 1 миллионом и более уникальных страниц, которые меняются раз в неделю, или с 10 000 и более, которые меняются ежедневно. Небольшие сайты редко в него упираются.
Насколько большой сайт может обработать корпоративный SEO-краулер?
Зависит от инструмента, а у десктопных краулеров и от компьютера. Neova хранит сканирование на диске и на тарифе Desktop обрабатывает до 5 миллионов URL за сканирование, в зависимости от вашего компьютера. См. тарифы.
Можно ли останавливать деплой из-за SEO-проблем?
Да, с проверкой в CI. В Neova команда neova check сравнивает сканирование с базовым и завершается с кодом ошибки, когда появляются новые отметки, поэтому пайплайн может остановить релиз.