JavaScript SEO-краулер: как сканировать сайт на JavaScript
Сайт на React, Vue, Angular или Next.js может идеально выглядеть в браузере и при этом отдавать краулерам почти пустую страницу. JavaScript SEO-краулер показывает обе версии, HTML, который отправляет сервер, и страницу после выполнения скриптов, а также места, где они расходятся.
Почему сайтам на JavaScript нужно другое сканирование
Google обрабатывает страницы на JavaScript в три этапа: сканирование, рендеринг в headless Chromium, когда хватает ресурсов, затем индексация. Основы JavaScript SEO от Google объясняют очередь между сканированием и рендерингом. Пока рендеринг не произошёл, Google работает с исходным HTML.
Другие краулеры могут не рендерить вовсе. Многие ИИ-краулеры и некоторые поисковые системы читают только HTML, который отправляет сервер. Поэтому главный вопрос в том, чего не хватает до рендеринга и меняется ли что-то по пути.
Обычный HTML-краулер видит только исходный ответ. JavaScript SEO-краулер загружает каждую страницу в настоящем браузере, ждёт, пока она устоится, и хранит обе версии рядом. SEO ProCheck пошагово объясняет, как поисковые системы и ИИ-краулеры рендерят ваши страницы.
Страницы с рендерингом на клиенте, на сервере, статические и гидратированные
От того, как сайт собирает страницы, зависит, что должно быть в исходном HTML.
| Как собирается страница | Что есть в исходном HTML | Текст без JavaScript | Типичная конфигурация |
|---|---|---|---|
| Рендеринг на клиенте | Корневой div и теги script | – | Приложение на React, Vue или Angular |
| Рендеринг на сервере | Вся страница | ✓ | Next.js, Nuxt, Angular SSR |
| Статическая генерация | Вся страница, собранная заранее | ✓ | Статический экспорт, генераторы сайтов |
| Гидратация | Вся страница, затем скрипты | ✓ | Большинство сайтов на фреймворках |
| Смешанный | Зависит от шаблона | ◐ | Большинство реальных сайтов |
Сайт на Next.js может отдавать страницы товаров с сервера, а результаты поиска или страницы аккаунта собирать в браузере. Поэтому проверяйте каждый шаблон: один шаблон с рендерингом на клиенте может скрывать тысячи URL.
Отрендеренный и исходный HTML: что сравнивать
Сравнивайте элемент за элементом. Для каждого: есть ли он вообще в исходном HTML и меняет ли его JavaScript?
| Элемент | Риск, если есть только после рендеринга | Проверка Neova |
|---|---|---|
| Title | У страницы нет названия | Title есть только в отрендеренном HTML |
| Meta description | Нет источника для сниппета | Meta description есть только в отрисованном HTML |
| H1 | Тема страницы не видна | H1 есть только в отрисованном HTML |
| Canonical | Два разных сигнала | Canonical изменяется или удаляется через JavaScript |
| Noindex | Google может пропустить рендеринг | Директиву noindex убирает JavaScript |
| Внутренние ссылки | Находятся поздно или никогда | Внутренние ссылки есть только в отрендеренном HTML |
| Основной текст | Бедная исходная страница | Большая часть основного текста есть только в отрендеренном HTML |
Микроразметку и hreflang тоже могут вставлять скрипты. Проверьте, что они есть в обеих версиях и совпадают. Самый надёжный подход скучен: всё, что важно для поиска, есть в серверном HTML, а JavaScript только добавляет интерактивность.
Цифры, которые важны на сайте с JavaScript
| Предел | Значение | Источник |
|---|---|---|
| Объём HTML, который Googlebot загружает из файла | Первые 15 МБ | |
| Время рендеринга, при котором ставится отметка | Больше 4 секунд | Отрисовка JavaScript занимает больше 4 секунд |
| Основной текст только в отрендеренном HTML | Больше половины, от 50 слов | Группа страниц зависит от отрисовки JavaScript для основного текста или навигации |
| Навигационные ссылки только после рендеринга | Половина или больше | Группа страниц зависит от отрисовки JavaScript для основного текста или навигации |
| Хеш-маршруты, отправляемые на сервер | Ничего после # | RFC 3986 |
Пороги в 4 секунды и в половину текста установлены Neova и указаны в правиле каждой проверки. 15 МБ и правило о фрагменте взяты у Google и из стандарта URI.
Как настроить JavaScript SEO-сканирование
- Сначала сканируйте без рендеринга. Быстрое сканирование исходного HTML показывает, что отправляет сервер. Если оно находит очень мало страниц, навигации, скорее всего, нужен JavaScript.
- Рендерите выборку по каждому шаблону. Несколько страниц из каждой группы страниц показывают, какие шаблоны зависят от скриптов. Рендерите весь сайт только там, где это так.
- Дайте страницам устояться. Дождитесь, пока сеть затихнет и страница перестанет меняться.
- Не блокируйте скрипты. Смотрите проверку HTML-страница использует JavaScript-файл, закрытый в robots.txt.
- Держите вежливую скорость. Одна отрендеренная страница может означать десятки запросов к скриптам, стилям и API.
- Читайте и сбои. Смотрите проверку Отрисовка JavaScript не удалась или превысила время ожидания.

Руководство как просканировать сайт описывает охват, скорость и разрешения.
Частые проблемы JavaScript SEO, которые находит краулер
- Ссылки, которые не являются ссылками. Google переходит по элементам
aс атрибутомhref. Кнопка с обработчиком клика ссылкой не является. Смотрите руководство Google о сканируемых ссылках. - Маршруты за хешем.
/#/productsвыглядит как одна страница, потому что часть после хеша не доходит до сервера. Используйте History API и настоящие пути. - Soft 404. Одностраничное приложение часто отвечает 200 на любой маршрут, а затем показывает в браузере сообщение «не найдено».
- Контент, который ждёт клика или прокрутки. Краулеры не нажимают на вкладки. В заметках Google о контенте с отложенной загрузкой показано, как загружать его, чтобы он индексировался.
- Метаданные застряли на первом маршруте. Title и canonical сохраняют значения первой страницы, если роутер их не обновляет.
- Редиректы в JavaScript. Их замечают медленнее, чем серверный редирект, а некоторые краулеры не видят их вовсе.
- Ошибки, которые удаляют контент. Один неудачный запрос к API может оставить страницу без title или основного текста. Смотрите проверку Ошибки JavaScript удаляют title, canonical или основной текст при отрисовке.
Больше ответов в FAQ по JavaScript SEO от SEO ProCheck.
Сканирование сайтов на React, Next.js и одностраничных приложений
Одностраничное приложение. Ожидайте почти пустой исходный HTML и небольшое сканирование без рендеринга. Отрендерите выборку каждого типа маршрутов и проверьте, что у каждого маршрута свой URL, title и canonical, а у несуществующих страниц настоящий код 404. Рендеринг на сервере или статическая генерация помогают сразу всем краулерам.
Сайт на Next.js или Nuxt. Большинство страниц уже есть в исходном HTML. Ищите исключения: маршруты, собранные в браузере, метаданные, заданные клиентским компонентом, меню, которые появляются только после гидратации.
Смешанный сайт. Сгруппируйте URL по шаблонам и посмотрите долю страниц, контент которых есть в исходном HTML, по каждой группе. Группа, сильно отстающая от остальных, обычно означает один шаблон, который нужно исправить. Проверяйте после каждого релиза: небольшое изменение компонента может перенести title или ссылку с сервера в браузер.
Не только Google: ИИ-краулеры и исходный HTML
ИИ-ассистенты загружают страницы, чтобы отвечать на вопросы, и многие их краулеры читают HTML в том виде, в каком он приходит. Страница, которой для основного текста нужен JavaScript, может быть для них почти пустой, даже если Google индексирует её без проблем. SEO ProCheck разбирает тему SSR и CSR и видимости в ИИ.
Поэтому JavaScript SEO-сканирование должно показывать и то, что отдаётся каждому ИИ-краулеру. Руководство по ИИ-краулерам описывает токены и правила robots.txt.
Как Neova сканирует сайты на JavaScript
Neova работает на Mac (Apple silicon), Windows и Linux, а Neova Online работает в браузере. Рендеринг JavaScript есть на всех тарифах, включая Free.
| Функция | Что делает |
|---|---|
| Отрисовка в Chrome | Все страницы или несколько из каждой группы |
| Ожидание при отрисовке | Ждёт, пока страница устоится |
| Столбец «Отрисовка» | Отрисовано на сервере, Гидратация, Нужен JavaScript |
| Исходный и отрисованный код | Обе версии HTML рядом |
| Экран «Отрисовка» | Что отдаётся каждому ИИ-краулеру |
| Значок «Просканировано без отрисовки» | Пропущенные проверки, повторное сканирование в один клик |
| Загружать через Chrome | Для сайтов с защитой от ботов |
Рендеринг по умолчанию выключен, поэтому первое сканирование остаётся быстрым. Загрузка через Chrome есть в десктопном приложении. Остальное перечислено на странице возможностей, на странице Сравнение видно, как рендеринг устроен у других краулеров, а руководство по продвинутому SEO-краулеру описывает рендеринг в больших масштабах.
Вопросы
Что такое JavaScript SEO-краулер?
Краулер, который загружает страницы в настоящем браузере, выполняет их скрипты и хранит отрендеренную страницу рядом с исходным HTML, отправленным сервером. Сравнение двух версий показывает title, ссылки, canonical и текст, которые появляются только после выполнения JavaScript.
Рендерит ли Google JavaScript?
Да. Google сканирует URL, ставит его в очередь на рендеринг в headless Chromium, затем индексирует отрендеренную страницу. Рендеринг может произойти позже сканирования, а многие ИИ-краулеры читают только исходный HTML.
Чем исходный HTML отличается от отрендеренного?
Исходный HTML отправляет сервер до выполнения каких-либо скриптов. Отрендеренным HTML называют страницу после того, как браузер выполнил её JavaScript. На сайте с рендерингом на сервере они близки; в приложении с рендерингом на клиенте исходный HTML может быть почти пустым.
Нужно ли рендерить каждую страницу сайта на JavaScript?
Обычно нет. Сначала отрендерите несколько страниц каждого шаблона. Шаблонам, которые полностью есть в серверном HTML, полный рендеринг не нужен; шаблонам, зависящим от JavaScript, нужен.
Можно ли бесплатно просканировать сайт на React или Next.js?
Да. Тариф Free в Neova включает рендеринг JavaScript в Chrome, до 1000 URL за сканирование, со всеми проверками. Смотрите цены или скачайте Neova.