Проверка индексируемости: как найти страницы, которые не попадут в индекс
Страница может выглядеть идеально в браузере и всё равно не попасть в Google из-за одного заголовка, одного метатега или одной строки в robots.txt. Инструмент проверки индексируемости читает те же сигналы, что и поисковые системы, и постранично говорит, может ли каждый URL быть проиндексирован и если нет, то почему. Вот что это за сигналы, как они взаимодействуют и как подтвердить результат собственными инструментами Google.
Сканируемая, индексируемая и проиндексированная
Три слова постоянно путают, а инструмент проверки индексируемости отвечает только на одно из них:
- Сканируемая: поисковой системе разрешено загрузить URL. Это решает robots.txt.
- Индексируемая: после загрузки ничто на странице или в её заголовках не просит не включать её в индекс. Это решают код ответа, noindex и canonical.
- Проиндексированная: поисковая система действительно сохранила её и может показать в результатах. Это знает только поисковая система, поэтому подтвердить это могут только её собственные инструменты.
Страница может быть сканируемой, но не индексируемой (у неё noindex), или индексируемой, но всё равно не проиндексированной (Google просканировал её и решил не сохранять). Статья Google о том, как работает Поиск, объясняет этапы сканирования, индексации и показа.
Пять сигналов, от которых зависит индексируемость
| Сигнал | Индексируемо, когда | Где находится |
|---|---|---|
| Код ответа | 200 | Ответ HTTP |
| robots.txt | Нет подходящего Disallow | /robots.txt |
| Директивы robots | Нет noindex, нет none | Meta robots, X-Robots-Tag |
| Canonical | На себя или нет вовсе | Link в head, заголовок Link |
| Рендеринг | Те же теги после JavaScript | Отрисованная страница |
Прошёл все пять: URL индексируемый. Не прошёл один: нет. Инструмент должен назвать, какой именно.
На нашем собственном сайте полное сканирование seoprocheck.com в Neova 17 октября 2026 года загрузило 10 222 URL за 61 минуту. 4561 из них были HTML-страницами с ответом 200. Только они могли пройти первый сигнал как веб-страницы, поэтому остальные четыре сигнала проверялись именно на них.
Коды ответа и soft 404
Проиндексирован сам по себе может быть только URL, который отвечает 200. Каждый код разбирает страница Google о кодах ответа HTTP.
| Статус | Индексируется сам по себе | Что делает Google |
|---|---|---|
| 200 | ✓ | Читает и может проиндексировать |
| 301, 308 | – | Переходит к цели |
| 302, 307 | – | Переходит, сигнал canonical слабее |
| 404, 410 | – | Удаляет URL |
| 429, 5xx | – | Замедляется, при длительной ошибке удаляет |
| Soft 404 (200) | – | Считает страницей ошибки |
Soft 404 отвечает 200, но пишет «не найдено» или показывает пустой результат. Вместо этого отдавайте настоящий 404 или 410 и проверяйте страницы с ответом 200, у которых title или H1 похож на ошибку.
Обратную ошибку мы нашли на собственном сайте. 20 ноября 2026 года несуществующие адреса на neova.app отвечали 503 со страницы «скоро открытие» вместо 404. 503 говорит Google вернуться позже, поэтому мёртвые URL никогда не уходят из его очереди. Исправила это настоящая страница 404. У SEO ProCheck есть полный SEO-справочник по кодам ответа HTTP.
robots.txt блокирует сканирование, а не индексацию
Правило Disallow не даёт Google загрузить URL. Но оно не мешает Google проиндексировать адрес: введение Google в robots.txt говорит, что закрытый URL всё равно может появиться в результатах без описания, если на него ссылаются другие страницы.
Это также значит, что Google никогда не видит ничего на странице, включая noindex. Это сочетание встречается часто и является ошибкой:
robots.txt: Disallow: /old-offers/
page: <meta name="robots" content="noindex">
Итог: Google не может загрузить страницу, никогда не читает noindex
и может оставить URL в индексе по ссылкам.
Чтобы удалить страницу из индекса, дайте Google её просканировать и отдавайте noindex. Закрывайте её в robots.txt только после того, как она выпала из индекса, если вообще закрывайте. Как проверять правила, показывает руководство по тестеру robots.txt.
Noindex, X-Robots-Tag и canonical
Документация Google о noindex называет два места для директивы:
<meta name="robots" content="noindex">
X-Robots-Tag: noindex
Заголовок работает и для PDF, и для изображений. Если два источника расходятся, Google применяет более строгий, поэтому случайного noindex в любом из мест достаточно, чтобы страница не попала в индекс. Плагины, настройки staging и правила CDN часто становятся источниками noindex, который никто не собирался выкатывать. Все значения и где они применяются, есть в справочнике SEO ProCheck по meta robots и X-Robots-Tag.
Canonical, указывающий другой URL, просит Google проиндексировать вместо этой страницы тот URL. По руководству Google о консолидации дублирующихся URL, он считается сильной подсказкой, а не правилом. Это правильно для настоящих дублей и неправильно для страницы со своим контентом. Canonical, которые указывают на редиректы, ошибки или страницы с noindex, посылают противоречивые сигналы; эти случаи разбирает руководство по проверке тега canonical.
Отрисовка может изменить ответ
На сайтах на JavaScript исходный HTML и отрисованная страница могут расходиться. Скрипт может добавить noindex, убрать его, изменить canonical или загрузить основной текст только после отрисовки. Основы JavaScript SEO от Google отмечают, что когда исходный HTML содержит noindex, Google может пропустить отрисовку, и скрипт, который его убирает, может так и не выполниться.
Держите метатег robots и canonical в исходном HTML с теми же значениями, что получаются в отрисованной странице. Инструмент проверки индексируемости, который отрисовывает страницы, может сравнить их и отметить разницу.
Подтвердите в Search Console
Краулер говорит, может ли страница быть проиндексирована. Google Search Console говорит, проиндексирована ли она:
- Проверка URL показывает для одного URL, есть ли он в Google, какой canonical выбрал Google, когда было последнее сканирование и были ли разрешены сканирование и индексация. «Проверить страницу на сайте» загружает её заново прямо сейчас.
- Отчёт «Индексирование страниц» группирует все известные URL по причинам, например «Исключено тегом noindex», «Заблокировано в файле robots.txt», «Альтернативная страница с правильным тегом canonical», «Копия, Google выбрал другую каноническую страницу», «Ложная ошибка 404», «Страница просканирована, но пока не проиндексирована» и «Обнаружена, не проиндексирована».
Сравните два представления. Изучать стоит страницы, которые ваше сканирование считает индексируемыми, а Google сообщает как непроиндексированные: обычно это малоценный или дублированный контент, слабые внутренние ссылки или страницы, до которых Google ещё не добрался. SEO ProCheck перечисляет причины статуса «Страница просканирована, но пока не проиндексирована» и способы исправления. Страницы, которые Google проиндексировал, а ваше сканирование видит с noindex или canonical на другой URL, показывают исправление, которое Google ещё не подхватил, или сигнал, который вы пропустили. Слабые внутренние ссылки разбирает руководство по инструменту внутренней перелинковки, а медленное обнаружение на крупных сайтах разбирает руководство по краулинговому бюджету.
Проверка индексируемости в Neova
Neova помечает каждый URL как индексируемый или нет и объясняет почему: ответ 200, нет noindex и canonical на себя или нет вовсе. Категория «Индексируемость» собирает коды ответа, noindex, canonical, robots.txt и HTML, который ломает head до SEO-тегов. С включённой отрисовкой JavaScript каждая отрисованная страница сравнивается со своим исходным HTML. С подключённой Google Search Console Neova читает вердикт проверки URL Google для 200 URL за сканирование, сначала самых кликаемых, затем самых связанных ссылками, и отмечает индексируемые страницы, которые Google не индексирует или для которых Google выбрал другой canonical. В число проверок входят:

- Есть директива noindex и Noindex в HTML и в HTTP-заголовке различается
- Внутренний URL запрещён в robots.txt
- Canonical указывает на другой внутренний URL и Canonical указывает на URL с noindex
- Внутренний URL отдаёт 4xx, 5xx или не отвечает и В title или H1 есть фраза soft 404
- Директиву noindex убирает JavaScript
- URL с noindex указан в XML Sitemap
- Индексируемого URL нет в Google, по данным проверки URL
- URL с noindex получил клики в Search Console
Индексируемость проверяется на шагах 3 и 4 чек-листа технического SEO-аудита. См. Возможности или скачайте Neova; тариф Free сканирует до 1000 URL со всеми проверками.
Вопросы
Что такое инструмент проверки индексируемости?
Инструмент, который читает сигналы, используемые поисковыми системами (код ответа, robots.txt, noindex, canonical и отрисовку), и сообщает для каждого URL, может ли он быть проиндексирован, а если нет, какой сигнал этому мешает.
Чем индексируемая страница отличается от проиндексированной?
Индексируемая означает, что ничто на странице или на сервере не мешает ей попасть в индекс. Проиндексированная означает, что Google действительно её сохранил. Страница может быть индексируемой и всё же не проиндексированной, и подтвердить это может только Search Console.
Мешает ли robots.txt индексации страницы?
Нет. Он мешает сканированию. Google всё равно может проиндексировать закрытый URL по ссылкам, без его контента. Чтобы страница не попала в индекс, разрешите сканирование и используйте noindex.
Почему моя индексируемая страница не проиндексирована?
Частые причины: малоценный или дублированный контент, мало внутренних ссылок, Google выбрал другой URL как канонический или ещё не просканировал страницу. Проверка URL и отчёт «Индексирование страниц» показывают причину, которую записал Google.
Можно ли проверить индексируемость одного URL?
Да. Проверка URL в Search Console проверяет один URL на вашем собственном ресурсе. Краулер проверяет все URL сайта сразу и может просканировать только список URL, когда вам нужно всего несколько.