Проверка noindex: как найти страницы с noindex, пока они не лишили вас трафика
Одна строка HTML не пускает страницу в Google. Это именно то, что нужно на странице «спасибо», и именно то, чего не нужно на странице товара, где разработчик забыл вернуть настройку после запуска. Проверка noindex показывает, на каких страницах стоит noindex, где он задан и может ли Google вообще его увидеть.
Что делает проверка noindex
Проверка noindex загружает URL и смотрит в два места: тег meta robots в HTML и X-Robots-Tag в заголовке HTTP-ответа. Она сообщает, указано ли в одном из них noindex или none, и для какого краулера.
Проверка одного URL отвечает на быстрый вопрос. Проверка всех URL сканирования отвечает на полезные: на каких индексируемых страницах, которые вы хотели продвигать, стоит noindex, какие страницы с noindex всё ещё есть в XML-карте сайта и какие Google не может прочитать, потому что их блокирует robots.txt.
Два способа задать noindex
Страница Google о запрете индексирования с помощью noindex говорит, что оба способа действуют одинаково. Выбирайте тот, что подходит к типу файла.
| Способ | Где находится | Работает для | Где видно |
|---|---|---|---|
| Тег meta robots | HTML head | HTML-страницы | Исходный код страницы |
| Заголовок X-Robots-Tag | Ответ HTTP | Любые файлы, PDF, изображения | Заголовки ответа |
| Строка noindex в robots.txt | robots.txt | – не поддерживается | Google их игнорирует |
<!-- in the <head> -->
<meta name="robots" content="noindex">
# as an HTTP response header
X-Robots-Tag: noindex
Замените robots названием краулера, например googlebot, чтобы правило касалось одного краулера. Справочник по meta robots и X-Robots-Tag от SEO ProCheck перечисляет все значения.
Директивы robots кратко
Значения, которые Google описывает в спецификации метатега robots, и что делает каждое:
| Директива | Последствие | Обычное применение |
|---|---|---|
noindex | Не показывается в результатах | «Спасибо», внутренний поиск |
nofollow | По ссылкам на странице не переходят | Пользовательские страницы без доверия |
нет | noindex вместе с nofollow | Редко бывает правильным выбором |
nosnippet | Нет текстового сниппета | Платный или юридический текст |
max-snippet:[n] | Сниппет до n символов | Более короткие сниппеты |
unavailable_after:[date] | Удаляется после даты | События, предложения |
index, follow | По умолчанию, без эффекта | Можно не указывать |
Когда две директивы противоречат друг другу, Google применяет более строгую. Страница с index в HTML и noindex в заголовке в итоге не индексируется.
Ошибки с noindex, которые скрывают не те страницы
| Ошибка | Последствие | Исправление |
|---|---|---|
| Noindex с тестового сайта остался после запуска | Выпадает весь сайт | Убрать, пересканировать |
| Noindex вместе с Disallow в robots.txt | Noindex никогда не читается | Разрешить сканирование |
| Noindex удаляется через JavaScript | Google может пропустить рендеринг | Отдавать итоговый тег |
| URL с noindex в XML-карте сайта | Противоречивые сигналы | Убрать из карты сайта |
| Canonical вместе с noindex | Противоречивые сигналы | Выбрать что-то одно |
| Meta robots вне head | Тег может игнорироваться | Перенести в head |
| Заголовок и HTML расходятся | Побеждает более строгий | Оставить один источник |
| Hreflang указывает на noindex | Языковой набор ломается | Указывать на индексируемые URL |
Вторая строка чаще всего становится сюрпризом. Google говорит, что если robots.txt блокирует страницу, краулер никогда не увидит правило noindex, и URL всё равно может появиться в результатах только благодаря ссылкам. Третья взята из основ JavaScript SEO от Google: когда Google находит noindex в исходном HTML, он может пропустить рендеринг, так что скрипт, который позже его удаляет, может так и не выполниться. Руководство по проверке robots.txt описывает сторону сканирования.
Сколько времени действует noindex и более быстрые варианты
Google удаляет страницу, когда сканирует её и читает noindex. Это зависит от того, когда он вернётся, и Google говорит, что для некоторых страниц это может занять месяцы. Выбирайте инструмент по цели:
| Цель | Что использовать | Как быстро |
|---|---|---|
| Убрать из результатов сейчас | Инструмент удаления, затем noindex | Быстрее всего |
| Убрать из результатов навсегда | noindex, 404 или 410 | Следующее сканирование |
| Просканирована, но не проиндексирована | noindex | Следующее сканирование |
| Не сканируется вовсе | Disallow в robots.txt | Следующая загрузка robots.txt |
| Вернуть в результаты | Убрать noindex, запросить индексирование | От нескольких дней до недель |
Инструмент удаления скрывает URL только примерно на шесть месяцев, поэтому за страницей всё равно должен стоять noindex, 404 или 410. После исправления используйте «Запросить индексирование» в проверке URL для нескольких важных страниц.
Как проверить noindex вручную
Для одного URL проверьте оба места. Сначала заголовок, затем HTML:
curl -sI https://example.com/page | grep -i x-robots-tag
curl -s https://example.com/page | grep -io '<meta[^>]*robots[^>]*>'
Затем проверьте, что увидел Google. В Search Console проверка URL показывает HTML, который получил Googlebot, а отчёт «Индексирование страниц» перечисляет все страницы, исключённые с пометкой «Исключено с помощью тега noindex». Смотрите этот список после каждого релиза: страница, которую вы хотите видеть в поиске, никогда не должна в нём оказаться.
У ручных проверок два подвоха. Сайт может отвечать user agent краулера иначе, чем браузеру, а тег, который добавляет JavaScript, виден только в отрендеренном HTML, а не в curl. Краулер, который загружает и исходный, и отрендеренный HTML, видит оба.
Проверьте на noindex весь сайт
- Просканируйте сайт с главной страницы, с рендерингом JavaScript, если сайт от него зависит.
- Составьте список всех неиндексируемых страниц по причине: noindex, canonical на другой URL, код ошибки или блокировка.
- Отсортируйте страницы с noindex по шаблону. Один шаблон с noindex может сразу скрыть сотни страниц.
- Сравните с XML-картами сайта. Каждый перечисленный URL должен быть индексируемым. В нашем собственном сканировании seoprocheck.com 17 октября 2026 года карты сайта перечисляли 1835 URL, а с кодом 200 отвечали 4561 HTML-страница, поэтому оба списка нужно сверять друг с другом.
- Подключите клики из Search Console. Страница с noindex, которая всё ещё получает клики, до недавнего времени ранжировалась, и часто это признак ошибки.
- Сканируйте снова после каждого релиза и сравнивайте, чтобы новый noindex обнаружился в день выхода.
Руководство по проверке индексируемости описывает другие причины, по которым страницу нельзя проиндексировать, а руководство по проверке XML-карты сайта описывает сторону карты сайта.
Найдите страницы с noindex с помощью Neova
Neova помечает каждый URL как «Индексируемая» или «Неиндексируемая» и объясняет причину: код 200, нет noindex, canonical на себя или его нет. Набор столбцов «Директивы» в разделе «Все URL» показывает директивы robots каждого URL, с фильтрами Noindex и Nofollow. Модуль «Миграция и staging» сравнивает сканирование тестового сайта с рабочим, включая noindex, так что noindex с тестового сайта не попадёт в запуск незамеченным.

В основе лежат, в том числе, такие проверки:
- Есть директива noindex и Есть директивы noindex и nofollow
- Noindex в HTML и в HTTP-заголовке различается и Noindex объявлен более одного раза
- Директиву noindex убирает JavaScript
- Тег meta robots вне head
- URL с noindex указан в XML Sitemap
- Неканонический URL с noindex и Canonical указывает на URL с noindex
- Внутренний редирект заканчивается на URL с noindex и Hreflang указывает на URL с noindex
- На URL ссылаются только HTML-страницы с noindex
- URL с noindex получил клики в Search Console, после подключения Search Console
- Дата unavailable_after прошла или недопустима
Тариф Free сканирует 1000 URL за сканирование со всеми проверками на Mac, Windows и Linux. Скачайте Neova или смотрите Возможности.
Вопросы
Как проверить, стоит ли на странице noindex?
Ищите тег meta robots с noindex в исходном коде страницы и заголовок X-Robots-Tag в HTTP-ответе. Проверка URL в Search Console показывает, что увидел Googlebot. Для всего сайта просканируйте его и отфильтруйте неиндексируемые страницы по причине.
Работает ли noindex, если страница заблокирована в robots.txt?
Нет. Google должен просканировать страницу, чтобы прочитать noindex. Если robots.txt её блокирует, Google никогда не видит правило, и URL всё равно может появляться в результатах благодаря ссылкам. Разрешите сканирование, пока страница не выпадет из индекса.
Поддерживается ли noindex в robots.txt?
Google нет. Google перестал поддерживать строки noindex в robots.txt в 2019 году. Используйте тег meta robots или заголовок X-Robots-Tag.
Сколько времени нужно, чтобы страница с noindex ушла из Google?
До тех пор, пока Google снова не просканирует страницу: для активных страниц на это уходят дни, для редко сканируемых уходят месяцы. В срочных случаях используйте инструмент удаления, который скрывает URL примерно на шесть месяцев, пока noindex вступает в силу.
Должны ли страницы с noindex быть в XML-карте сайта?
Нет. Карта сайта должна перечислять страницы, которые вы хотите проиндексировать. URL с noindex в ней посылает противоречивые сигналы.