NeovaПродвинутая SEO-платформа

Проверка noindex: как найти страницы с noindex, пока они не лишили вас трафика

Одна строка HTML не пускает страницу в Google. Это именно то, что нужно на странице «спасибо», и именно то, чего не нужно на странице товара, где разработчик забыл вернуть настройку после запуска. Проверка noindex показывает, на каких страницах стоит noindex, где он задан и может ли Google вообще его увидеть.

Сканирование и индексацияпроверка noindexОбновлено 21 ноября 2026 г.Команда Neova

Что делает проверка noindex

Проверка noindex загружает URL и смотрит в два места: тег meta robots в HTML и X-Robots-Tag в заголовке HTTP-ответа. Она сообщает, указано ли в одном из них noindex или none, и для какого краулера.

Проверка одного URL отвечает на быстрый вопрос. Проверка всех URL сканирования отвечает на полезные: на каких индексируемых страницах, которые вы хотели продвигать, стоит noindex, какие страницы с noindex всё ещё есть в XML-карте сайта и какие Google не может прочитать, потому что их блокирует robots.txt.

Два способа задать noindex

Страница Google о запрете индексирования с помощью noindex говорит, что оба способа действуют одинаково. Выбирайте тот, что подходит к типу файла.

СпособГде находитсяРаботает дляГде видно
Тег meta robotsHTML headHTML-страницыИсходный код страницы
Заголовок X-Robots-TagОтвет HTTPЛюбые файлы, PDF, изображенияЗаголовки ответа
Строка noindex в robots.txtrobots.txt– не поддерживаетсяGoogle их игнорирует
<!-- in the <head> -->
<meta name="robots" content="noindex">

# as an HTTP response header
X-Robots-Tag: noindex

Замените robots названием краулера, например googlebot, чтобы правило касалось одного краулера. Справочник по meta robots и X-Robots-Tag от SEO ProCheck перечисляет все значения.

Директивы robots кратко

Значения, которые Google описывает в спецификации метатега robots, и что делает каждое:

ДирективаПоследствиеОбычное применение
noindexНе показывается в результатах«Спасибо», внутренний поиск
nofollowПо ссылкам на странице не переходятПользовательские страницы без доверия
нетnoindex вместе с nofollowРедко бывает правильным выбором
nosnippetНет текстового сниппетаПлатный или юридический текст
max-snippet:[n]Сниппет до n символовБолее короткие сниппеты
unavailable_after:[date]Удаляется после датыСобытия, предложения
index, followПо умолчанию, без эффектаМожно не указывать

Когда две директивы противоречат друг другу, Google применяет более строгую. Страница с index в HTML и noindex в заголовке в итоге не индексируется.

Ошибки с noindex, которые скрывают не те страницы

ОшибкаПоследствиеИсправление
Noindex с тестового сайта остался после запускаВыпадает весь сайтУбрать, пересканировать
Noindex вместе с Disallow в robots.txtNoindex никогда не читаетсяРазрешить сканирование
Noindex удаляется через JavaScriptGoogle может пропустить рендерингОтдавать итоговый тег
URL с noindex в XML-карте сайтаПротиворечивые сигналыУбрать из карты сайта
Canonical вместе с noindexПротиворечивые сигналыВыбрать что-то одно
Meta robots вне headТег может игнорироватьсяПеренести в head
Заголовок и HTML расходятсяПобеждает более строгийОставить один источник
Hreflang указывает на noindexЯзыковой набор ломаетсяУказывать на индексируемые URL

Вторая строка чаще всего становится сюрпризом. Google говорит, что если robots.txt блокирует страницу, краулер никогда не увидит правило noindex, и URL всё равно может появиться в результатах только благодаря ссылкам. Третья взята из основ JavaScript SEO от Google: когда Google находит noindex в исходном HTML, он может пропустить рендеринг, так что скрипт, который позже его удаляет, может так и не выполниться. Руководство по проверке robots.txt описывает сторону сканирования.

Сколько времени действует noindex и более быстрые варианты

Google удаляет страницу, когда сканирует её и читает noindex. Это зависит от того, когда он вернётся, и Google говорит, что для некоторых страниц это может занять месяцы. Выбирайте инструмент по цели:

ЦельЧто использоватьКак быстро
Убрать из результатов сейчасИнструмент удаления, затем noindexБыстрее всего
Убрать из результатов навсегдаnoindex, 404 или 410Следующее сканирование
Просканирована, но не проиндексированаnoindexСледующее сканирование
Не сканируется вовсеDisallow в robots.txtСледующая загрузка robots.txt
Вернуть в результатыУбрать noindex, запросить индексированиеОт нескольких дней до недель

Инструмент удаления скрывает URL только примерно на шесть месяцев, поэтому за страницей всё равно должен стоять noindex, 404 или 410. После исправления используйте «Запросить индексирование» в проверке URL для нескольких важных страниц.

Как проверить noindex вручную

Для одного URL проверьте оба места. Сначала заголовок, затем HTML:

curl -sI https://example.com/page | grep -i x-robots-tag
curl -s https://example.com/page | grep -io '<meta[^>]*robots[^>]*>'

Затем проверьте, что увидел Google. В Search Console проверка URL показывает HTML, который получил Googlebot, а отчёт «Индексирование страниц» перечисляет все страницы, исключённые с пометкой «Исключено с помощью тега noindex». Смотрите этот список после каждого релиза: страница, которую вы хотите видеть в поиске, никогда не должна в нём оказаться.

У ручных проверок два подвоха. Сайт может отвечать user agent краулера иначе, чем браузеру, а тег, который добавляет JavaScript, виден только в отрендеренном HTML, а не в curl. Краулер, который загружает и исходный, и отрендеренный HTML, видит оба.

Проверьте на noindex весь сайт

  1. Просканируйте сайт с главной страницы, с рендерингом JavaScript, если сайт от него зависит.
  2. Составьте список всех неиндексируемых страниц по причине: noindex, canonical на другой URL, код ошибки или блокировка.
  3. Отсортируйте страницы с noindex по шаблону. Один шаблон с noindex может сразу скрыть сотни страниц.
  4. Сравните с XML-картами сайта. Каждый перечисленный URL должен быть индексируемым. В нашем собственном сканировании seoprocheck.com 17 октября 2026 года карты сайта перечисляли 1835 URL, а с кодом 200 отвечали 4561 HTML-страница, поэтому оба списка нужно сверять друг с другом.
  5. Подключите клики из Search Console. Страница с noindex, которая всё ещё получает клики, до недавнего времени ранжировалась, и часто это признак ошибки.
  6. Сканируйте снова после каждого релиза и сравнивайте, чтобы новый noindex обнаружился в день выхода.

Руководство по проверке индексируемости описывает другие причины, по которым страницу нельзя проиндексировать, а руководство по проверке XML-карты сайта описывает сторону карты сайта.

Найдите страницы с noindex с помощью Neova

Neova помечает каждый URL как «Индексируемая» или «Неиндексируемая» и объясняет причину: код 200, нет noindex, canonical на себя или его нет. Набор столбцов «Директивы» в разделе «Все URL» показывает директивы robots каждого URL, с фильтрами Noindex и Nofollow. Модуль «Миграция и staging» сравнивает сканирование тестового сайта с рабочим, включая noindex, так что noindex с тестового сайта не попадёт в запуск незамеченным.

«Все URL» в Neova: код ответа и «Индексируемый» или «Неиндексируемый» для каждого URL сканирования
«Все URL» в Neova: код ответа и «Индексируемый» или «Неиндексируемый» для каждого URL сканирования

В основе лежат, в том числе, такие проверки:

Тариф Free сканирует 1000 URL за сканирование со всеми проверками на Mac, Windows и Linux. Скачайте Neova или смотрите Возможности.

Вопросы

Как проверить, стоит ли на странице noindex?

Ищите тег meta robots с noindex в исходном коде страницы и заголовок X-Robots-Tag в HTTP-ответе. Проверка URL в Search Console показывает, что увидел Googlebot. Для всего сайта просканируйте его и отфильтруйте неиндексируемые страницы по причине.

Работает ли noindex, если страница заблокирована в robots.txt?

Нет. Google должен просканировать страницу, чтобы прочитать noindex. Если robots.txt её блокирует, Google никогда не видит правило, и URL всё равно может появляться в результатах благодаря ссылкам. Разрешите сканирование, пока страница не выпадет из индекса.

Поддерживается ли noindex в robots.txt?

Google нет. Google перестал поддерживать строки noindex в robots.txt в 2019 году. Используйте тег meta robots или заголовок X-Robots-Tag.

Сколько времени нужно, чтобы страница с noindex ушла из Google?

До тех пор, пока Google снова не просканирует страницу: для активных страниц на это уходят дни, для редко сканируемых уходят месяцы. В срочных случаях используйте инструмент удаления, который скрывает URL примерно на шесть месяцев, пока noindex вступает в силу.

Должны ли страницы с noindex быть в XML-карте сайта?

Нет. Карта сайта должна перечислять страницы, которые вы хотите проиндексировать. URL с noindex в ней посылает противоречивые сигналы.

Сохраните и поделитесь

Ссылки на ассистентов открываются с уже написанным вопросом об этой странице.

Просканируйте свой сайт с NeovaТариф Free выполняет все проверки на Mac, Windows и Linux. Банковская карта не нужна.

Читайте также