Проверка robots.txt: как протестировать правила до того, как они заблокируют не те страницы
Файл robots.txt короткий, но решает очень многое. Одна строка может не пустить поисковую систему в папку, которую вы хотели скрыть, или на весь сайт, который вы хотели продвигать. Проверка robots.txt показывает для каждого URL, что каждому краулеру разрешено загружать, так что вы узнаете об этом раньше Googlebot.
Что делает проверка robots.txt
Проверка robots.txt берёт файл robots.txt и URL, выбирает группу правил для заданного user agent и сообщает, разрешён этот URL или запрещён и какая строка это решила. Хорошая проверка также указывает на строки, которые парсер не может прочитать, поля, которые он игнорирует, и правила, которые отменяют друг друга.
Проверка одного URL удобна, чтобы быстро ответить на вопрос. Проверка всех URL сканирования ловит сюрпризы: правило, написанное для одной папки, которое совпадает и с фильтром товаров, или подстановочный знак, который блокирует CSS, нужный страницам для рендеринга.
Google убрал свой инструмент проверки robots.txt
Много лет в Search Console был инструмент проверки robots.txt, где можно было править файл и тестировать URL. В конце 2023 года Google убрал его и заменил отчётом о файлах robots.txt. Отчёт показывает, какие файлы robots.txt Google нашёл для 20 главных хостов ресурса, когда каждый был просканирован в последний раз, и все предупреждения или ошибки. Он также позволяет запросить повторное сканирование файла после срочного исправления.
Отчёт показывает, как Google прочитал ваш живой файл. Он не тестирует правило, которое ещё не опубликовано, и не прогоняет весь ваш список URL через файл. Для этого нужна отдельная проверка. Google публикует свой парсер robots.txt с открытым исходным кодом, а в Bing Webmaster Tools есть проверка robots.txt, удобная, чтобы посмотреть, как файл читает Bingbot.
Как работают правила robots.txt
Файл лежит в корне хоста, например https://www.example.com/robots.txt. Правила определены в RFC 9309, Robots Exclusion Protocol, а как Google их читает, описано в документе Как Google интерпретирует спецификацию robots.txt. Файл состоит из групп. Каждая группа начинается с одной или нескольких строк User-agent, за которыми следуют правила Allow и Disallow:
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
Что проверяют инструменты, по документации Google. Полный справочник по robots.txt от SEO ProCheck разбирает каждое поле.
- Одна группа на краулер. Краулер следует только самой конкретной группе, которая совпадает с его именем. Если у Googlebot есть своя группа, он полностью игнорирует группу
*. - Побеждает самое длинное совпадение. Когда с URL совпадают и Allow, и Disallow, применяется правило с более длинным путём. При равенстве Google применяет наименее строгое правило.
- Два подстановочных знака.
*совпадает с любой последовательностью символов, а$обозначает конец URL. - Пути чувствительны к регистру.
Disallow: /Adminне блокирует/admin. - Один файл на хост. Правила действуют только для протокола, хоста и порта, с которых отдаётся файл. Поддомену нужен свой файл.
Чего robots.txt не делает
robots.txt управляет сканированием, а не индексацией. Введение Google в robots.txt ясно говорит, что запрещённый URL всё равно может быть проиндексирован, если на него ссылаются другие страницы, и обычно он показывается без описания. Если вы хотите убрать страницу из результатов поиска, разрешите её сканировать и используйте noindex. Если Google не может загрузить страницу, он никогда не увидит её noindex.
Ещё несколько ограничений, которые стоит знать:
- Нет строки noindex. Google перестал поддерживать noindex в robots.txt в 2019 году, а заодно и правила nofollow и crawl-delay в этом файле.
- Нет crawl-delay для Google. Googlebot игнорирует
Crawl-delay. Некоторые другие краулеры его читают, поэтому значение, заданное для всех user agent, может сильно их замедлить. - Нет защиты. Файл публичен, и вежливые краулеры следуют ему добровольно. Всё приватное должно быть за логином.
Частые ошибки в robots.txt, которые ловит проверка
| Ошибка | Последствие | Исправление |
|---|---|---|
Disallow: / остался с тестового сайта | Заблокирован весь сайт | Удалить строку |
| Отдельная группа без общих правил | Правила * для этого бота отброшены | Скопировать общие правила |
| Заблокированы CSS, JavaScript, изображения | Страница не рендерится | Разрешить файлы |
| Слишком широкий подстановочный знак | /*? блокирует фильтры и страницы | Сузить шаблон |
| Правило до User-agent, опечатка | Строка пропускается | Исправить синтаксис |
| Disallow для деиндексации | noindex никогда не читается | Разрешить, затем noindex |
| www и без www различаются | Правила различаются по хосту | Отдавать один файл |
Блокировка URL, который вы также указываете в XML-карте сайта, посылает противоречивые сигналы. Руководство по проверке XML-карты сайта описывает эту сторону.
Ошибки сервера и размер файла
То, как отдаётся файл, важно не меньше, чем то, что в нём написано. Google описывает каждый случай:
| Случай | Что делает Google | Как долго |
|---|---|---|
| 4xx, кроме 429 | Сканирует так, будто файла нет | Пока не исправят |
| 5xx или 429 | Прекращает сканирование сайта | Первые 12 часов |
| Всё ещё ошибка | Использует последнюю рабочую копию | До 30 дней |
| Файл больше 500 КиБ | Игнорирует остальное | После 500 КиБ |
| Любое изменение | Использует кешированную копию | До 24 часов |
Запрос повторного сканирования в отчёте о файлах robots.txt предназначен для срочных исправлений. robots.txt, который не отвечает в неудачный момент, может приостановить сканирование всего сайта; руководство по краулинговому бюджету объясняет, почему это важнее всего на больших сайтах.
Что мы нашли в собственном robots.txt
Наша собственная SEO-проверка neova.app 20 ноября 2026 года нашла два правила, которые блокировали больше, чем мы хотели:
| Что было заблокировано | Затронутые страницы | Что видел Google | Исправление |
|---|---|---|---|
| Скрипт email Cloudflare в /cdn-cgi/ | 1 320 | Скрипт, который он не мог загрузить | Разрешили этот скрипт |
| /favicon и /apple-touch-icon.png | Каждый результат | Простая буква, без логотипа | Разрешили оба файла |
Файлы favicon оказались за правилом Disallow: /. Рекомендации Google по favicon требуют, чтобы файл был доступен для сканирования Googlebot-Image, поэтому в результатах поиска рядом с neova.app показывалась буква вместо нашего логотипа. Ни одно из правил не выглядело в файле ошибочным. Оба проявились, только когда правила проверили на каждом URL и файле, который загружают страницы.
Как безопасно тестировать robots.txt
- Просканируйте сайт, чтобы у вас был полный список реальных URL, а не только те немногие, что вы помните.
- Протестируйте живой файл на этом списке для каждого важного вам краулера: Googlebot, Googlebot-Image, Bingbot и ИИ-краулеров.
- Напишите изменение как черновик и протестируйте черновик на том же списке. Посмотрите на URL, которые становятся заблокированными или разрешёнными впервые.
- Проверьте ресурсы. Убедитесь, что ни одна индексируемая страница не теряет свои скрипты, таблицы стилей или изображения.
- Опубликуйте и подтвердите в отчёте о файлах robots.txt в Search Console, что Google загрузил новую версию без ошибок.
- Просканируйте снова и сравните, чтобы вовремя заметить случайное изменение в будущем.
Если вы решаете, что можно загружать ИИ-краулерам, руководство по ИИ-краулерам перечисляет их названия и что делает каждый. Заблокированные страницы также разобраны в руководстве по проверке индексируемости.
Проверьте robots.txt с помощью Neova
Проверка robots.txt в Neova объясняет каждую строку живого файла или черновика простыми словами, так, как это описывает Google и определяет RFC 9309, вместе с просканированными URL, с которыми совпадает каждое правило. Представление «Все краулеры» показывает, что можно загружать Googlebot, Bingbot и ИИ-краулерам, с URL, закрытыми для каждого. Она сообщает, когда собственная группа краулера отбрасывает правила группы *, а тест черновика перечисляет каждый URL сканирования, который изменение заблокирует или разрешит впервые. Затем можно просканировать сайт с соблюдением черновика, чтобы увидеть полный эффект. Проверки в основе:
- В robots.txt недопустимый синтаксис или неизвестные поля
- Файл robots.txt недоступен или слишком большой, для 5xx, 429, отсутствия ответа или размера больше 500 КиБ
- Внутренний URL запрещён в robots.txt
- HTML-страница использует JavaScript-файл, закрытый в robots.txt, таблицу стилей и изображение
- В robots.txt задан Crawl-delay для всех User-Agent
- Файл robots.txt варианта хоста отличается от файла канонического хоста
- Правила robots.txt изменились с предыдущего сканирования
- Favicon отсутствует, не работает или заблокирован, включая favicon, закрытый для Googlebot-Image
- URL, закрытый в robots.txt, указан в XML-карте сайта
Neova хранит каждую версию robots.txt, прочитанную при сканированиях, так что видно, когда изменилось правило. С настройкой User-Agent можно сканировать как Googlebot, Bingbot, ИИ-краулер или со своей строкой. Смотрите Возможности или скачайте Neova.
Вопросы
Остался ли у Google инструмент проверки robots.txt?
Нет. Google убрал инструмент проверки robots.txt из Search Console в 2023 году и заменил его отчётом о файлах robots.txt, который показывает, как Google прочитал ваш живой файл, и все ошибки. Чтобы протестировать изменение до публикации, используйте отдельную проверку robots.txt.
Как проверить, заблокирован ли URL в robots.txt?
Найдите группу, которая совпадает с user agent краулера, затем самый длинный путь Allow или Disallow, совпадающий с URL. Решает это правило. Проверка robots.txt делает это за вас и называет строку, для одного URL или для каждого URL сканирования. FAQ по robots.txt от SEO ProCheck отвечает на пограничные случаи.
Мешает ли robots.txt индексации страницы?
Нет. Он останавливает сканирование. Запрещённый URL всё равно может быть проиндексирован, если на него ссылаются другие страницы. Используйте noindex на странице, которую Google может сканировать, если хотите убрать её из результатов поиска.
Почему Googlebot игнорирует мои правила User-agent: *?
Потому что в файле есть отдельная группа для Googlebot. Краулер следует только самой конкретной совпадающей с ним группе, поэтому скопируйте общие правила и в группу Googlebot.
Как быстро вступают в силу изменения robots.txt?
Google обычно кеширует robots.txt до 24 часов. После срочного исправления можно запросить повторное сканирование в отчёте о файлах robots.txt в Search Console.