ИИ-краулеры: что делают GPTBot, ClaudeBot и PerplexityBot и как ими управлять
ИИ-краулеры загружают ваши страницы, чтобы обучать языковые модели, строить индексы для ИИ-поиска или тут же ответить на вопрос одного человека. У каждого вида своё имя в robots.txt, поэтому одни можно разрешить, а другие запретить. Вот кто они, что делает каждый и как проверить, что они на самом деле получают.
Что такое ИИ-краулеры?
ИИ-краулерами, или LLM-краулерами, называют ботов ИИ-компаний. Они не одинаковы, и если считать их одной группой, получаются плохие правила robots.txt. Есть три вида:
- Обучающие краулеры собирают страницы, которые могут пойти на обучение будущих моделей. Самые известные: GPTBot и ClaudeBot.
- Поисковые краулеры строят индекс, по которому ИИ-ассистент ищет, когда отвечает с источниками и ссылками. В эту группу входят OAI-SearchBot, Claude-SearchBot и PerplexityBot.
- Загрузчики по запросу пользователя открывают страницу, потому что человек спросил о ней ассистента, например вставив URL. Так работают ChatGPT-User, Claude-User и Perplexity-User.
Запрет обучающего краулера не пускает ваши страницы в будущие обучающие наборы. Запрет поискового краулера может убрать вас из ответов ИИ с цитатами, а бизнесу обычно нужно ровно обратное.
Основные ИИ-краулеры и их токены в robots.txt
Каждый разработчик документирует своих ботов. Вот имена для robots.txt со ссылками на страницы самих компаний:
| Токен | Компания | Вид | Свой бот |
|---|---|---|---|
| GPTBot | OpenAI | Обучение | ✓ |
| OAI-SearchBot | OpenAI | ИИ-поиск | ✓ |
| ChatGPT-User | OpenAI | Запрос пользователя | ✓ |
| ClaudeBot | Anthropic | Обучение | ✓ |
| Claude-SearchBot | Anthropic | ИИ-поиск | ✓ |
| Claude-User | Anthropic | Запрос пользователя | ✓ |
| PerplexityBot | Perplexity | ИИ-поиск | ✓ |
| Perplexity-User | Perplexity | Запрос пользователя | ✓ |
| Google-Extended | Использование контента в Gemini | – | |
| Applebot-Extended | Apple | Обучение моделей Apple | – |
| CCBot | Common Crawl | Открытый веб-архив | ✓ |
Google-Extended и Applebot-Extended являются токенами, а не отдельными ботами: они управляют тем, как можно использовать контент, который уже сканируют Googlebot или Applebot. Google говорит, что Google-Extended не влияет на попадание в Google Поиск и ранжирование. Чтобы ограничить показ вашего контента в собственных ИИ-функциях Google Поиска, Google рекомендует управление сниппетами, например nosnippet. Более длинный список со всеми ботами и их назначением есть на карте ИИ-краулеров на SEO ProCheck.
Стоит ли запрещать LLM-краулеры?
Единственно верного ответа нет. Всё зависит от того, для чего ваш контент. В терминах robots.txt большинство сайтов укладываются в три политики:
| Политика | Обучение | ИИ-поиск | Запрос пользователя |
|---|---|---|---|
| Открыто для всех | ✓ | ✓ | ✓ |
| Цитируют, но не обучаются | – | ✓ | ✓ |
| Закрыто для ИИ | – | – | ◐ |
- Разрешите поисковые краулеры, если хотите, чтобы вас цитировали и давали ссылки в поиске ChatGPT, Claude и Perplexity. Для большинства компаний это желанная видимость.
- Подумайте о запрете обучающих краулеров, если ваш контент и есть ваш продукт: новости, исследования, курсы, платные данные. Запрет останавливает будущий сбор, но не удаляет уже собранное.
- Хорошо подумайте, прежде чем запрещать загрузчики по запросу пользователя. Они действуют от имени человека, который спросил о вашей странице, и некоторые компании говорят, что они могут не следовать robots.txt так, как краулеры; отсюда «частично» выше.
Запишите решение: какие боты разрешены, какие запрещены и почему. Затем приведите robots.txt в соответствие. Именно письменная политика не даст будущему разработчику закрыть всё во время редизайна.
robots.txt для ИИ-ботов: примеры
Вот распространённая настройка: разрешить ИИ-поиск, запретить обучение.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
Несколько строк User-agent могут делить одну группу правил. Внимательно следите за одной ловушкой. По стандарту robots.txt, RFC 9309, краулер следует только самой специфичной группе, в которой он назван. Если вы добавите группу для GPTBot, GPTBot полностью проигнорирует группу *, включая ваш Disallow: /search/. Поэтому поисковая группа выше повторяет два общих правила. Всё, что именованная группа не запрещает, разрешено.
Чтобы закрыть от обучения одну папку, а не весь сайт:
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
Для загрузчиков по запросу пользователя прочитайте страницу каждой компании, прежде чем полагаться на robots.txt.
Проверяйте каждое правило на реальных URL до публикации. 20 ноября 2026 г. мы нашли на neova.app два правила, которые закрывали больше, чем задумывалось:
| Сработавшее правило | Последствие | Охват |
|---|---|---|
| Закрыт /cdn-cgi/ | Закрыт email-скрипт Cloudflare | 1320 страниц |
| Disallow: / поверх favicon | Простая буква вместо логотипа в Google | Каждый результат поиска |
Оба случая исправили, открыв пути. Disallow, написанный для одного бота или одной папки, действует на каждый файл внутри, включая скрипты и иконки.
Не только robots.txt: файрволы, CDN и проверка подлинности
robots.txt работает как просьба, а не как замок. Перечисленные ИИ-компании описывают, как их краулеры его соблюдают, но другие боты могут его игнорировать.
- Проверьте и файрвол. У некоторых CDN и WAF есть настройки, которые блокируют ИИ-краулеры, иногда по умолчанию. Сайт может разрешать GPTBot в robots.txt и всё равно отвечать ему 403. Проверьте, что каждый краулер получает на самом деле.
- Проверяйте, прежде чем доверять. OpenAI и Perplexity публикуют списки IP своих ботов, как и Google и Microsoft. Запрос, который называет себя ботом, но приходит с адреса не из списка его компании, не этот бот.
- Блокируйте недобросовестных на периметре. Против парсеров, игнорирующих robots.txt, работают только правила в CDN или на сервере.
Как часто это идёт не так на практике: SEO ProCheck проверил, что ИИ-краулеры получают на 400 сайтах, в исследовании Can AI Crawlers Actually Read Your Site? 400 Sites Measured.
Сделайте страницы читаемыми для ИИ-краулеров
Разрешить краулер значит сделать половину SEO для ИИ-краулеров. Вторая половина: убедиться, что он может прочитать то, что загрузил.
- Размещайте основной контент в HTML. Не каждый краулер выполняет JavaScript. Если текст появляется только после работы скриптов, считайте, что некоторые ИИ-краулеры его никогда не увидят.
- Переходите к сути сразу. Длинные меню и шаблонный текст перед основным текстом отодвигают ответ вниз по странице.
- Не прячьте ключевые факты в изображениях, PDF или виджетах. Цены, характеристики и контакты должны быть обычным текстом в HTML.
- Отдавайте настоящие коды ответа. Сломанная или перенаправленная страница, которую цитируют ответы ИИ, отправляет их читателей на ошибку.
- Держите HTML лёгким. Googlebot читает первые 2 МБ HTML-файла; Neova отмечает страницы больше этого в проверке HTML больше 2 МБ или Core Web Vitals вне хорошего диапазона.
- llms.txt необязателен. Это предложенный формат, а не веб-стандарт. Если публикуете его, следите, чтобы он был валидным и актуальным.
Как проверить, что видят ИИ-краулеры
Neova показывает, что разрешено каждому ИИ-краулеру и что ему на самом деле отдаётся, в десктопном приложении и в Neova Online:
- What Each AI Assistant Is Served запрашивает страницы из выборки от имени 10 ИИ-агентов, включая ChatGPT, Claude и Perplexity с их краулерами, Meta AI, Google-Extended и Common Crawl, и показывает, кто получает полный доступ и что разрешает robots.txt.
- Сканирование от имени ИИ-краулера. Запустите полное сканирование как GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot или с другим ИИ user agent.
- robots.txt Tester показывает, что могут загружать Googlebot, Bingbot и ИИ-краулеры, с URL, закрытыми для каждого, и сообщает, когда собственная группа краулера отменяет правила группы
*. - Экран Rendering показывает, скольким страницам нужен JavaScript и что отдаётся каждому ИИ-краулеру.
- Server Log в десктопном приложении показывает подтверждённые визиты ИИ-краулеров и отказы по каждому URL.
- Цитирования в ИИ из Bing Webmaster Tools и из AI Visibility в Microsoft Clarity, если вы их подключите. См. Microsoft Clarity.
С чего начать: запрос с user agent поискового ИИ-краулера заблокирован, правило для ИИ-краулера в robots.txt расходится с письменной политикой, загрузчик ИИ по запросу пользователя заблокирован, ключевая страница ограничивает сниппеты или закрыта для поисковых ИИ-краулеров и ИИ-боты запрашивают URL, которые отвечают ошибкой. Разделы AI Search входят в тариф Free; см. Тарифы или скачайте Neova.
Чек-лист SEO для ИИ-краулеров
| Пункт | Готово, когда |
|---|---|
| Письменная политика | Для каждого ИИ-бота: разрешить или запретить |
| robots.txt | Соответствует политике |
| Именованные группы | Общие правила повторены |
| Поисковые ИИ-краулеры | Разрешены на страницах для цитирования |
| Файрвол и CDN | Как в политике |
| Что получает каждый краулер | 200 и полная страница |
| Основной контент | В HTML, в начале |
| Ключевые факты | Текстом, а не в изображениях |
| Логи | Подтверждённые визиты, подделки считаются отдельно |
| Цитируемые страницы | Отвечают 200 |
Вопросы
Что такое GPTBot?
GPTBot является краулером OpenAI, который собирает контент, который может использоваться для обучения её моделей. Он отделён от OAI-SearchBot, который находит страницы для поиска ChatGPT. См. страницу OpenAI о краулерах.
Уберёт ли запрет GPTBot мой сайт из поиска ChatGPT?
Нет. OpenAI использует разных ботов, и каждый читает свои правила robots.txt. Поиск ChatGPT опирается на OAI-SearchBot, поэтому можно запретить GPTBot и при этом разрешить OAI-SearchBot.
Влияет ли Google-Extended на мои позиции в Google?
Google говорит, что он не влияет на попадание в Google Поиск и не является фактором ранжирования. Он определяет, можно ли использовать ваш контент для моделей Gemini.
Как запретить LLM-краулеры?
Добавьте в robots.txt группу, где назван каждый краулер, например GPTBot, ClaudeBot и CCBot, с Disallow: /. Для ботов, которые игнорируют robots.txt, добавьте правило в файрвол или CDN.
Как узнать, заходят ли ИИ-краулеры на мой сайт?
Читайте логи сервера или CDN и проверяйте каждый запрос по списку IP, который публикует его компания. Инструмент Server Log в Neova делает это по каждому URL. Форматы логов описаны в разделе Импорт вместо подключения.