llms.txt: что это, как устроен формат и нужен ли он вам
llms.txt представляет собой Markdown-файл в корне сайта, который сообщает языковой модели, что это за сайт и какие страницы стоит прочитать. Его предложили в сентябре 2024 года. Это не веб-стандарт, ни одна крупная поисковая система не говорит, что использует его, и примерно каждый шестой из самых посещаемых сайтов его отдаёт. Вот формат, измеренные цифры и прямой ответ, стоит ли его публиковать.
Что такое llms.txt?
llms.txt является обычным Markdown-файлом по адресу /llms.txt. Он представляет сайт одним-двумя предложениями, затем перечисляет URL, которые стоит прочитать языковой модели, сгруппированные под заголовками. Идея в том, чтобы дать ИИ-ассистенту короткую чистую карту вместо целого HTML-сайта с меню, скриптами и рекламой.
Джереми Говард предложил его на llmstxt.org 3 сентября 2024 года. Это предложение сообщества: его не публикует ни одна организация по стандартам, и ни одна ИИ-компания не обязалась его читать.
| Факт | Значение |
|---|---|
| Предложен | 3 сентября 2024 года |
| Спецификация | llmstxt.org |
| Расположение | /llms.txt или вложенный путь |
| Формат | Markdown |
| Обязательная часть | Один H1 |
| Организация по стандартам | – |
| Используется Google Поиском | – |
Его часто путают с robots.txt. У них разные задачи: robots.txt говорит, что краулеру можно загружать, и краулеры соблюдают его по RFC 9309. llms.txt только подсказывает, что стоит прочитать. Он ничего не разрешает и не блокирует. О стороне краулеров читайте в руководстве по ИИ-краулерам и в руководстве по проверке robots.txt.
Формат llms.txt построчно
Спецификация на llmstxt.org задаёт части в фиксированном порядке. Обязателен только первый заголовок.
| Часть | Обязательное | Markdown |
|---|---|---|
| Название сайта или проекта | ✓ | H1 (#) |
| Краткое описание | – | Цитата (>) |
| Подробности | – | Абзацы или списки |
| Списки файлов | – | H2 (##) + ссылки |
| Необязательный раздел | – | H2 с названием Optional |
Каждый пункт в списке файлов оформляется как Markdown-ссылка, за которой могут идти двоеточие и примечание. Ссылки под H2 с названием Optional ассистент может пропустить, когда ему нужен более короткий контекст. Минимальный файл выглядит так:
# Example Store
> Hand-made ceramic tableware, shipped from Portugal to the EU and the US.
Prices are in euros. Every product page lists dimensions and care.
## Products
- [Plates](https://example.com/plates/): dinner, side and serving plates
- [Mugs](https://example.com/mugs/): 250 ml and 350 ml
## Help
- [Shipping](https://example.com/shipping/): costs and delivery times
- [Returns](https://example.com/returns/): 30 days
## Optional
- [Our story](https://example.com/about/)
Спецификация также предлагает Markdown-копию каждой полезной страницы по тому же URL с добавленным .md, например page.html.md. Сопутствующий файл llms-full.txt стал распространённым расширением: полный текст страниц в одном файле вместо ссылок на них. Предложение допускает и файл во вложенном пути, например /docs/llms.txt, который охватывает страницы под ним.
Кто на самом деле отдаёт llms.txt? Цифры
SEO ProCheck 29 сентября 2026 года запросил пять файлов для агентов у 184 самых посещаемых сайтов. Только итоги:
| Файл | Сайтов, которые его отдают | Доля |
|---|---|---|
| /llms.txt | 31 из 184 | 16.8% |
| /llms-full.txt | 6 из 184 | 3.3% |
| /AGENTS.md | 1 из 184 | 0.5% |
| /.well-known/llms.txt | 0 из 184 | 0% |
| /ai.txt | 0 из 184 | 0% |
Почти все сайты, которые его отдавали, продают софт или инструменты для разработчиков. Медианный файл весил 12 490 байт, так что это настоящие файлы, а не заглушки. Полная методика в исследовании Кто на самом деле отдаёт llms.txt? Измерение 184 топовых сайтов. Распространённость показывает, кто готов его публиковать. Она ничего не говорит о том, читает ли его какой-либо ассистент.
Наши собственные два сайта, проверено 21 ноября 2026 года:
| Сайт | /llms.txt | Content-Type | Размер |
|---|---|---|---|
| seoprocheck.com | 200 | text/plain | 3078 байт |
| neova.app | 404 | text/html | нет |
SEO ProCheck публикует его, потому что его читают SEO-специалисты, которые тестируют такие файлы. neova.app пока нет. Оба варианта нормальны. Отсутствие llms.txt не является ошибкой.
Используют ли llms.txt Google или какой-либо ИИ-ассистент?
Вот что каждая компания говорит в своей документации на 21 ноября 2026 года:
| Компания | Читает llms.txt | Источник |
|---|---|---|
| Google Поиск | – | Руководство по оптимизации для ИИ |
| OpenAI | Не задокументировано | Документация краулера |
| Anthropic | Не задокументировано | Документация краулера |
| Perplexity | Не задокументировано | Документация бота |
Google единственный, кто говорит об этом прямо. Его руководство по оптимизации для функций генеративного ИИ, опубликованное 15 мая 2026 года, говорит, что для появления в Google Поиске не нужны машиночитаемые файлы, текстовые файлы для ИИ, разметка или Markdown. Там добавлено, что llms.txt, сделанный для других сервисов, не помогает и не вредит видимости в Google Поиске, потому что Google Поиск его игнорирует. Джон Мюллер из Google ещё в июне 2025 года говорил, что ни одна ИИ-система не использует этот файл и что это видно по серверным логам.
Где файл может помочь, так это во время инференса: ассистент для кода или агент, которого человек направил на вашу документацию, может загрузить его и пройти по его ссылкам. Поэтому в лидерах по распространённости компании, делающие инструменты для разработчиков. Статья llms.txt простыми словами на SEO ProCheck разбирает доказательства, включая то, что показывают серверные логи.
Стоит ли публиковать llms.txt?
| Ваш сайт | Публиковать? | Почему |
|---|---|---|
| Документация для разработчиков или API | ✓ | Агенты читают документацию по запросу |
| Программный продукт | ◐ | Дёшево, мало пользы |
| Интернет-магазин | ◐ | Фиды и страницы важнее |
| Новости или издатель | – | Нет задокументированного читателя |
| Местный бизнес | – | Профиль компании важнее |
Если вы его опубликуете, это займёт час и немного поддержки. Если нет, вы ничего измеримого не потеряете в Google Поиске, единственном месте, о котором компания написала это прямо. Для каждого ИИ-ассистента действительно важно, чтобы его краулер мог загрузить ваши страницы и получал основной контент в HTML. Исправьте это в первую очередь; об этом в руководствах оптимизация под ИИ-поиск и SEO для ChatGPT.
Два предостережения. Во-первых, llms.txt публичен, поэтому всё, что вы в нём перечислите, становится подсказкой для всех, включая скраперы. Во-вторых, он не управляет доступом: страница, не включённая в llms.txt, всё равно открыта любому краулеру, которому это разрешает robots.txt.
Как написать и отдавать llms.txt
- Выберите страницы. От 10 до 50 URL, которые отвечают на вопросы людей о вас: продукт, цены, документация, правила, контакты. Не все URL; это задача карты сайта.
- Напишите H1 и краткое описание. Название, затем одно предложение, понятное постороннему.
- Сгруппируйте ссылки под H2 и добавьте после каждой короткое примечание.
- Отдавайте его как текст.
/llms.txt, код 200,Content-Type: text/plainилиtext/markdown, UTF-8. - Ссылайтесь только на живые URL. Каждая ссылка должна отвечать 200, а не редиректом или 404.
- Поддерживайте актуальность. Пересоздавайте его, когда страницы переезжают. Устаревший файл направляет ассистентов на мёртвые страницы.
| Пункт | Хорошо | Проблема |
|---|---|---|
| Статус | 200 | 5xx |
| Content-Type | text/plain | text/html |
| Первая строка | # Название | Что-либо другое |
| Ссылки | Отвечают 200 | 404 или редирект |
| Размер | Несколько КБ | Весь сайт целиком внутри |
Частая ошибка: CMS или CDN отвечает на /llms.txt главной страницей или оформленной страницей 404 с кодом 200. Для читателя это HTML-страница, а не llms.txt.
Проверьте llms.txt и файлы для агентов с помощью Neova
Neova проверяет опубликованный llms.txt и другие файлы для агентов. Он не пишет файл за вас, и сайт без них не отмечается. Проверки:
- Файл llms.txt некорректен или отвечает ошибкой сервера: 5xx или 200 с нетекстовым Content-Type либо первой строкой, которая не является
# title. 404, 410 или HTML-страница считаются отсутствием файла. - Markdown-версия пустая или содержит меньше половины основного текста, когда начальный URL отвечает Markdown на
Accept: text/markdown. - Манифест обнаружения агентов недействителен или не отдаётся, для файлов обнаружения агентов, указанных в robots.txt или в ссылке.
- Запрос с User-Agent краулера ИИ-поиска заблокирован, потому что файл, который никто не может загрузить, никому не помогает.
- Ключевая HTML-страница ограничивает сниппеты или блокирует краулеры ИИ-поиска.
- Основной контент начинается после первых 5 000 символов текста body: HTML-сторона того же вопроса.
Модуль «Что получает каждый ИИ-ассистент» запрашивает выборку страниц от имени 10 ИИ-агентов и показывает, кто получает полную страницу и что разрешает robots.txt. Всё это работает в десктопном приложении на Mac, Windows и Linux и в Neova Online в браузере. Тариф Free сканирует 1000 URL со всеми проверками; смотрите Цены или скачайте Neova.
Вопросы
Что такое llms.txt?
Markdown-файл по адресу /llms.txt, который называет сайт, кратко описывает его и перечисляет страницы, которые стоит прочитать языковой модели. Его предложили на llmstxt.org 3 сентября 2024 года, и это не официальный веб-стандарт.
Использует ли Google llms.txt?
Нет. Руководство Google по функциям генеративного ИИ, опубликованное 15 мая 2026 года, говорит, что Google Поиск игнорирует llms.txt и что файл не помогает и не вредит видимости там.
Является ли llms.txt тем же самым, что robots.txt?
Нет. robots.txt говорит краулерам, что им можно загружать, и является стандартом, RFC 9309. llms.txt только подсказывает, что читать, и ничего не блокирует.
Сколько сайтов используют llms.txt?
В измерении SEO ProCheck от 29 сентября 2026 года /llms.txt отдавали 31 из 184 топовых сайтов (16,8%), почти все из них компании, которые делают софт или инструменты для разработчиков.
Что такое llms-full.txt?
Сопутствующий файл, в котором полный текст перечисленных страниц собран в одном Markdown-файле вместо ссылок на них. В том же измерении его отдавали 6 из 184 сайтов.