llms.txt:是什么、格式如何、您是否需要
llms.txt 是放在网站根目录的一个 Markdown 文件,用来告诉语言模型这个网站是什么、哪些页面值得读。它于 2024 年 9 月被提出。它不是 Web 标准,没有任何主流搜索引擎表示在使用它,而在访问量最大的网站中,大约每六个有一个提供该文件。下面介绍它的格式、实测数据,以及要不要发布一个的明确答案。
什么是 llms.txt?
llms.txt 是放在 /llms.txt 的纯 Markdown 文件。它用一两句话介绍网站,然后在若干标题下分组列出语言模型应该读取的 URL。其思路是给 AI 助手一份简短、清晰的地图,而不是一整个充满菜单、脚本和广告的 HTML 网站。
Jeremy Howard 于 2024年9月3日在 llmstxt.org 上提出了它。这是一份社区提案:没有任何标准组织发布它,也没有任何 AI 公司承诺读取它。
| 事实 | 值 |
|---|---|
| 提出时间 | 2024年9月3日 |
| 规范 | llmstxt.org |
| 位置 | /llms.txt,或某个子路径 |
| 格式 | Markdown |
| 必需部分 | 一个 H1 |
| 标准组织 | – |
| Google 搜索是否使用 | – |
它常常与 robots.txt 混淆。两者的作用不同:robots.txt 规定爬虫可以获取什么,爬虫依据 RFC 9309 遵守它。llms.txt 只是建议哪些内容值得读,它不允许也不屏蔽任何东西。爬虫方面,请参阅 AI 爬虫指南和 robots.txt 测试工具指南。
llms.txt 格式逐行解读
llmstxt.org 上的规范按固定顺序定义了各部分。只有第一个标题是必需的。
| 部分 | 必需 | Markdown |
|---|---|---|
| 网站或项目名称 | ✓ | H1 (#) |
| 简短摘要 | – | 引用块(>) |
| 详细信息 | – | 段落或列表 |
| 文件列表 | – | H2(##)+ 链接 |
| 可选部分 | – | 名为 Optional 的 H2 |
文件列表中的每一项都是一个 Markdown 链接,后面可以加冒号和说明。名为 Optional 的 H2 下的链接,是助手在需要更短上下文时可以跳过的。一个最简文件如下:
# Example Store
> Hand-made ceramic tableware, shipped from Portugal to the EU and the US.
Prices are in euros. Every product page lists dimensions and care.
## Products
- [Plates](https://example.com/plates/): dinner, side and serving plates
- [Mugs](https://example.com/mugs/): 250 ml and 350 ml
## Help
- [Shipping](https://example.com/shipping/): costs and delivery times
- [Returns](https://example.com/returns/): 30 days
## Optional
- [Our story](https://example.com/about/)
规范还建议为每个有用的页面在同一 URL 后加上 .md 提供一份 Markdown 副本,例如 page.html.md。配套文件 llms-full.txt 是一种常见扩展:把页面全文放在一个文件里,而不是链接到它们。提案也允许把文件放在子路径中,例如 /docs/llms.txt,覆盖其下的页面。
到底谁在提供 llms.txt?数据如下
SEO ProCheck 于 2026年9月29日向 184 个访问量最大的网站请求了五种代理文件。只列总数:
| 文件 | 提供该文件的网站 | 占比 |
|---|---|---|
| /llms.txt | 184 个中的 31 个 | 16.8% |
| /llms-full.txt | 184 个中的 6 个 | 3.3% |
| /AGENTS.md | 184 个中的 1 个 | 0.5% |
| /.well-known/llms.txt | 184 个中的 0 个 | 0% |
| /ai.txt | 184 个中的 0 个 | 0% |
几乎所有提供该文件的网站都在销售软件或开发者工具。文件大小的中位数是 12,490 字节,所以这些是真正的文件,而不是占位符。完整方法见 到底谁在提供 llms.txt?实测 184 个热门网站。采用情况说明的是谁愿意发布,并不能说明有没有任何助手在读取它。
我们自己的两个网站,2026年11月21日检查:
| 网站 | /llms.txt | Content-Type | 大小 |
|---|---|---|---|
| seoprocheck.com | 200 | text/plain | 3,078 字节 |
| neova.app | 404 | text/html | 无 |
SEO ProCheck 发布了一个,因为它的读者是会测试这类文件的 SEO 人员。neova.app 暂时还没有。两种做法都没问题。没有 llms.txt 并不是错误。
Google 或任何 AI 助手会使用 llms.txt 吗?
以下是各公司在自己文档中的说法(截至 2026年11月21日):
| 公司 | 是否读取 llms.txt | 来源 |
|---|---|---|
| Google 搜索 | – | AI 优化指南 |
| OpenAI | 未见文档说明 | 爬虫文档 |
| Anthropic | 未见文档说明 | 爬虫文档 |
| Perplexity | 未见文档说明 | 机器人文档 |
只有 Google 明确表态。它于 2026年5月15日发布的生成式 AI 功能优化指南指出,要出现在 Google 搜索中,您不需要机器可读文件、AI 文本文件、标记或 Markdown。指南还说,为其他服务制作的 llms.txt 对 Google 搜索中的可见度既无帮助也无损害,因为 Google 搜索会忽略它。Google 的 John Mueller 早在 2025 年 6 月就说过,没有任何 AI 系统使用这个文件,服务器日志也证明了这一点。
这个文件能起作用的地方是推理阶段:用户让编程助手或代理去读您的文档时,它可能会获取该文件并跟踪其中的链接。这就是开发者工具公司在采用上领先的原因。SEO ProCheck 上的 llms.txt 详解梳理了相关证据,包括服务器日志显示的内容。
您应该发布 llms.txt 吗?
| 您的网站 | 要发布吗? | 原因 |
|---|---|---|
| 开发者文档或 API | ✓ | 代理会按需读取文档 |
| 软件产品 | ◐ | 成本低,收益小 |
| 网店 | ◐ | Feed 和页面更重要 |
| 新闻或出版商 | – | 没有已知的读取方 |
| 本地商家 | – | 商家资料更重要 |
发布一个只需一小时加上少量维护。不发布,在 Google 搜索中也没有可衡量的损失,而 Google 是唯一以书面形式这样说明的公司。对每个 AI 助手真正重要的是:它的爬虫能获取您的页面,并在 HTML 中拿到主要内容。请先解决这个问题;AI 搜索优化和 ChatGPT SEO 中有相关介绍。
两点提醒。第一,llms.txt 是公开的,您列出的任何内容都是给所有人的建议,包括抓取程序。第二,它不是访问控制:没有列入 llms.txt 的页面,仍然对 robots.txt 允许的任何爬虫开放。
如何编写和提供 llms.txt
- 挑选页面。10 到 50 个回答人们关于您的常见问题的 URL:产品、价格、文档、政策、联系方式。不是所有 URL,那是站点地图的工作。
- 写好 H1 和摘要。先写名称,再写一句陌生人也能看懂的话。
- 在 H2 下对链接分组,并在每个链接后加一句简短说明。
- 以文本形式提供。
/llms.txt,状态码 200,Content-Type: text/plain或text/markdown,UTF-8 编码。 - 只链接到有效的 URL。每个链接都应返回 200,而不是重定向或 404。
- 保持更新。页面移动时重新生成。过时的文件会把助手引向失效的页面。
| 事项 | 良好 | 问题 |
|---|---|---|
| 状态码 | 200 | 5xx |
| Content-Type | text/plain | text/html |
| 第一行 | # 名称 | 其他任何内容 |
| 链接 | 返回 200 | 404 或重定向 |
| 大小 | 几 KB | 内联了整个网站 |
一个常见错误是 CMS 或 CDN 对 /llms.txt 返回首页或带样式的 404 页面,并附带状态码 200。对读取方来说,那是一个 HTML 页面,而不是 llms.txt。
用 Neova 检查您的 llms.txt 和代理文件
Neova 会检查已发布的 llms.txt 和其他代理文件。它不会替您编写,没有这些文件的网站也不会被标记。相关检查项:
- llms.txt 格式错误或返回服务器错误:返回 5xx,或返回 200 但 Content-Type 不是文本,或第一行不是
# title。404、410 或 HTML 页面视为没有该文件。 - Markdown 版本为空,或不到主要文本的一半,适用于起始 URL 对
Accept: text/markdown返回 Markdown 的情况。 - 代理发现清单无效或未提供,适用于在 robots.txt 或链接中声明的代理发现文件。
- 使用 AI 搜索爬虫 User-Agent 的请求被拦截,因为谁都获取不到的文件对谁都没有帮助。
- 关键 HTML 页面限制摘要或屏蔽 AI 搜索爬虫。
- 主要内容在正文的前 5,000 个字符之后才开始,这是同一问题在 HTML 方面的体现。
「各 AI 助手获取到的内容」以 10 个 AI 代理的身份请求抽样页面,显示谁拿到了完整页面、robots.txt 允许了什么。这些功能可在 Mac、Windows 和 Linux 的桌面应用中运行,也可在浏览器中的 Neova Online 中使用。免费套餐每次抓取 1,000 个 URL,运行所有检查项;请查看价格或下载 Neova。
常见问题
什么是 llms.txt?
放在 /llms.txt 的 Markdown 文件,写明网站名称、概述网站,并列出语言模型应读取的页面。它于 2024年9月3日在 llmstxt.org 上被提出,并不是官方 Web 标准。
Google 使用 llms.txt 吗?
不使用。Google 于 2026年5月15日发布的生成式 AI 功能指南指出,Google 搜索会忽略 llms.txt,它对那里的可见度既无帮助也无损害。
llms.txt 和 robots.txt 一样吗?
不一样。robots.txt 告诉爬虫可以获取什么,它是一项标准,即 RFC 9309。llms.txt 只是建议读什么,不屏蔽任何东西。
有多少网站有 llms.txt?
在 SEO ProCheck 2026年9月29日的测量中,184 个热门网站里有 31 个提供 /llms.txt(16.8%),几乎都是软件或开发者工具公司。
什么是 llms-full.txt?
一种配套文件,把所列页面的全文放在一个 Markdown 文件中,而不是链接到它们。在同一次测量中,184 个网站里有 6 个提供该文件。