Neova高级 SEO 平台

llms.txt:是什么、格式如何、您是否需要

llms.txt 是放在网站根目录的一个 Markdown 文件,用来告诉语言模型这个网站是什么、哪些页面值得读。它于 2024 年 9 月被提出。它不是 Web 标准,没有任何主流搜索引擎表示在使用它,而在访问量最大的网站中,大约每六个有一个提供该文件。下面介绍它的格式、实测数据,以及要不要发布一个的明确答案。

AI 搜索llms.txt更新于 2026年11月21日Neova 团队撰写

什么是 llms.txt?

llms.txt 是放在 /llms.txt 的纯 Markdown 文件。它用一两句话介绍网站,然后在若干标题下分组列出语言模型应该读取的 URL。其思路是给 AI 助手一份简短、清晰的地图,而不是一整个充满菜单、脚本和广告的 HTML 网站。

Jeremy Howard 于 2024年9月3日在 llmstxt.org 上提出了它。这是一份社区提案:没有任何标准组织发布它,也没有任何 AI 公司承诺读取它。

事实值
提出时间2024年9月3日
规范llmstxt.org
位置/llms.txt,或某个子路径
格式Markdown
必需部分一个 H1
标准组织–
Google 搜索是否使用–

它常常与 robots.txt 混淆。两者的作用不同:robots.txt 规定爬虫可以获取什么,爬虫依据 RFC 9309 遵守它。llms.txt 只是建议哪些内容值得读,它不允许也不屏蔽任何东西。爬虫方面,请参阅 AI 爬虫指南和 robots.txt 测试工具指南。

llms.txt 格式逐行解读

llmstxt.org 上的规范按固定顺序定义了各部分。只有第一个标题是必需的。

部分必需Markdown
网站或项目名称✓H1 (#)
简短摘要–引用块(>)
详细信息–段落或列表
文件列表–H2(##)+ 链接
可选部分–名为 Optional 的 H2

文件列表中的每一项都是一个 Markdown 链接,后面可以加冒号和说明。名为 Optional 的 H2 下的链接,是助手在需要更短上下文时可以跳过的。一个最简文件如下:

# Example Store

> Hand-made ceramic tableware, shipped from Portugal to the EU and the US.

Prices are in euros. Every product page lists dimensions and care.

## Products
- [Plates](https://example.com/plates/): dinner, side and serving plates
- [Mugs](https://example.com/mugs/): 250 ml and 350 ml

## Help
- [Shipping](https://example.com/shipping/): costs and delivery times
- [Returns](https://example.com/returns/): 30 days

## Optional
- [Our story](https://example.com/about/)

规范还建议为每个有用的页面在同一 URL 后加上 .md 提供一份 Markdown 副本,例如 page.html.md。配套文件 llms-full.txt 是一种常见扩展:把页面全文放在一个文件里,而不是链接到它们。提案也允许把文件放在子路径中,例如 /docs/llms.txt,覆盖其下的页面。

到底谁在提供 llms.txt?数据如下

SEO ProCheck 于 2026年9月29日向 184 个访问量最大的网站请求了五种代理文件。只列总数:

文件提供该文件的网站占比
/llms.txt184 个中的 31 个16.8%
/llms-full.txt184 个中的 6 个3.3%
/AGENTS.md184 个中的 1 个0.5%
/.well-known/llms.txt184 个中的 0 个0%
/ai.txt184 个中的 0 个0%

几乎所有提供该文件的网站都在销售软件或开发者工具。文件大小的中位数是 12,490 字节,所以这些是真正的文件,而不是占位符。完整方法见 到底谁在提供 llms.txt?实测 184 个热门网站。采用情况说明的是谁愿意发布,并不能说明有没有任何助手在读取它。

我们自己的两个网站,2026年11月21日检查:

网站/llms.txtContent-Type大小
seoprocheck.com200text/plain3,078 字节
neova.app404text/html无

SEO ProCheck 发布了一个,因为它的读者是会测试这类文件的 SEO 人员。neova.app 暂时还没有。两种做法都没问题。没有 llms.txt 并不是错误。

Google 或任何 AI 助手会使用 llms.txt 吗?

以下是各公司在自己文档中的说法(截至 2026年11月21日):

公司是否读取 llms.txt来源
Google 搜索–AI 优化指南
OpenAI未见文档说明爬虫文档
Anthropic未见文档说明爬虫文档
Perplexity未见文档说明机器人文档

只有 Google 明确表态。它于 2026年5月15日发布的生成式 AI 功能优化指南指出,要出现在 Google 搜索中,您不需要机器可读文件、AI 文本文件、标记或 Markdown。指南还说,为其他服务制作的 llms.txt 对 Google 搜索中的可见度既无帮助也无损害,因为 Google 搜索会忽略它。Google 的 John Mueller 早在 2025 年 6 月就说过,没有任何 AI 系统使用这个文件,服务器日志也证明了这一点。

这个文件能起作用的地方是推理阶段:用户让编程助手或代理去读您的文档时,它可能会获取该文件并跟踪其中的链接。这就是开发者工具公司在采用上领先的原因。SEO ProCheck 上的 llms.txt 详解梳理了相关证据,包括服务器日志显示的内容。

您应该发布 llms.txt 吗?

您的网站要发布吗?原因
开发者文档或 API✓代理会按需读取文档
软件产品◐成本低,收益小
网店◐Feed 和页面更重要
新闻或出版商–没有已知的读取方
本地商家–商家资料更重要

发布一个只需一小时加上少量维护。不发布,在 Google 搜索中也没有可衡量的损失,而 Google 是唯一以书面形式这样说明的公司。对每个 AI 助手真正重要的是:它的爬虫能获取您的页面,并在 HTML 中拿到主要内容。请先解决这个问题;AI 搜索优化和 ChatGPT SEO 中有相关介绍。

两点提醒。第一,llms.txt 是公开的,您列出的任何内容都是给所有人的建议,包括抓取程序。第二,它不是访问控制:没有列入 llms.txt 的页面,仍然对 robots.txt 允许的任何爬虫开放。

如何编写和提供 llms.txt

  1. 挑选页面。10 到 50 个回答人们关于您的常见问题的 URL:产品、价格、文档、政策、联系方式。不是所有 URL,那是站点地图的工作。
  2. 写好 H1 和摘要。先写名称,再写一句陌生人也能看懂的话。
  3. 在 H2 下对链接分组,并在每个链接后加一句简短说明。
  4. 以文本形式提供。/llms.txt,状态码 200,Content-Type: text/plain 或 text/markdown,UTF-8 编码。
  5. 只链接到有效的 URL。每个链接都应返回 200,而不是重定向或 404。
  6. 保持更新。页面移动时重新生成。过时的文件会把助手引向失效的页面。
事项良好问题
状态码2005xx
Content-Typetext/plaintext/html
第一行# 名称其他任何内容
链接返回 200404 或重定向
大小几 KB内联了整个网站

一个常见错误是 CMS 或 CDN 对 /llms.txt 返回首页或带样式的 404 页面,并附带状态码 200。对读取方来说,那是一个 HTML 页面,而不是 llms.txt。

用 Neova 检查您的 llms.txt 和代理文件

Neova 会检查已发布的 llms.txt 和其他代理文件。它不会替您编写,没有这些文件的网站也不会被标记。相关检查项:

「各 AI 助手获取到的内容」以 10 个 AI 代理的身份请求抽样页面,显示谁拿到了完整页面、robots.txt 允许了什么。这些功能可在 Mac、Windows 和 Linux 的桌面应用中运行,也可在浏览器中的 Neova Online 中使用。免费套餐每次抓取 1,000 个 URL,运行所有检查项;请查看价格或下载 Neova。

常见问题

什么是 llms.txt?

放在 /llms.txt 的 Markdown 文件,写明网站名称、概述网站,并列出语言模型应读取的页面。它于 2024年9月3日在 llmstxt.org 上被提出,并不是官方 Web 标准。

Google 使用 llms.txt 吗?

不使用。Google 于 2026年5月15日发布的生成式 AI 功能指南指出,Google 搜索会忽略 llms.txt,它对那里的可见度既无帮助也无损害。

llms.txt 和 robots.txt 一样吗?

不一样。robots.txt 告诉爬虫可以获取什么,它是一项标准,即 RFC 9309。llms.txt 只是建议读什么,不屏蔽任何东西。

有多少网站有 llms.txt?

在 SEO ProCheck 2026年9月29日的测量中,184 个热门网站里有 31 个提供 /llms.txt(16.8%),几乎都是软件或开发者工具公司。

什么是 llms-full.txt?

一种配套文件,把所列页面的全文放在一个 Markdown 文件中,而不是链接到它们。在同一次测量中,184 个网站里有 6 个提供该文件。

分享本文

点开 AI 助手链接时,关于本页的问题已经写好。

用 Neova 抓取您的网站免费套餐在 Mac、Windows 和 Linux 上运行所有检查项。无需信用卡。

继续阅读