robots.txt 测试工具:在规则误屏蔽页面之前先测试
robots.txt 是一个很短却威力很大的文本文件。一行就能让搜索引擎远离您本想隐藏的文件夹,或者远离您本想获得排名的整个网站。robots.txt 测试工具会逐个 URL 告诉您每个爬虫可以获取什么,让您在 Googlebot 之前发现问题。
robots.txt 测试工具能做什么
robots.txt 测试工具接收一个 robots.txt 文件和一个 URL,挑出适用于指定 User-Agent 的规则组,告诉您该 URL 是允许还是禁止抓取,以及是哪一行决定的。好的测试工具还会指出解析器读不懂的行、被忽略的字段,以及相互抵消的规则。
一次测试一个 URL,适合回答简单的问题。测试一次抓取中的每个 URL,才能发现意外:为某个文件夹写的规则同时匹配了产品筛选条件,或者通配符屏蔽了页面渲染所需的 CSS。
Google 已停用其 robots.txt 测试工具
多年来,Search Console 中有一个 robots.txt 测试工具,可以编辑文件并用它测试 URL。2023 年底,Google 停用了它,改为 robots.txt 报告。该报告显示 Google 为某个资源的前 20 个主机找到了哪些 robots.txt 文件、每个文件最后一次抓取的时间,以及所有警告或错误。它还允许您在紧急修复后请求重新抓取该文件。
这份报告告诉您 Google 是如何读取您线上文件的。它不能测试尚未上线的规则,也不能用您的整份 URL 清单对照文件进行测试。为此您需要单独的测试工具。Google 发布了自己的开源 robots.txt 解析器,Bing Webmaster Tools 也有一个 robots.txt 测试工具,便于检查 Bingbot 如何读取文件。
robots.txt 规则如何运作
该文件位于主机的根目录,例如 https://www.example.com/robots.txt。规则由 RFC 9309(机器人排除协议)定义,Google 在Google 如何解读 robots.txt 规范中说明了它的读取方式。文件由若干组组成。每组以一行或多行 User-agent 开头,后面跟着 Allow 和 Disallow 规则:
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
以下是测试工具检查的要点,依据 Google 的文档说明。SEO ProCheck 的 robots.txt 完整参考逐一介绍了每个字段。
- 每个爬虫只遵循一组。爬虫只遵循与其名称匹配的最具体的那一组。如果 Googlebot 有自己的组,它会完全忽略
*组。 - 最长匹配优先。当 Allow 和 Disallow 都匹配某个 URL 时,路径更长的规则生效。长度相同时,Google 采用限制最少的规则。
- 两种通配符。
*匹配任意长度的字符,$表示 URL 的结尾。 - 路径区分大小写。
Disallow: /Admin不会屏蔽/admin。 - 每个主机一个文件。规则只适用于提供该文件的协议、主机和端口。子域名需要自己的文件。
robots.txt 做不到的事
robots.txt 控制的是抓取,而不是索引。Google 的 robots.txt 简介明确指出,如果其他页面链接到被禁止抓取的 URL,它仍可能被编入索引,通常显示时没有描述。如果您希望页面不出现在搜索结果中,请允许抓取,改用 noindex。Google 无法获取的页面,它的 noindex 也永远不会被看到。
其他几个值得了解的限制:
- 没有 noindex 行。Google 于 2019 年停止支持 robots.txt 中的 noindex,同时停止支持其中的 nofollow 和 crawl-delay 规则。
- Google 不支持 crawl-delay。Googlebot 会忽略
Crawl-delay。其他一些爬虫会读取它,所以为所有 User-Agent 设置的值可能会让它们大幅变慢。 - 不提供安全保护。该文件是公开的,守规矩的爬虫是自愿遵守它的。任何私密内容都需要登录保护。
测试工具能发现的常见 robots.txt 错误
| 错误 | 后果 | 修复方案 |
|---|---|---|
预发布环境遗留的 Disallow: / | 整个网站被屏蔽 | 删除该行 |
| 命名组中没有共享规则 | 该机器人不再遵循 * 规则 | 把共享规则复制进去 |
| CSS、JavaScript、图片被屏蔽 | 页面无法渲染 | 允许这些文件 |
| 通配符范围过宽 | /*? 屏蔽了筛选页和分页 | 缩小匹配模式 |
| 规则写在 User-agent 之前、拼写错误 | 该行被跳过 | 修正语法 |
| 用 Disallow 来取消索引 | noindex 永远不会被读取 | 先允许抓取,再用 noindex |
| www 和非 www 不一致 | 不同主机的规则不同 | 只提供一个文件 |
屏蔽一个同时列在 XML 站点地图中的 URL,会传递相互矛盾的信号。XML 站点地图检测工具指南介绍了这方面的内容。
服务器错误与文件大小
文件如何提供与它写了什么同样重要。Google 对每种情况都有说明:
| 情况 | Google 的处理方式 | 持续多久 |
|---|---|---|
| 4xx(429 除外) | 视为没有该文件,照常抓取 | 直到修复 |
| 5xx 或 429 | 停止抓取该网站 | 最初 12 小时 |
| 仍然失败 | 使用最后一份正常的副本 | 最多 30 天 |
| 文件超过 500 KiB | 忽略其余部分 | 超过 500 KiB 的部分 |
| 任何更改 | 使用缓存的副本 | 最多 24 小时 |
robots.txt 报告中的重新抓取请求用于紧急修复。在错误的时刻超时的 robots.txt 可能会让整个网站的抓取暂停;抓取预算指南解释了为什么这对大型网站最为重要。
我们在自己的 robots.txt 中发现的问题
我们在 2026年11月20日对 neova.app 做的 SEO 检查中,发现了两条屏蔽范围超出预期的规则:
| 被屏蔽的内容 | 受影响的页面 | Google 看到的情况 | 修复方案 |
|---|---|---|---|
| /cdn-cgi/ 下的 Cloudflare 电子邮件脚本 | 1,320 | 一个它无法获取的脚本 | 允许抓取该脚本 |
| /favicon 和 /apple-touch-icon.png | 每一条结果 | 一个普通字母,没有 logo | 允许抓取这两个文件 |
favicon 文件被 Disallow: / 规则挡住了。Google 的 favicon 指南要求该文件可被 Googlebot-Image 抓取,所以搜索结果在 neova.app 旁边显示的是一个字母,而不是我们的 logo。这两条规则在文件里看起来都没有问题。只有当规则对照页面加载的每个 URL 和文件进行测试时,问题才显现出来。
如何安全地测试 robots.txt
- 抓取网站,得到一份完整的真实 URL 清单,而不只是您记得的那几个。
- 用这份清单测试线上文件,针对您关心的每个爬虫:Googlebot、Googlebot-Image、Bingbot 和各 AI 爬虫。
- 先把更改写成草稿,用同一份清单测试草稿。查看新被屏蔽和新被允许的 URL。
- 检查资源文件。确保没有任何可索引页面失去它的脚本、样式表或图片。
- 上线,然后确认:在 Search Console 的 robots.txt 报告中确认 Google 已无错误地获取了新版本。
- 重新抓取并对比,以便之后发生的意外更改也能被发现。
如果您正在决定允许 AI 爬虫获取哪些内容,AI 爬虫指南列出了它们的名称和各自的作用。被屏蔽的页面也会出现在可索引性检测工具指南中。
用 Neova 测试 robots.txt
Neova 的「robots.txt 测试工具」按照 Google 的文档说明和 RFC 9309 的定义,用通俗的语言解释线上文件或草稿的每一行,并列出每条规则匹配的已抓取 URL。它的「所有爬虫」视图显示 Googlebot、Bingbot 和各 AI 爬虫可以获取什么,以及每个爬虫被屏蔽的 URL。当某个爬虫自己的组使其不再遵循 * 组的规则时,它会提示您;草稿测试会列出抓取中所有因更改而新被屏蔽或新被允许的 URL。然后您可以按草稿规则进行抓取,查看完整效果。背后的检查项:
- robots.txt 语法无效或有未知字段
- robots.txt 无法访问或过大,针对 5xx、429、无响应或超过 500 KiB 的情况
- 内部 URL 被 robots.txt 禁止
- HTML 页面使用了被 robots.txt 禁止抓取的 JavaScript 文件、样式表和图片
- robots.txt 为所有 User-Agent 设置了 Crawl-delay
- 主机变体的 robots.txt 与 canonical 主机不同
- robots.txt 规则与上一次抓取相比发生了变化
- favicon 缺失、失效或被屏蔽,包括对 Googlebot-Image 禁止抓取的 favicon
- XML 站点地图中列出了被 robots.txt 禁止抓取的 URL
Neova 会保存每次抓取读取到的每个 robots.txt 版本,让您看到规则是什么时候改变的。通过 User-Agent 设置,您可以以 Googlebot、Bingbot、某个 AI 爬虫或自定义字符串的身份抓取。请查看功能或下载 Neova。
常见问题
Google 还有 robots.txt 测试工具吗?
没有了。Google 于 2023 年停用了 Search Console 中的 robots.txt 测试工具,改为 robots.txt 报告,显示 Google 如何读取您的线上文件以及所有错误。要在更改上线前进行测试,请使用单独的 robots.txt 测试工具。
如何测试某个 URL 是否被 robots.txt 屏蔽?
找到与爬虫 User-Agent 匹配的组,再找到与该 URL 匹配的最长 Allow 或 Disallow 路径。由那条规则决定。robots.txt 测试工具会替您完成这些并指出是哪一行,无论是单个 URL 还是一次抓取中的每个 URL。SEO ProCheck 的 robots.txt 常见问题解答了各种边缘情况。
robots.txt 能阻止页面被索引吗?
不会。它只阻止抓取。如果其他页面链接到被禁止抓取的 URL,它仍可能被编入索引。如果您希望页面不出现在搜索结果中,请在 Google 可以抓取的页面上使用 noindex。
为什么 Googlebot 会忽略我的 User-agent: * 规则?
因为文件中有一个以 Googlebot 命名的组。爬虫只遵循与其匹配的最具体的组,所以请把共享规则也复制到 Googlebot 组中。
robots.txt 的更改多久生效?
Google 通常会缓存 robots.txt 最多 24 小时。紧急修复后,您可以在 Search Console 的 robots.txt 报告中请求重新抓取。