Neova高级 SEO 平台

robots.txt 测试工具:在规则误屏蔽页面之前先测试

robots.txt 是一个很短却威力很大的文本文件。一行就能让搜索引擎远离您本想隐藏的文件夹,或者远离您本想获得排名的整个网站。robots.txt 测试工具会逐个 URL 告诉您每个爬虫可以获取什么,让您在 Googlebot 之前发现问题。

抓取与索引robots.txt 测试工具更新于 2026年11月21日Neova 团队撰写

robots.txt 测试工具能做什么

robots.txt 测试工具接收一个 robots.txt 文件和一个 URL,挑出适用于指定 User-Agent 的规则组,告诉您该 URL 是允许还是禁止抓取,以及是哪一行决定的。好的测试工具还会指出解析器读不懂的行、被忽略的字段,以及相互抵消的规则。

一次测试一个 URL,适合回答简单的问题。测试一次抓取中的每个 URL,才能发现意外:为某个文件夹写的规则同时匹配了产品筛选条件,或者通配符屏蔽了页面渲染所需的 CSS。

Google 已停用其 robots.txt 测试工具

多年来,Search Console 中有一个 robots.txt 测试工具,可以编辑文件并用它测试 URL。2023 年底,Google 停用了它,改为 robots.txt 报告。该报告显示 Google 为某个资源的前 20 个主机找到了哪些 robots.txt 文件、每个文件最后一次抓取的时间,以及所有警告或错误。它还允许您在紧急修复后请求重新抓取该文件。

这份报告告诉您 Google 是如何读取您线上文件的。它不能测试尚未上线的规则,也不能用您的整份 URL 清单对照文件进行测试。为此您需要单独的测试工具。Google 发布了自己的开源 robots.txt 解析器,Bing Webmaster Tools 也有一个 robots.txt 测试工具,便于检查 Bingbot 如何读取文件。

robots.txt 规则如何运作

该文件位于主机的根目录,例如 https://www.example.com/robots.txt。规则由 RFC 9309(机器人排除协议)定义,Google 在Google 如何解读 robots.txt 规范中说明了它的读取方式。文件由若干组组成。每组以一行或多行 User-agent 开头,后面跟着 Allow 和 Disallow 规则:

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

以下是测试工具检查的要点,依据 Google 的文档说明。SEO ProCheck 的 robots.txt 完整参考逐一介绍了每个字段。

  • 每个爬虫只遵循一组。爬虫只遵循与其名称匹配的最具体的那一组。如果 Googlebot 有自己的组,它会完全忽略 * 组。
  • 最长匹配优先。当 Allow 和 Disallow 都匹配某个 URL 时,路径更长的规则生效。长度相同时,Google 采用限制最少的规则。
  • 两种通配符。* 匹配任意长度的字符,$ 表示 URL 的结尾。
  • 路径区分大小写。Disallow: /Admin 不会屏蔽 /admin。
  • 每个主机一个文件。规则只适用于提供该文件的协议、主机和端口。子域名需要自己的文件。

robots.txt 做不到的事

robots.txt 控制的是抓取,而不是索引。Google 的 robots.txt 简介明确指出,如果其他页面链接到被禁止抓取的 URL,它仍可能被编入索引,通常显示时没有描述。如果您希望页面不出现在搜索结果中,请允许抓取,改用 noindex。Google 无法获取的页面,它的 noindex 也永远不会被看到。

其他几个值得了解的限制:

  • 没有 noindex 行。Google 于 2019 年停止支持 robots.txt 中的 noindex,同时停止支持其中的 nofollow 和 crawl-delay 规则。
  • Google 不支持 crawl-delay。Googlebot 会忽略 Crawl-delay。其他一些爬虫会读取它,所以为所有 User-Agent 设置的值可能会让它们大幅变慢。
  • 不提供安全保护。该文件是公开的,守规矩的爬虫是自愿遵守它的。任何私密内容都需要登录保护。

测试工具能发现的常见 robots.txt 错误

错误后果修复方案
预发布环境遗留的 Disallow: /整个网站被屏蔽删除该行
命名组中没有共享规则该机器人不再遵循 * 规则把共享规则复制进去
CSS、JavaScript、图片被屏蔽页面无法渲染允许这些文件
通配符范围过宽/*? 屏蔽了筛选页和分页缩小匹配模式
规则写在 User-agent 之前、拼写错误该行被跳过修正语法
用 Disallow 来取消索引noindex 永远不会被读取先允许抓取,再用 noindex
www 和非 www 不一致不同主机的规则不同只提供一个文件

屏蔽一个同时列在 XML 站点地图中的 URL,会传递相互矛盾的信号。XML 站点地图检测工具指南介绍了这方面的内容。

服务器错误与文件大小

文件如何提供与它写了什么同样重要。Google 对每种情况都有说明:

情况Google 的处理方式持续多久
4xx(429 除外)视为没有该文件,照常抓取直到修复
5xx 或 429停止抓取该网站最初 12 小时
仍然失败使用最后一份正常的副本最多 30 天
文件超过 500 KiB忽略其余部分超过 500 KiB 的部分
任何更改使用缓存的副本最多 24 小时

robots.txt 报告中的重新抓取请求用于紧急修复。在错误的时刻超时的 robots.txt 可能会让整个网站的抓取暂停;抓取预算指南解释了为什么这对大型网站最为重要。

我们在自己的 robots.txt 中发现的问题

我们在 2026年11月20日对 neova.app 做的 SEO 检查中,发现了两条屏蔽范围超出预期的规则:

被屏蔽的内容受影响的页面Google 看到的情况修复方案
/cdn-cgi/ 下的 Cloudflare 电子邮件脚本1,320一个它无法获取的脚本允许抓取该脚本
/favicon 和 /apple-touch-icon.png每一条结果一个普通字母,没有 logo允许抓取这两个文件

favicon 文件被 Disallow: / 规则挡住了。Google 的 favicon 指南要求该文件可被 Googlebot-Image 抓取,所以搜索结果在 neova.app 旁边显示的是一个字母,而不是我们的 logo。这两条规则在文件里看起来都没有问题。只有当规则对照页面加载的每个 URL 和文件进行测试时,问题才显现出来。

如何安全地测试 robots.txt

  1. 抓取网站,得到一份完整的真实 URL 清单,而不只是您记得的那几个。
  2. 用这份清单测试线上文件,针对您关心的每个爬虫:Googlebot、Googlebot-Image、Bingbot 和各 AI 爬虫。
  3. 先把更改写成草稿,用同一份清单测试草稿。查看新被屏蔽和新被允许的 URL。
  4. 检查资源文件。确保没有任何可索引页面失去它的脚本、样式表或图片。
  5. 上线,然后确认:在 Search Console 的 robots.txt 报告中确认 Google 已无错误地获取了新版本。
  6. 重新抓取并对比,以便之后发生的意外更改也能被发现。

如果您正在决定允许 AI 爬虫获取哪些内容,AI 爬虫指南列出了它们的名称和各自的作用。被屏蔽的页面也会出现在可索引性检测工具指南中。

用 Neova 测试 robots.txt

Neova 的「robots.txt 测试工具」按照 Google 的文档说明和 RFC 9309 的定义,用通俗的语言解释线上文件或草稿的每一行,并列出每条规则匹配的已抓取 URL。它的「所有爬虫」视图显示 Googlebot、Bingbot 和各 AI 爬虫可以获取什么,以及每个爬虫被屏蔽的 URL。当某个爬虫自己的组使其不再遵循 * 组的规则时,它会提示您;草稿测试会列出抓取中所有因更改而新被屏蔽或新被允许的 URL。然后您可以按草稿规则进行抓取,查看完整效果。背后的检查项:

Neova 会保存每次抓取读取到的每个 robots.txt 版本,让您看到规则是什么时候改变的。通过 User-Agent 设置,您可以以 Googlebot、Bingbot、某个 AI 爬虫或自定义字符串的身份抓取。请查看功能或下载 Neova。

常见问题

Google 还有 robots.txt 测试工具吗?

没有了。Google 于 2023 年停用了 Search Console 中的 robots.txt 测试工具,改为 robots.txt 报告,显示 Google 如何读取您的线上文件以及所有错误。要在更改上线前进行测试,请使用单独的 robots.txt 测试工具。

如何测试某个 URL 是否被 robots.txt 屏蔽?

找到与爬虫 User-Agent 匹配的组,再找到与该 URL 匹配的最长 Allow 或 Disallow 路径。由那条规则决定。robots.txt 测试工具会替您完成这些并指出是哪一行,无论是单个 URL 还是一次抓取中的每个 URL。SEO ProCheck 的 robots.txt 常见问题解答了各种边缘情况。

robots.txt 能阻止页面被索引吗?

不会。它只阻止抓取。如果其他页面链接到被禁止抓取的 URL,它仍可能被编入索引。如果您希望页面不出现在搜索结果中,请在 Google 可以抓取的页面上使用 noindex。

为什么 Googlebot 会忽略我的 User-agent: * 规则?

因为文件中有一个以 Googlebot 命名的组。爬虫只遵循与其匹配的最具体的组,所以请把共享规则也复制到 Googlebot 组中。

robots.txt 的更改多久生效?

Google 通常会缓存 robots.txt 最多 24 小时。紧急修复后,您可以在 Search Console 的 robots.txt 报告中请求重新抓取。

分享本文

点开 AI 助手链接时,关于本页的问题已经写好。

用 Neova 抓取您的网站免费套餐在 Mac、Windows 和 Linux 上运行所有检查项。无需信用卡。

继续阅读