noindex 检测工具:在流量受损之前找出 noindex 页面
一行 HTML 就能让页面不出现在 Google 中。这正是感谢页需要的,也正是开发人员上线后忘了改回来的产品页最不需要的。noindex 检测工具会告诉您哪些页面带有 noindex、它是在哪里设置的,以及 Google 能不能看到它。
noindex 检测工具能做什么
noindex 检测工具会获取一个 URL 并读取两个位置:HTML 中的 meta robots 标签,以及 HTTP 响应头中的 X-Robots-Tag。它会报告两者中是否有任何一个写了 noindex 或 none,以及针对哪个爬虫。
检查一个 URL 能回答一个简单问题。检查一次抓取中的每个 URL 才能回答真正有用的问题:哪些您希望获得排名的可索引页面带有 noindex,哪些 noindex 页面还在您的 XML 站点地图中,以及哪些因为被 robots.txt 屏蔽而 Google 读不到。
设置 noindex 的两种方式
Google 关于使用 noindex 阻止编入索引的页面说明,两种方法效果相同。请根据文件类型选择合适的一种。
| 方法 | 位置 | 适用于 | 在哪里查看 |
|---|---|---|---|
| meta robots 标签 | HTML head | HTML 页面 | 页面源代码 |
| X-Robots-Tag 响应头 | HTTP 响应 | 任何文件,包括 PDF、图片 | 响应头 |
| robots.txt 中的 noindex 行 | robots.txt | – 不支持 | 被 Google 忽略 |
<!-- in the <head> -->
<meta name="robots" content="noindex">
# as an HTTP response header
X-Robots-Tag: noindex
把 robots 换成爬虫名称,例如 googlebot,就能让规则只针对一个爬虫。SEO ProCheck 的 meta robots 与 X-Robots-Tag 参考列出了每一个值。
Robots 指令一览
Google 在其 robots meta 标签规范中记录的值,以及每个值的作用:
| 指令 | 后果 | 常见用途 |
|---|---|---|
noindex | 不在结果中显示 | 感谢页、站内搜索 |
nofollow | 不跟踪页面上的链接 | 不受信任的用户页面 |
无 | noindex 加 nofollow | 很少是正确的选择 |
nosnippet | 不显示文本摘要 | 付费墙或法律文本 |
max-snippet:[n] | 摘要最多 n 个字符 | 更短的摘要 |
unavailable_after:[date] | 在该日期后移除 | 活动、优惠 |
index, follow | 默认值,无作用 | 可以省略 |
当两条指令冲突时,Google 采用限制更严格的那一条。HTML 中写 index、响应头中写 noindex 的页面,最终不会被编入索引。
让错误页面消失的 noindex 错误
| 错误 | 后果 | 修复方案 |
|---|---|---|
| 上线时遗留了预发布环境的 noindex | 整个网站从结果中消失 | 删除它,重新抓取 |
| noindex 加 robots.txt Disallow | noindex 永远不会被读取 | 允许抓取 |
| noindex 被 JavaScript 删除 | Google 可能跳过渲染 | 直接提供最终的标签 |
| noindex URL 在 XML 站点地图中 | 信号混乱 | 从站点地图中删除 |
| canonical 加 noindex | 信号相互矛盾 | 二选一 |
| meta robots 位于 head 之外 | 标签可能被忽略 | 移到 head 中 |
| 响应头与 HTML 不一致 | 更严格的生效 | 只保留一个来源 |
| hreflang 指向 noindex | 语言版本组被破坏 | 指向可索引的 URL |
第二行是最常见的意外。Google 表示,如果 robots.txt 屏蔽了某个页面,爬虫将永远看不到 noindex 规则,这个 URL 仍可能仅凭链接出现在结果中。第三行来自 Google 的 JavaScript SEO 基础知识:当 Google 在原始 HTML 中发现 noindex 时,可能会跳过渲染,所以之后用来删除它的脚本可能永远不会运行。robots.txt 测试工具指南介绍了抓取方面的内容。
noindex 需要多久生效,以及更快的办法
Google 在抓取页面并读到 noindex 后才会移除它。这取决于它什么时候再来,Google 表示对某些页面可能需要几个月。请根据目标选择工具:
| 目标 | 使用 | 速度 |
|---|---|---|
| 立即从结果中消失 | 「移除」工具,然后 noindex | 最快 |
| 永久从结果中消失 | noindex、404 或 410 | 下次抓取时 |
| 已抓取但不编入索引 | noindex | 下次抓取时 |
| 完全不抓取 | robots.txt Disallow | 下次获取 robots.txt 时 |
| 重新回到结果中 | 删除 noindex,请求编入索引 | 几天到几周 |
「移除」工具只能隐藏 URL 约六个月,所以页面背后仍需要 noindex、404 或 410。修复后,对少数重要页面使用「网址检查」中的「请求编入索引」。
如何手动检查 noindex
对于单个 URL,两个位置都要检查。先看响应头,再看 HTML:
curl -sI https://example.com/page | grep -i x-robots-tag
curl -s https://example.com/page | grep -io '<meta[^>]*robots[^>]*>'
然后查看 Google 看到了什么。在 Search Console 中,「网址检查」会显示 Googlebot 收到的 HTML,「网页索引编制」报告会列出所有因 URL marked 'noindex' 而被排除的页面。每次发布后都看看这份清单:您希望出现在搜索中的页面绝不应出现在上面。
手动检查有两个陷阱。网站对爬虫 User-Agent 的响应可能与对浏览器的不同,而由 JavaScript 添加的标签只会出现在渲染后的 HTML 中,curl 看不到。同时获取原始 HTML 和渲染后 HTML 的爬虫两者都能看到。
检查整个网站的 noindex
- 从首页开始抓取网站,如果网站依赖 JavaScript,请开启 JavaScript 渲染。
- 按原因列出每个不可索引的页面:noindex、canonical 指向其他 URL、错误状态码或被屏蔽。
- 按模板对 noindex 页面排序。一个带 noindex 的模板就能一下子隐藏数百个页面。
- 与 XML 站点地图对比。站点地图中列出的每个 URL 都应该可索引。在我们 2026年10月17日对 seoprocheck.com 的抓取中,站点地图列出了 1,835 个 URL,而返回 200 的 HTML 页面有 4,561 个,所以两份清单需要相互对照检查。
- 关联 Search Console 点击数据。仍有点击的 noindex 页面直到最近还有排名,这通常是出错的迹象。
- 每次发布后重新抓取并对比,这样新的 noindex 在上线当天就能被发现。
可索引性检测工具指南介绍了页面无法被编入索引的其他原因,XML 站点地图检测工具指南介绍了站点地图方面的内容。
用 Neova 找出 noindex 页面
Neova 会把每个 URL 标为「可索引」或「不可索引」并说明原因:状态码 200、没有 noindex、canonical 指向自身或没有 canonical。「所有 URL」中的「指令」列组显示每个 URL 的 robots 指令,并提供 Noindex 和 Nofollow 筛选。「迁移与预发布」会把预发布环境的抓取与正式环境对比,包括 noindex,这样预发布环境的 noindex 就不会在上线时悄悄遗留下来。

背后的检查项包括:
- 存在 noindex 指令和存在 noindex 和 nofollow 指令
- HTML 与 HTTP 响应头中的 noindex 不同和noindex 声明了不止一次
- noindex 指令被 JavaScript 移除
- meta robots 标签位于 head 之外
- XML 站点地图中列出了 noindex URL
- 已 canonical 到其他 URL 的页面设置了 noindex和canonical 指向 noindex URL
- 内部重定向最终落在 noindex URL 上和hreflang 指向 noindex URL
- URL 只被 noindex HTML 页面链接
- noindex URL 在 Search Console 中获得了点击,连接 Search Console 之后可用
- unavailable_after 日期已过或无效
免费套餐每次抓取 1,000 个 URL,运行所有检查项,支持 Mac、Windows 和 Linux。下载 Neova,或查看功能。
常见问题
如何检查页面是否设置了 noindex?
在页面源代码中查找带 noindex 的 meta robots 标签,在 HTTP 响应中查找 X-Robots-Tag 响应头。Search Console 中的「网址检查」会显示 Googlebot 看到的内容。对于整个网站,抓取后按原因筛选不可索引的页面。
如果页面在 robots.txt 中被屏蔽,noindex 还有效吗?
无效。Google 必须抓取页面才能读到 noindex。如果 robots.txt 屏蔽了它,Google 永远看不到这条规则,这个 URL 仍可能凭借链接出现在结果中。在页面从结果中消失之前,请允许抓取。
robots.txt 中的 noindex 受支持吗?
Google 不支持。Google 于 2019 年停止支持 robots.txt 中的 noindex 行。请改用 meta robots 标签或 X-Robots-Tag 响应头。
noindex 页面要多久才会从 Google 中消失?
要等到 Google 再次抓取该页面,对于热门页面可能是几天,对于很少被抓取的页面可能是几个月。紧急情况下,请使用「移除」工具,它可以在 noindex 生效期间把 URL 隐藏约六个月。
noindex 页面应该放在 XML 站点地图中吗?
不应该。站点地图应该列出您希望被编入索引的页面。其中的 noindex URL 会传递相互矛盾的信号。