Neova高级 SEO 平台

noindex 检测工具:在流量受损之前找出 noindex 页面

一行 HTML 就能让页面不出现在 Google 中。这正是感谢页需要的,也正是开发人员上线后忘了改回来的产品页最不需要的。noindex 检测工具会告诉您哪些页面带有 noindex、它是在哪里设置的,以及 Google 能不能看到它。

抓取与索引noindex 检测工具更新于 2026年11月21日Neova 团队撰写

noindex 检测工具能做什么

noindex 检测工具会获取一个 URL 并读取两个位置:HTML 中的 meta robots 标签,以及 HTTP 响应头中的 X-Robots-Tag。它会报告两者中是否有任何一个写了 noindex 或 none,以及针对哪个爬虫。

检查一个 URL 能回答一个简单问题。检查一次抓取中的每个 URL 才能回答真正有用的问题:哪些您希望获得排名的可索引页面带有 noindex,哪些 noindex 页面还在您的 XML 站点地图中,以及哪些因为被 robots.txt 屏蔽而 Google 读不到。

设置 noindex 的两种方式

Google 关于使用 noindex 阻止编入索引的页面说明,两种方法效果相同。请根据文件类型选择合适的一种。

方法位置适用于在哪里查看
meta robots 标签HTML headHTML 页面页面源代码
X-Robots-Tag 响应头HTTP 响应任何文件,包括 PDF、图片响应头
robots.txt 中的 noindex 行robots.txt– 不支持被 Google 忽略
<!-- in the <head> -->
<meta name="robots" content="noindex">

# as an HTTP response header
X-Robots-Tag: noindex

把 robots 换成爬虫名称,例如 googlebot,就能让规则只针对一个爬虫。SEO ProCheck 的 meta robots 与 X-Robots-Tag 参考列出了每一个值。

Robots 指令一览

Google 在其 robots meta 标签规范中记录的值,以及每个值的作用:

指令后果常见用途
noindex不在结果中显示感谢页、站内搜索
nofollow不跟踪页面上的链接不受信任的用户页面
无noindex 加 nofollow很少是正确的选择
nosnippet不显示文本摘要付费墙或法律文本
max-snippet:[n]摘要最多 n 个字符更短的摘要
unavailable_after:[date]在该日期后移除活动、优惠
index, follow默认值,无作用可以省略

当两条指令冲突时,Google 采用限制更严格的那一条。HTML 中写 index、响应头中写 noindex 的页面,最终不会被编入索引。

让错误页面消失的 noindex 错误

错误后果修复方案
上线时遗留了预发布环境的 noindex整个网站从结果中消失删除它,重新抓取
noindex 加 robots.txt Disallownoindex 永远不会被读取允许抓取
noindex 被 JavaScript 删除Google 可能跳过渲染直接提供最终的标签
noindex URL 在 XML 站点地图中信号混乱从站点地图中删除
canonical 加 noindex信号相互矛盾二选一
meta robots 位于 head 之外标签可能被忽略移到 head 中
响应头与 HTML 不一致更严格的生效只保留一个来源
hreflang 指向 noindex语言版本组被破坏指向可索引的 URL

第二行是最常见的意外。Google 表示,如果 robots.txt 屏蔽了某个页面,爬虫将永远看不到 noindex 规则,这个 URL 仍可能仅凭链接出现在结果中。第三行来自 Google 的 JavaScript SEO 基础知识:当 Google 在原始 HTML 中发现 noindex 时,可能会跳过渲染,所以之后用来删除它的脚本可能永远不会运行。robots.txt 测试工具指南介绍了抓取方面的内容。

noindex 需要多久生效,以及更快的办法

Google 在抓取页面并读到 noindex 后才会移除它。这取决于它什么时候再来,Google 表示对某些页面可能需要几个月。请根据目标选择工具:

目标使用速度
立即从结果中消失「移除」工具,然后 noindex最快
永久从结果中消失noindex、404 或 410下次抓取时
已抓取但不编入索引noindex下次抓取时
完全不抓取robots.txt Disallow下次获取 robots.txt 时
重新回到结果中删除 noindex,请求编入索引几天到几周

「移除」工具只能隐藏 URL 约六个月,所以页面背后仍需要 noindex、404 或 410。修复后,对少数重要页面使用「网址检查」中的「请求编入索引」。

如何手动检查 noindex

对于单个 URL,两个位置都要检查。先看响应头,再看 HTML:

curl -sI https://example.com/page | grep -i x-robots-tag
curl -s https://example.com/page | grep -io '<meta[^>]*robots[^>]*>'

然后查看 Google 看到了什么。在 Search Console 中,「网址检查」会显示 Googlebot 收到的 HTML,「网页索引编制」报告会列出所有因 URL marked 'noindex' 而被排除的页面。每次发布后都看看这份清单:您希望出现在搜索中的页面绝不应出现在上面。

手动检查有两个陷阱。网站对爬虫 User-Agent 的响应可能与对浏览器的不同,而由 JavaScript 添加的标签只会出现在渲染后的 HTML 中,curl 看不到。同时获取原始 HTML 和渲染后 HTML 的爬虫两者都能看到。

检查整个网站的 noindex

  1. 从首页开始抓取网站,如果网站依赖 JavaScript,请开启 JavaScript 渲染。
  2. 按原因列出每个不可索引的页面:noindex、canonical 指向其他 URL、错误状态码或被屏蔽。
  3. 按模板对 noindex 页面排序。一个带 noindex 的模板就能一下子隐藏数百个页面。
  4. 与 XML 站点地图对比。站点地图中列出的每个 URL 都应该可索引。在我们 2026年10月17日对 seoprocheck.com 的抓取中,站点地图列出了 1,835 个 URL,而返回 200 的 HTML 页面有 4,561 个,所以两份清单需要相互对照检查。
  5. 关联 Search Console 点击数据。仍有点击的 noindex 页面直到最近还有排名,这通常是出错的迹象。
  6. 每次发布后重新抓取并对比,这样新的 noindex 在上线当天就能被发现。

可索引性检测工具指南介绍了页面无法被编入索引的其他原因,XML 站点地图检测工具指南介绍了站点地图方面的内容。

用 Neova 找出 noindex 页面

Neova 会把每个 URL 标为「可索引」或「不可索引」并说明原因:状态码 200、没有 noindex、canonical 指向自身或没有 canonical。「所有 URL」中的「指令」列组显示每个 URL 的 robots 指令,并提供 Noindex 和 Nofollow 筛选。「迁移与预发布」会把预发布环境的抓取与正式环境对比,包括 noindex,这样预发布环境的 noindex 就不会在上线时悄悄遗留下来。

Neova 中的「所有 URL」:抓取中每个 URL 的状态码,以及可索引或不可索引
Neova 中的「所有 URL」:抓取中每个 URL 的状态码,以及可索引或不可索引

背后的检查项包括:

免费套餐每次抓取 1,000 个 URL,运行所有检查项,支持 Mac、Windows 和 Linux。下载 Neova,或查看功能。

常见问题

如何检查页面是否设置了 noindex?

在页面源代码中查找带 noindex 的 meta robots 标签,在 HTTP 响应中查找 X-Robots-Tag 响应头。Search Console 中的「网址检查」会显示 Googlebot 看到的内容。对于整个网站,抓取后按原因筛选不可索引的页面。

如果页面在 robots.txt 中被屏蔽,noindex 还有效吗?

无效。Google 必须抓取页面才能读到 noindex。如果 robots.txt 屏蔽了它,Google 永远看不到这条规则,这个 URL 仍可能凭借链接出现在结果中。在页面从结果中消失之前,请允许抓取。

robots.txt 中的 noindex 受支持吗?

Google 不支持。Google 于 2019 年停止支持 robots.txt 中的 noindex 行。请改用 meta robots 标签或 X-Robots-Tag 响应头。

noindex 页面要多久才会从 Google 中消失?

要等到 Google 再次抓取该页面,对于热门页面可能是几天,对于很少被抓取的页面可能是几个月。紧急情况下,请使用「移除」工具,它可以在 noindex 生效期间把 URL 隐藏约六个月。

noindex 页面应该放在 XML 站点地图中吗?

不应该。站点地图应该列出您希望被编入索引的页面。其中的 noindex URL 会传递相互矛盾的信号。

分享本文

点开 AI 助手链接时,关于本页的问题已经写好。

用 Neova 抓取您的网站免费套餐在 Mac、Windows 和 Linux 上运行所有检查项。无需信用卡。

继续阅读