Neova高级 SEO 平台

可索引性检测工具:如何找出搜索引擎无法索引的页面

一个页面在浏览器中看起来完美无缺,却可能因为一个响应头、一个 meta 标签或 robots.txt 中的一行而被挡在 Google 之外。可索引性检测工具会读取搜索引擎读取的信号,逐页告诉您每个 URL 能否被索引,以及为什么不能。下面介绍这些信号是什么、它们如何相互作用,以及如何用 Google 自己的工具确认结果。

抓取与索引可索引性检测更新于 2026年11月21日Neova 团队撰写

可抓取、可索引和已索引

有三个词总是被混淆,而可索引性检测工具只回答其中一个:

  • 可抓取:搜索引擎被允许获取该 URL。这由 robots.txt 决定。
  • 可索引:获取之后,页面或其响应头中没有任何内容要求把它排除在索引之外。这由状态码、noindex 和 canonical 决定。
  • 已索引:搜索引擎确实保存了它,并能在结果中展示。只有搜索引擎知道这一点,所以只有它自己的工具才能确认。

一个页面可能可抓取但不可索引(它有 noindex),也可能可索引却未被索引(Google 抓取了它,但选择不保留)。Google 的 Google 搜索的运作方式解释了抓取、索引和呈现这几个步骤。

决定可索引性的五个信号

信号可索引的条件位置
状态码200HTTP 响应
robots.txt没有匹配的 Disallow/robots.txt
robots 指令没有 noindex,也没有 nonemeta robots、X-Robots-Tag
Canonical指向自身,或没有head 中的 link、Link 响应头
渲染JavaScript 运行后标签不变渲染后的页面

五个全部通过,URL 就可索引。有一个不通过,就不可索引。检测工具应指出是哪一个。

在我们自己的网站上,2026年10月17日对 seoprocheck.com 的 Neova 完整抓取用 61 分钟获取了 10,222 个 URL。其中 4,561 个是返回 200 的 HTML 页面。只有这些页面能作为网页通过第一个信号,所以其他四个信号是在它们身上检测的。

状态码和软 404

只有返回 200 的 URL 才能以自身被索引。Google 关于 HTTP 状态码的页面介绍了每个状态码。

状态码以自身被索引Google 的处理方式
200✓读取,并可能索引
301, 308–跟随到目标
302, 307–跟随,canonical 信号较弱
404, 410–移除该 URL
429, 5xx–放慢抓取,持续则移除
软 404(200)–视为错误页

软 404 返回 200,却显示「未找到」或空结果。请改为返回真正的 404 或 410,并检查 title 或 H1 读起来像错误信息的 200 页面。

我们在自己的网站上发现了相反的错误。2026年11月20日,neova.app 上不存在的地址由一个「即将上线」页面返回 503,而不是 404。503 告诉 Google 稍后再来,所以失效的 URL 永远不会离开它的队列。换上一个真正的 404 页面后问题就解决了。SEO ProCheck 有一份 HTTP 状态码 SEO 完整参考。

robots.txt 阻止的是抓取,不是索引

Disallow 规则阻止 Google 获取某个 URL,但不能阻止 Google 索引这个地址:Google 的 robots.txt 简介表示,如果有其他页面链接到被屏蔽的 URL,它仍可能出现在结果中,只是没有描述。

这也意味着 Google 永远看不到页面上的任何内容,包括 noindex。下面这种组合是常见错误:

robots.txt:   Disallow: /old-offers/
page:         <meta name="robots" content="noindex">

结果:Google 无法获取该页面,永远读不到 noindex,
还可能因为链接而让该 URL 留在索引中。

要把页面从索引中移除,请让 Google 抓取它并返回 noindex。等它从索引中消失后,如有必要再在 robots.txt 中屏蔽。robots.txt 测试工具指南介绍了如何测试规则。

noindex、X-Robots-Tag 和 canonical

Google 的 noindex 文档列出了放置该指令的两个位置:

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

响应头方式同样适用于 PDF 和图片。如果两者不一致,Google 会采用限制更严格的那个,所以任何一处出现一个多余的 noindex,就足以把页面挡在外面。插件、预发布环境设置和 CDN 规则,是没人想上线的 noindex 的常见来源。SEO ProCheck 的 meta robots 与 X-Robots-Tag 参考列出了每个值及其适用范围。

指向另一个 URL 的 canonical 是请 Google 改为索引那个 URL。根据其合并重复 URL 的指南,Google 把它当作强提示,而不是规则。这对真正的重复页面是对的,对有自己内容的页面则是错的。指向重定向、错误页或 noindex 页面的 canonical 会发出相互矛盾的信号;canonical 标签检测指南讲解了这些情况。

渲染可能改变结论

在用 JavaScript 搭建的网站上,原始 HTML 和渲染后的页面可能不一致。脚本可以添加 noindex、移除 noindex、修改 canonical,或者在渲染后才加载正文。Google 的 JavaScript SEO 基础知识指出,当原始 HTML 带有 noindex 时,Google 可能会跳过渲染,所以负责移除它的脚本可能根本不会运行。

把 robots meta 标签和 canonical 写在原始 HTML 中,值与渲染后页面最终的值相同。会渲染页面的可索引性检测工具可以对比两者,并标记差异。

用 Search Console 确认

爬虫告诉您页面能否被索引。Google Search Console 告诉您它是否已经被索引:

  • 网址检查针对单个 URL 显示它是否已收录到 Google、Google 选择的 canonical、最近一次抓取,以及是否允许抓取和编入索引。「测试实际网址」会立即重新获取它。
  • 网页索引编制报告按原因对每个已知 URL 分组,例如:已被「noindex」标记排除、被 robots.txt 屏蔽、备用网页(有适当的规范标记)、重复网页、Google 选择的规范网页与用户指定的不同、软 404、已抓取 - 尚未编入索引、已发现 - 尚未编入索引。

对比这两种视角。抓取认为可索引、Google 却报告未编入索引的页面,最值得研究:通常是内容单薄或重复、内链薄弱,或 Google 还没来得及处理。SEO ProCheck 列出了「已抓取,尚未编入索引」的原因和修复方法。Google 已经索引、抓取却发现是 noindex 或已 canonical 到其他 URL 的页面,说明有一项修复 Google 还没识别到,或者有一个您漏掉的信号。内链薄弱的问题见内链工具指南,大型网站发现缓慢的问题见抓取预算。

用 Neova 检查可索引性

Neova 会把每个 URL 标为可索引或不可索引,并说明原因:状态码 200、没有 noindex、canonical 指向自身或没有 canonical。「可索引性」类别汇集了状态码、noindex、canonical、robots.txt,以及在 SEO 标签之前就破坏了 head 的 HTML。开启 JavaScript 渲染后,每个渲染后的页面都会与其原始 HTML 对比。连接 Google Search Console 后,Neova 每次抓取会读取最多 200 个 URL 的 Google 网址检查结论(先按点击量、再按链接数排序),并标记 Google 未索引的可索引页面,或 Google 选择了其他 canonical 的页面。背后的检查项包括:

Neova 中的「所有 URL」:抓取中每个 URL 的状态码,以及可索引或不可索引
Neova 中的「所有 URL」:抓取中每个 URL 的状态码,以及可索引或不可索引

可索引性是技术 SEO 诊断清单的第 3 和第 4 步。请查看功能或下载 Neova;免费套餐可抓取最多 1,000 个 URL,所有检查项都可用。

常见问题

什么是可索引性检测工具?

一种读取搜索引擎所用信号(状态码、robots.txt、noindex、canonical 和渲染)的工具,它会针对每个 URL 报告能否被索引,如果不能,是哪个信号阻止了它。

可索引和已索引有什么区别?

可索引是指页面或服务器上没有任何东西把它排除在索引之外。已索引是指 Google 确实保存了它。一个页面可能可索引却仍未被索引,这只有 Search Console 能确认。

robots.txt 能阻止页面被索引吗?

不能。它阻止的是抓取。Google 仍可能根据链接索引被屏蔽的 URL,只是没有其内容。要把页面排除在索引之外,请允许抓取并使用 noindex。

为什么我的可索引页面没有被索引?

常见原因有内容单薄或重复、内链很少、Google 选择了另一个 URL 作为 canonical,或 Google 还没有抓取它。网址检查和网页索引编制报告会给出 Google 记录的原因。

可以只检查单个 URL 的可索引性吗?

可以。Search Console 中的网址检查可以检查您自己资源中的单个 URL。爬虫可以一次检查网站的每个 URL;如果只需要几个,也可以只抓取一份 URL 列表。

分享本文

点开 AI 助手链接时,关于本页的问题已经写好。

用 Neova 抓取您的网站免费套餐在 Mac、Windows 和 Linux 上运行所有检查项。无需信用卡。

继续阅读