技术 SEO 爬虫:功能与选择方法
技术 SEO 爬虫像搜索引擎一样读取网站,并指出哪些问题在妨碍它。下面介绍它应该检查什么、每项检查背后的数字、对我们自己网站的完整抓取发现了什么,以及如何挑选工具。
技术 SEO 爬虫做什么
技术 SEO 爬虫从一个 URL 开始,获取它,读取其中的链接并跟随,这与 Googlebot 运行的循环相同。对每个 URL,它会记录状态码、响应头、HTML、canonical、robots 指令以及入链和出链。
抓取只是工作的一半。另一半是把页面相互比较,并与搜索引擎公布的规则比较。一个死链很容易看到。3,000 个产品页面上的 canonical 都指向重定向 URL,就不容易看出来了,而这正是爬虫的价值所在。
大多数爬虫还会读取 XML 站点地图和 robots.txt,所以能显示网站声称哪些页面重要、屏蔽了哪些页面,以及这两种说法在哪里不一致。
技术 SEO 诊断工具应该检查什么
每一款专业的网站诊断爬虫都覆盖相同的核心方面。下面列出每个方面的目标,以及在未达标时标记它的 Neova 检查项。
| 领域 | 目标 | Neova 检查项 |
|---|---|---|
| 状态码 | 0 个指向 4xx 或 5xx 的内部链接 | 内部 URL 返回 4xx、5xx 或无响应 |
| 重定向 | 1 跳,没有重定向链 | 内部 URL 处于重定向链中 |
| canonical | 指向返回 200 的 URL | canonical 指向发生重定向的 URL |
| XML 站点地图大小 | 每个文件 50,000 个 URL、50 MB | XML 站点地图超过 50,000 个条目 |
| XML 站点地图覆盖范围 | 列出每个可索引页面 | 可索引 URL 不在任何 XML 站点地图中 |
| robots.txt | Google 只读取前 500 KiB | robots.txt 无法访问或过大 |
| 抓取深度 | 3 次点击或更少 | 可索引 URL 的抓取深度为 4 或以上 |
| title | 60 个字符(常见默认值) | title 超过 60 个字符 |
| meta description | 155 个字符(常见默认值) | meta description 超过 155 个字符 |
| hreflang | 每个目标都有返回链接 | 缺少 hreflang 返回链接 |
硬性限制来自权威来源:每个文件 50,000 个 URL 和 50 MB 来自 sitemaps.org 协议,500 KiB 来自 Google 的 robots.txt 规范,返回链接来自 Google 的 hreflang 指南。title 和描述长度只是显示上的默认值,不是规则:Google 按像素宽度截断,所以把它们当作「值得关注」,而不是「必须修复」。
如需逐个方面更详细的讲解,请参阅 SEO ProCheck 上的技术 SEO 诊断清单。
对我们自己网站的完整抓取发现了什么
2026年10月17日,我们用 Neova 抓取了自己的网站 seoprocheck.com,这是一次包含 XML 站点地图的完整抓取。数字如下。
| 指标 | seoprocheck.com,2026年10月17日 |
|---|---|
| 已获取 URL | 10,222 |
| 所需时间 | 61 分钟 |
| 返回 200 的 HTML 页面 | 4,561 |
| XML 站点地图中的 URL | 1,835 |
| 可经链接到达、但不在任何站点地图中的 | 2,727 |
| 在站点地图中,但没有任何链接到达 | 1 |
| 完整性 | 99.98% |
| 页面正文 | 原始 1.66 GB,存储 340 MB |
| 标记 | URL 数 |
|---|---|
| meta description 超过 155 个字符 | 582 |
| title 超过 60 个字符 | 557 |
| HTML 页面之间的 title 重复 | 56 |
| canonical 指向另一个内部 URL | 5 |
| 图片缺少 alt 文本 | 2 |
两点启示。第一,站点地图只讲了一半的故事:2,727 个 URL 可以通过链接到达,却没有列在任何地方,只有既跟随链接又读取站点地图的抓取才能发现这一点。第二,数量最多的是长度类标记,这些需要判断。5 个 canonical 和 2 个缺失的 alt 文本数量更少,但更快能解决。按标记影响什么来排序,而不是按数字大小。
如何运行技术 SEO 抓取
- 选择起始 URL。使用返回 200 的首页版本。如果 http 或另一个主机也返回 200,这就是您的第一个发现。
- 确定范围。整个网站、几个文件夹,或每个模板抽样。在大型网站上,每个模板抽样能更快找到规律。
- 开启 XML 站点地图。在链接之后抓取站点地图,能显示站点地图列出但没有链接到达的页面。
- 决定是否进行 JavaScript 渲染。在使用框架的网站上,渲染一部分样本并与原始 HTML 对比。
- 设置温和的抓取速度。每秒几个 URL 就足够了。只在您自己的网站上提速。
- 观察最初几分钟。如果 URL 数量增长远超预期,说明您发现了抓取陷阱:日历、分面筛选或会话 ID。把它排除,然后继续。
- 先看摘要。从涉及可索引页面最多的问题入手。
刚接触这些?帮助页面您的第一次抓取会带您在 Neova 中走一遍。
解读结果,不被海量标记淹没
对一个中型网站的完整诊断可能产生数千个标记。它们大多来自少数几个原因,通常是某个模板。
- 按模板归组。如果 90% 的产品页面有同一个标记,那就是一处修复,而不是 4,000 张工单。
- 按流量衡量。有搜索点击的失效页面比没人访问的更重要。把 Google Search Console 数据与抓取结合起来。
- 区分「必须修复」与「值得关注」。关键页面上的 5xx 必须修复。title 超出上限几个字符则需要判断。
- 核对来源。当开发人员问某条规则为什么存在时,用 Google 或 W3C 的文档来回答。SEO ProCheck 上的 HTTP 状态码参考介绍了每个状态码的含义。
- 修复后再次抓取。对比两次抓取,是证明修复已上线且没有破坏其他东西的唯一方法。

如何选择最适合您的 SEO 爬虫
没有唯一最好的 SEO 爬虫。诊断小网站的自由职业者,和管理一百万个 URL 的内部团队,需要的东西不一样。下面这些问题能帮您理清。
| 问题 | 要看什么 | Neova |
|---|---|---|
| 在哪里运行? | 您的电脑,或浏览器 | |
| 一次抓取能有多大? | URL 上限,存在磁盘上 | 最多 500 万个 URL |
| 它能渲染 JavaScript 吗? | 原始与渲染后并排对比 | ✓ |
| 检查项有解释吗? | 规则、含义、修复、来源 | 694 项检查 |
| 能对比抓取吗? | 新增、已修复、已变化的 URL | ✓ |
| 之后能做什么? | 导出、工单、警报 | ✓ |
| 能免费试用吗? | 免费套餐或试用 | 1,000 个 URL,所有检查项 |
500 万这个数字适用于 Desktop 套餐,并取决于您的电脑。我们的对比页面根据各工具自己的文档,把 Neova 与 Screaming Frog、Sitebulb 等逐项并排对比。
Neova 如何进行技术 SEO 抓取
Neova 是一款桌面 SEO 爬虫,支持 Mac(Apple 芯片)、Windows 和 Linux,同一账户还可在浏览器中使用 Neova Online。它从起始 URL、其链接和 XML 站点地图开始抓取,然后运行 694 项检查。每项检查都说明何时标记、通常意味着什么以及您可以做什么,并链接到来源。
- 范围:完整抓取、文件夹、每个页面组抽样,或一份 URL 列表。
- 默认温和抓取:每秒 3 个 URL,服务器返回 429 或 503 时自动放慢。
- 每个 URL 都有着落:找到的每个 URL 都归入一个类别,「发现」可以在不停止抓取的情况下提议排除抓取陷阱。
- 渲染:可选在 Chrome 中进行 JavaScript 渲染,并与原始 HTML 对比。
- 抓取之后:「必须修复」和「值得关注」标记、按检查项和页面组生成的工单、行动计划、比较抓取,以及从 CSV 到品牌 PDF 的各种导出。
简短的技术 SEO 抓取清单
- 首页只有一个版本返回 200,其他版本都重定向到它。
- 没有指向 4xx 或 5xx URL 的内部链接。
- 内部 URL 之间没有重定向链或循环。
- canonical 指向返回 200 的可索引 URL。
- 每个可索引页面都在 XML 站点地图中,其他页面都不在。
- 没有关键页面距首页超过 3 次点击。
- 没有页面在返回 200 的同时显示“未找到”。请参阅 title 或 H1 含有软 404 用语。
- title、链接和正文都在原始 HTML 中。
- robots.txt 只屏蔽本该屏蔽的内容。
工作时把 Google 的 规范网址指南放在手边,客户常问的问题可参考 SEO ProCheck 上的 SEO 诊断常见问题。
常见问题
什么是技术 SEO 爬虫?
一种像搜索引擎一样逐页获取网站、跟随链接,并记录状态码、指令、canonical 和链接的程序。然后它会对照搜索引擎规则检查这些数据,标记出妨碍抓取和索引的问题。
最好的 SEO 爬虫是哪款?
适合您网站的那一款。比较它在哪里运行、一次抓取能有多大、是否渲染 JavaScript、每个发现解释得是否清楚,以及能否对比抓取。做决定之前,先在您自己的网站上试一试。
网站诊断爬虫和 Google Search Console 一样吗?
不一样。Search Console 显示 Google 看到了什么、做了什么。爬虫显示您的网站此刻在它能到达的每个 URL 上提供了什么。两者结合使用效果最好,这也是很多爬虫会把 Search Console 数据与抓取结合起来的原因。
一次技术 SEO 抓取需要多长时间?
这取决于网站规模和您设置的速度。2026年10月17日,我们对 seoprocheck.com 的完整抓取在 61 分钟内获取了 10,222 个 URL。每个模板抽样只需几分钟。
应该多久运行一次技术 SEO 抓取?
每次重大发布后运行一次,经常变化的网站每周一次。把每次抓取与上一次对比,变化就会一目了然。