如何为 SEO 抓取网站:分步指南
抓取网站,就是像搜索引擎那样获取它的页面,沿着链接从一个页面到另一个页面。下面介绍如何正确地抓取网站:有礼貌、完整,而且不被拦截。
抓取网站是什么意思
SEO 网站爬虫从一个 URL 开始,下载它,读取 HTML 中的链接并加入队列。然后从队列中取出下一个 URL 重复同样的操作,直到没有新内容出现或达到上限。搜索引擎在整个互联网的规模上做这件事。SEO 爬虫只针对一个网站,并记录每个 URL 的响应,方便您做诊断。
对每个 URL,抓取通常会记录状态码、响应头、title 和 meta description、canonical、robots 指令、进出链接,以及它距起始页的点击次数。Google 在其 Google 爬虫概览中介绍了自家爬虫和抓取工具的工作方式。
抓取之前:许可、robots.txt 和范围
按下开始之前要回答三个问题:
- 是您自己的网站,还是已获得许可?抓取自己或客户的网站是日常工作。抓取其他人的网站时,请保持礼貌:遵守 robots.txt,把速度放低。
- robots.txt 怎么说?打开 /robots.txt 读一读。它告诉爬虫哪些内容不能抓取,通常还会列出 XML 站点地图。规则遵循 RFC 9309,Google 在其 robots.txt 简介中说明了它如何读取这些规则。SEO ProCheck 上的 robots.txt 完整参考逐行做了讲解。
- 需要抓多少?整个网站、一个栏目,还是每个模板抽样。抽样几分钟就能回答大多数模板问题;要找失效链接和孤立页面,则需要完整抓取。
如何分步抓取网站
- 找到正确的起始 URL。分别请求 http 和 https、带 www 和不带 www。应该有一个返回 200,其他的都重定向到它。从那里开始。
- 选择模式。蜘蛛模式从起始 URL 沿链接抓取。列表模式只抓取您提供的 URL,适合在网站迁移后检查一批旧 URL。
- 加入 XML 站点地图。在抓完被链接的页面后再抓站点地图中的 URL,就能看出哪些页面网站列出了却从未链接。
- 设置上限。URL 数量上限、深度上限和查询参数规则,可以防止筛选器让抓取失控。SEO ProCheck 上的分面导航 SEO 指南说明了哪些筛选 URL 值得抓取。
- 排除不需要的内容。后台区域、购物车和结账 URL、站内搜索结果。使用包含和排除规则,并在开始前用一个 URL 测试一下。
- 选择 User-Agent。用爬虫自己的名字是诚实的默认做法。以 Googlebot 身份抓取能看到 Google 拿到的内容,但有些服务器会把伪造的 Googlebot 当作攻击。
- 开始后,盯着最初几分钟。如果新 URL 的数量增长得比网站规模快得多,看看它们从哪里来。日历和无穷无尽的筛选器是常见原因。
- 让检查项运行。抓取结束后,先处理影响可索引页面最多的问题。

如何抓取网站的所有 URL
沿着链接只能找到链接能到达的页面。要抓取网站的所有 URL,需要结合多个来源:
| 来源 | 被链接的页面 | 没有链接的页面 | 来自 |
|---|---|---|---|
| 链接抓取 | ✓ | – | 起始 URL |
| XML 站点地图 | ◐ | ✓ | robots.txt 或 /sitemap.xml |
| 种子 URL | ◐ | ✓ | 您自己的列表 |
| 服务器日志 | ◐ | ✓ | 服务器或 CDN |
| Search Console | ◐ | ✓ | 您的 Google 资源 |
我们在自己的网站上看到了这有多重要。在 2026年10月17日对 seoprocheck.com 的 Neova 完整抓取中:
| 指标 | seoprocheck.com |
|---|---|
| 已获取 URL | 10,222 |
| 所需时间 | 61 分钟 |
| 返回 200 的 HTML 页面 | 4,561 |
| XML 站点地图中的 URL | 1,835 |
| 可经链接到达、但不在任何站点地图中的 | 2,727 |
| 在站点地图中,但没有任何链接到达 | 1 |
| 完整性 | 99.98% |
| 页面正文 | 原始 1.66 GB,存储 340 MB |
只看站点地图的诊断会漏掉 2,727 个 URL,只沿链接的抓取会漏掉那一个孤立页面。只能从站点地图、日志或 Search Console 中找到的页面就是孤立页面。有搜索流量的可索引孤立页面通常需要内链。这里值得了解的检查项:孤立 URL 返回 200 且可索引、可索引 URL 不在任何 XML 站点地图中和XML 站点地图无法获取或解析。
如何抓取网站而不被拦截
大多数拦截都是因为抓得太快,或看起来像服务器不信任的机器人。请按网站所有者希望的方式抓取:
- 把速度放低。每秒 2 到 3 个 URL 足以满足大多数诊断。只有在自己的网站上才加快。
- 表明身份。带有爬虫介绍页链接的清晰 User-Agent,比伪造的浏览器字符串更容易被放行。
- 遵守 robots.txt。它是网站明确表达的意愿,在别人的网站上无视它是最快被拦截的方式。
- 请求放行。如果客户网站在防火墙或机器人防护之后,请 IT 团队放行您的爬虫,例如通过只有您的爬虫才会发送的秘密请求头。
然后读懂响应。每个状态码表达的意思都不同:
| Answer | 含义 | 应该 |
|---|---|---|
| 429 | 请求过多 | 速度减半,遵守 Retry-After |
| 503 | 服务器繁忙或宕机 | 放慢速度,稍后重试 |
| 403 | 被拒绝 | 停下来询问 |
| 401 | 需要登录 | 申请访问权限 |
| 连续 5xx | 服务器吃力 | 暂停抓取 |
Google 关于 HTTP 状态码和网络错误的页面说明了 Googlebot 自己如何处理 429 和 5xx 响应。
抓取 JavaScript 网站
如果网站用 React、Vue、Angular 或类似框架搭建,服务器发送的 HTML 可能几乎是空的,内容由脚本添加。普通抓取只能找到很少的链接和文字。请开启 JavaScript 渲染,它会在无头浏览器中加载每个页面,再把渲染后的页面与原始 HTML 对比。关键是渲染前缺了什么:只有在脚本运行后才出现的正文、链接、title 和 canonical。渲染较慢,所以先对每个模板抽样渲染。
用 Neova 抓取我的网站
要用 Neova 抓取您自己的网站,请下载应用,然后选择「抓取」、「新建抓取」,输入网址并点击「开始抓取」。您的第一次抓取页面展示了每个界面。
| 设置 | 默认 |
|---|---|
| 运行平台 | |
| User-Agent | NeovaBot |
| 速度 | 每秒 3 个 URL |
| 遇到 429 或 503 时 | 速度减半,遵守 Retry-After |
| robots.txt | 遵守 |
| 验证码 | 从不破解 |
| 免费套餐 | 每次抓取 1,000 个 URL |
- 起始 URL 检查会选出返回 200 的网站版本(http 或 https,带或不带 www),并说明其他版本的情况。
- 模式和范围:蜘蛛或列表,整站、指定目录或按页面组抽样,另有 XML 站点地图、种子 URL 以及包含和排除规则。
- 您自己的网站:确认网站属于您之后,Neova 可以抓得更快,并忽略 robots.txt。「放行请求头」会生成一个只发送给该网站的秘密请求头,并附上可交给 IT 团队的规则。
- 抓取被拦截说明:当网站拒绝抓取时,Neova 会说明原因(被限速、被防火墙拦截、被禁止访问)以及下一步怎么做。
- 「发现」和「URL 构成」:运行期间,找到的每个 URL 都会归入一类,抓取陷阱的形态会被标记,并当场提供「跳过」或「排除」。
- 暂停、停止和继续:随时停止,并对已抓取的内容运行检查项,或稍后从停止处「继续」。
网站所有者可以在 NeovaBot 页面上了解这个爬虫如何表明身份,以及如何屏蔽它。
抓取之后做什么
一次抓取只是一张快照,价值在于您修复了什么。按影响的可索引页面数给结果排序,模板问题一次修好而不是逐页修,然后再次抓取确认。通常很有收获的第一轮简短检查:
- 指向 4xx 和 5xx URL 的内链。请参阅内部 URL 返回 4xx、5xx 或无响应。
- 内部 URL 之间的重定向链。请参阅内部 URL 处于重定向链中。
- 被 robots.txt 屏蔽的可索引页面。请参阅内部 URL 被 robots.txt 禁止。
- 无法获取的 robots.txt。请参阅 robots.txt 无法访问或过大。
- XML 站点地图中缺失的页面,以及列出了重定向或 noindex 页面的站点地图。
- 距首页超过 3 次点击的重要页面。
技术 SEO 诊断清单把整个检查过程排好了顺序。
常见问题
如何抓取网站的所有 URL?
把链接抓取和 XML 站点地图结合起来,再加入 Google Search Console 和服务器日志中的 URL。只有这些来源能找到、没有任何内链到达的页面,就是值得一看的孤立页面。
如何抓取网站而不被拦截?
慢慢抓,使用诚实的 User-Agent,遵守 robots.txt,服务器返回 429 或 503 时减速。如果客户网站在防火墙之后,请 IT 团队放行您的爬虫,而不是想办法绕过拦截。
抓取网站合法吗?
抓取公开页面是常见做法,但规定因国家和网站条款而异。您可以放心抓取自己和客户的网站,在任何地方都遵守 robots.txt,有疑问时阅读网站条款。以上不构成法律建议。
抓取一个网站需要多长时间?
大致等于 URL 数除以速度。我们在 2026年10月17日对 seoprocheck.com 的完整抓取用 61 分钟获取了 10,222 个 URL,约每秒 2.8 个。按每秒 3 个 URL 计算,不算渲染,1,000 个 URL 约需 6 分钟,100,000 个约需 9 小时。按模板抽样要快得多。
可以免费抓取我的网站吗?
可以。Neova 的免费套餐每次抓取最多 1,000 个 URL,所有检查项都可用,支持 Mac、Windows 和 Linux。更大的套餐请看价格。