Neova高级 SEO 平台

如何为 SEO 抓取网站:分步指南

抓取网站,就是像搜索引擎那样获取它的页面,沿着链接从一个页面到另一个页面。下面介绍如何正确地抓取网站:有礼貌、完整,而且不被拦截。

抓取与索引如何抓取网站更新于 2026年11月21日Neova 团队撰写

抓取网站是什么意思

SEO 网站爬虫从一个 URL 开始,下载它,读取 HTML 中的链接并加入队列。然后从队列中取出下一个 URL 重复同样的操作,直到没有新内容出现或达到上限。搜索引擎在整个互联网的规模上做这件事。SEO 爬虫只针对一个网站,并记录每个 URL 的响应,方便您做诊断。

对每个 URL,抓取通常会记录状态码、响应头、title 和 meta description、canonical、robots 指令、进出链接,以及它距起始页的点击次数。Google 在其 Google 爬虫概览中介绍了自家爬虫和抓取工具的工作方式。

抓取之前:许可、robots.txt 和范围

按下开始之前要回答三个问题:

  • 是您自己的网站,还是已获得许可?抓取自己或客户的网站是日常工作。抓取其他人的网站时,请保持礼貌:遵守 robots.txt,把速度放低。
  • robots.txt 怎么说?打开 /robots.txt 读一读。它告诉爬虫哪些内容不能抓取,通常还会列出 XML 站点地图。规则遵循 RFC 9309,Google 在其 robots.txt 简介中说明了它如何读取这些规则。SEO ProCheck 上的 robots.txt 完整参考逐行做了讲解。
  • 需要抓多少?整个网站、一个栏目,还是每个模板抽样。抽样几分钟就能回答大多数模板问题;要找失效链接和孤立页面,则需要完整抓取。

如何分步抓取网站

  1. 找到正确的起始 URL。分别请求 http 和 https、带 www 和不带 www。应该有一个返回 200,其他的都重定向到它。从那里开始。
  2. 选择模式。蜘蛛模式从起始 URL 沿链接抓取。列表模式只抓取您提供的 URL,适合在网站迁移后检查一批旧 URL。
  3. 加入 XML 站点地图。在抓完被链接的页面后再抓站点地图中的 URL,就能看出哪些页面网站列出了却从未链接。
  4. 设置上限。URL 数量上限、深度上限和查询参数规则,可以防止筛选器让抓取失控。SEO ProCheck 上的分面导航 SEO 指南说明了哪些筛选 URL 值得抓取。
  5. 排除不需要的内容。后台区域、购物车和结账 URL、站内搜索结果。使用包含和排除规则,并在开始前用一个 URL 测试一下。
  6. 选择 User-Agent。用爬虫自己的名字是诚实的默认做法。以 Googlebot 身份抓取能看到 Google 拿到的内容,但有些服务器会把伪造的 Googlebot 当作攻击。
  7. 开始后,盯着最初几分钟。如果新 URL 的数量增长得比网站规模快得多,看看它们从哪里来。日历和无穷无尽的筛选器是常见原因。
  8. 让检查项运行。抓取结束后,先处理影响可索引页面最多的问题。
新建抓取的「速度与渲染」:以每秒 URL 数计的速度(服务器变慢时自动降低)、每个请求发送的 User-Agent,以及 JavaScript 渲染
新建抓取的「速度与渲染」:以每秒 URL 数计的速度(服务器变慢时自动降低)、每个请求发送的 User-Agent,以及 JavaScript 渲染

如何抓取网站的所有 URL

沿着链接只能找到链接能到达的页面。要抓取网站的所有 URL,需要结合多个来源:

来源被链接的页面没有链接的页面来自
链接抓取✓–起始 URL
XML 站点地图◐✓robots.txt 或 /sitemap.xml
种子 URL◐✓您自己的列表
服务器日志◐✓服务器或 CDN
Search Console◐✓您的 Google 资源

我们在自己的网站上看到了这有多重要。在 2026年10月17日对 seoprocheck.com 的 Neova 完整抓取中:

指标seoprocheck.com
已获取 URL10,222
所需时间61 分钟
返回 200 的 HTML 页面4,561
XML 站点地图中的 URL1,835
可经链接到达、但不在任何站点地图中的2,727
在站点地图中,但没有任何链接到达1
完整性99.98%
页面正文原始 1.66 GB,存储 340 MB

只看站点地图的诊断会漏掉 2,727 个 URL,只沿链接的抓取会漏掉那一个孤立页面。只能从站点地图、日志或 Search Console 中找到的页面就是孤立页面。有搜索流量的可索引孤立页面通常需要内链。这里值得了解的检查项:孤立 URL 返回 200 且可索引、可索引 URL 不在任何 XML 站点地图中和XML 站点地图无法获取或解析。

如何抓取网站而不被拦截

大多数拦截都是因为抓得太快,或看起来像服务器不信任的机器人。请按网站所有者希望的方式抓取:

  • 把速度放低。每秒 2 到 3 个 URL 足以满足大多数诊断。只有在自己的网站上才加快。
  • 表明身份。带有爬虫介绍页链接的清晰 User-Agent,比伪造的浏览器字符串更容易被放行。
  • 遵守 robots.txt。它是网站明确表达的意愿,在别人的网站上无视它是最快被拦截的方式。
  • 请求放行。如果客户网站在防火墙或机器人防护之后,请 IT 团队放行您的爬虫,例如通过只有您的爬虫才会发送的秘密请求头。

然后读懂响应。每个状态码表达的意思都不同:

Answer含义应该
429请求过多速度减半,遵守 Retry-After
503服务器繁忙或宕机放慢速度,稍后重试
403被拒绝停下来询问
401需要登录申请访问权限
连续 5xx服务器吃力暂停抓取

Google 关于 HTTP 状态码和网络错误的页面说明了 Googlebot 自己如何处理 429 和 5xx 响应。

抓取 JavaScript 网站

如果网站用 React、Vue、Angular 或类似框架搭建,服务器发送的 HTML 可能几乎是空的,内容由脚本添加。普通抓取只能找到很少的链接和文字。请开启 JavaScript 渲染,它会在无头浏览器中加载每个页面,再把渲染后的页面与原始 HTML 对比。关键是渲染前缺了什么:只有在脚本运行后才出现的正文、链接、title 和 canonical。渲染较慢,所以先对每个模板抽样渲染。

用 Neova 抓取我的网站

要用 Neova 抓取您自己的网站,请下载应用,然后选择「抓取」、「新建抓取」,输入网址并点击「开始抓取」。您的第一次抓取页面展示了每个界面。

设置默认
运行平台
User-AgentNeovaBot
速度每秒 3 个 URL
遇到 429 或 503 时速度减半,遵守 Retry-After
robots.txt遵守
验证码从不破解
免费套餐每次抓取 1,000 个 URL
  • 起始 URL 检查会选出返回 200 的网站版本(http 或 https,带或不带 www),并说明其他版本的情况。
  • 模式和范围:蜘蛛或列表,整站、指定目录或按页面组抽样,另有 XML 站点地图、种子 URL 以及包含和排除规则。
  • 您自己的网站:确认网站属于您之后,Neova 可以抓得更快,并忽略 robots.txt。「放行请求头」会生成一个只发送给该网站的秘密请求头,并附上可交给 IT 团队的规则。
  • 抓取被拦截说明:当网站拒绝抓取时,Neova 会说明原因(被限速、被防火墙拦截、被禁止访问)以及下一步怎么做。
  • 「发现」和「URL 构成」:运行期间,找到的每个 URL 都会归入一类,抓取陷阱的形态会被标记,并当场提供「跳过」或「排除」。
  • 暂停、停止和继续:随时停止,并对已抓取的内容运行检查项,或稍后从停止处「继续」。

网站所有者可以在 NeovaBot 页面上了解这个爬虫如何表明身份,以及如何屏蔽它。

抓取之后做什么

一次抓取只是一张快照,价值在于您修复了什么。按影响的可索引页面数给结果排序,模板问题一次修好而不是逐页修,然后再次抓取确认。通常很有收获的第一轮简短检查:

技术 SEO 诊断清单把整个检查过程排好了顺序。

常见问题

如何抓取网站的所有 URL?

把链接抓取和 XML 站点地图结合起来,再加入 Google Search Console 和服务器日志中的 URL。只有这些来源能找到、没有任何内链到达的页面,就是值得一看的孤立页面。

如何抓取网站而不被拦截?

慢慢抓,使用诚实的 User-Agent,遵守 robots.txt,服务器返回 429 或 503 时减速。如果客户网站在防火墙之后,请 IT 团队放行您的爬虫,而不是想办法绕过拦截。

抓取网站合法吗?

抓取公开页面是常见做法,但规定因国家和网站条款而异。您可以放心抓取自己和客户的网站,在任何地方都遵守 robots.txt,有疑问时阅读网站条款。以上不构成法律建议。

抓取一个网站需要多长时间?

大致等于 URL 数除以速度。我们在 2026年10月17日对 seoprocheck.com 的完整抓取用 61 分钟获取了 10,222 个 URL,约每秒 2.8 个。按每秒 3 个 URL 计算,不算渲染,1,000 个 URL 约需 6 分钟,100,000 个约需 9 小时。按模板抽样要快得多。

可以免费抓取我的网站吗?

可以。Neova 的免费套餐每次抓取最多 1,000 个 URL,所有检查项都可用,支持 Mac、Windows 和 Linux。更大的套餐请看价格。

分享本文

点开 AI 助手链接时,关于本页的问题已经写好。

用 Neova 抓取您的网站免费套餐在 Mac、Windows 和 Linux 上运行所有检查项。无需信用卡。

继续阅读