抓取预算:是什么、如何查看、如何减少浪费
抓取预算是指 Googlebot 能够并且愿意在您的网站上抓取多少个 URL。大多数网站根本不用考虑它。大型网站或变化频繁的网站则需要,而解决办法通常相同:别让 Googlebot 把时间花在无关紧要的 URL 上。
什么是抓取预算?
Google 把抓取预算定义为 Googlebot 能够并且愿意在某个网站上抓取的 URL 集合。在其抓取预算管理指南中,它分为两部分:
- 抓取容量上限。Googlebot 在不压垮您服务器的前提下能抓取多少。网站响应快,上限就会提高;网站变慢或返回服务器错误,Googlebot 就会减速。
- 抓取需求。Google 想抓取多少。热门 URL 和经常变化的 URL 抓得更多,陈旧或低价值的 URL 抓得更少。
两者合起来,SEO 中的抓取预算就是服务器承受能力与 Google 认为值得抓取的内容之间的交汇点。您买不到更多预算,但可以更好地利用已有的预算。
抓取预算对您的网站重要吗?
Google 表示,抓取预算主要是三类网站需要关心的问题。摘自其抓取预算指南:
| 网站 | 独立页面数 | 内容变化频率 | 需要关注 |
|---|---|---|---|
| 大型 | 1,000,000+ | 每周 | ✓ |
| 中型或更大 | 10,000+ | 每天 | ✓ |
| 大量页面「已发现,尚未编入索引」 | 不限 | 不限 | ✓ |
| 其他大多数网站 | 几千个 | 不限 | – |
如果新页面在一两天内就被抓取,抓取预算就不是您的问题。请转而关注内容质量、内链和可索引性。SEO ProCheck 上的「已发现,尚未编入索引」指南讲解了这种状态及其原因。
节省抓取预算的好习惯,例如干净的 URL、少用重定向、没有抓取陷阱,对每个网站都有帮助。它们也会让您自己的抓取更快,诊断结果更易读。
如何查看抓取预算
抓取预算没有一个单一的数字。您需要从三个地方去看。
1. Search Console 中的抓取统计信息报告
打开设置,然后点抓取统计信息。您会看到过去 90 天的抓取请求总数、下载总大小和平均响应时间,并按响应代码、文件类型、用途(发现或刷新)和 Googlebot 类型细分。主机状态会显示 robots.txt 获取、DNS 或服务器连接是否出过问题。
要关注的信号:3xx 和 4xx 响应占比上升、响应时间攀升,或大部分请求都用于刷新而新页面还在排队。
2. 您的服务器日志
抓取统计信息只是汇总。日志记录了每个请求,您能确切看到 Googlebot 抓取了哪些 URL、多频繁,以及哪些从未碰过。以导入代替连接列出了 Neova 能读取的日志格式,以及各家主机把日志放在哪里。
3. 您自己的抓取
爬虫会显示您的链接和站点地图暴露出的 URL。把它的数量与您真正希望被索引的页面数做比较。我们在自己的网站上做了这件事:
| seoprocheck.com,2026年10月17日 | URL 数 |
|---|---|
| 完整抓取获取的 | 10,222 |
| 返回 200 的 HTML 页面 | 4,561 |
| 列在 XML 站点地图中的 | 1,835 |
| 可经链接到达、但不在任何站点地图中的 | 2,727 |
也就是说,抓取到的 URL 中只有不到一半是返回 200 的 HTML 页面;其余是文件、重定向和其他响应,机器人同样要为它们花费请求。另有 2,727 个被链接的 URL 不在任何站点地图中,在怪罪 Google 之前值得先看一看。如果一个有 20,000 个商品的网站产生了 400,000 个可抓取的 URL,您就找到了抓取预算的浪费所在。
抓取预算浪费从何而来
| 来源 | 表现 | 常见修复方法 |
|---|---|---|
| 分面导航 | 每种筛选组合一个 URL | 屏蔽低价值组合 |
| URL 参数 | 跟踪、会话、排序 | 从内链中去掉 |
| 抓取陷阱 | 日历、重复的目录 | 设上限、屏蔽或修复链接 |
| 重定向链 | 2 跳或更多 | 直接链接到最终 URL |
| 软 404 | 内容不存在,却返回 200 | 返回 404 或 410 |
| 重复 URL | 大小写、斜杠、参数顺序 | 重定向到同一个版本 |
| 不干净的站点地图 | 重定向、noindex、错误 | 只放可索引的 200 URL |
| 响应缓慢 | 响应时间攀升 | 提升服务器速度 |
对大多数网店来说,分面导航是最大的来源;SEO ProCheck 上的抓取预算详解说明了每种来源在什么情况下重要。
抓取预算优化,一步一步来
- 统计应被索引的页面数。写下您希望 Google 收录多少页面。超出的部分都可能是浪费。
- 抓取网站并给 URL 分类。把干净的页面 URL 与参数变体、格式错误的 URL、抓取陷阱和资源文件分开。
- 找出规律。浪费很少是随机的。往往是一个筛选器、一个日历、一个错误的相对链接被重复了成千上万次。
- 屏蔽永远不需要抓取的内容。对没有搜索价值的 URL 模式(例如站内搜索结果或排序方式)使用 robots.txt。规则上线前,先用已抓取的 URL 测试它。
- 修复产生浪费的链接。屏蔽只是把 URL 藏起来;修复链接才能让它们不再产生。
- 清理 XML 站点地图。只放返回 200 的可索引 URL,lastmod 日期随页面变化而更新。
- 返回正确的状态码。已删除的页面返回 404 或 410,而不是返回 200 加一句「未找到」。
- 缩短重定向链,并把内链更新为指向最终 URL。
- 观察日志和抓取统计信息几周,确认 Googlebot 转向了重要的页面。
不该做的事
一些常见的抓取预算技巧并不像人们以为的那样起作用。摘自 Google 的抓取预算指南和关于降低抓取频率的页面:
| 技巧 | 能节省预算吗 | 原因 |
|---|---|---|
| 添加 noindex | – | 页面仍会被抓取 |
| 临时屏蔽页面 | – | Google 不建议这样做 |
| robots.txt 中的 Crawl-delay | – | Googlebot 会忽略它 |
| 返回 503 或 429 | ◐ | 仅限紧急情况,1 到 2 天 |
| 在站点地图中列出 URL | ◐ | 只是提示,不是命令 |
| 在 robots.txt 中永久屏蔽 | ✓ | URL 永远不会被抓取 |
noindex 作用于索引,而不是抓取。只在 robots.txt 中屏蔽您永远不希望被抓取的 URL,并修复产生它们的链接。
Neova 如何帮助优化抓取预算
Neova 是爬虫,不是 Googlebot,所以它无法显示 Google 自己的预算。它能显示的是您的网站在哪里给 Googlebot 增加了额外工作:
- 「发现」与抓取同时运行。它每分钟按模式告诉您新 URL 从哪里来,并标记抓取陷阱的形态,例如日历、重复的目录、会话 ID、大量参数和层级很深的 URL,并当场提供「继续抓取」「跳过」或「排除」。
- 「URL 构成」把每个 URL 归入一类:干净的页面 URL、参数变体、格式错误的 URL、抓取陷阱和资源文件。数量总有解释。
- robots.txt 测试工具会解释每一行,草稿测试会在您上线前列出某项修改会新屏蔽或新放行哪些 URL。
- 桌面应用中的服务器日志会列出在日志时间段内 Googlebot 从未访问过的 HTML 页面,以及机器人请求了但抓取中不存在的 URL。
- 检查项,例如带搜索或筛选参数的可索引 URL、参数相同但顺序不同、软 404 用语、XML 站点地图中的重定向 URL,以及Googlebot 重新抓取间隔延长 50% 或更多。

Neova 的抓取也很有礼貌:默认每秒 3 个 URL,服务器变慢或返回 429、503 时速度减半。请查看功能或下载 Neova 试用。
抓取预算检查清单
| 信号 | 健康标准 | 保存位置 |
|---|---|---|
| 响应时间 | 平稳或下降 | 抓取统计信息 |
| 3xx 和 4xx 占比 | 没有上升 | 抓取统计信息、日志 |
| 可抓取 URL 与目标页面之比 | 接近 1 比 1 | 您的抓取 |
| 抓取陷阱 | 0 | 您的抓取 |
| 重定向跳数 | 最多 1 跳 | 您的抓取 |
| 已删除的页面 | 404 或 410 | 您的抓取 |
| 站点地图条目 | 只放可索引的 200 | 您的抓取 |
| 每个站点地图文件的 URL 数 | 最多 50,000 | 您的抓取 |
| 读取的日志天数 | 30 天或更多 | 服务器日志 |
| 新的关键页面 | 已被 Googlebot 访问 | 服务器日志 |
常见问题
SEO 中的抓取预算是什么?
它是搜索引擎在一定时间内能够并且愿意在您的网站上抓取的 URL 数量。Google 将其描述为抓取容量与抓取需求的结合。
抓取预算对小网站重要吗?
通常不重要。Google 表示它主要是超大型网站、每天变化的网站,以及大量页面已发现但未编入索引的网站需要关心的问题。小网站从更好的内容和内链中获益更多。
如何增加抓取预算?
让服务器快速稳定,并给 Google 抓取的理由:有人链接和访问的页面,以及会更新的内容。然后别再把已有预算浪费在参数、重定向和重复内容上。
noindex 能节省抓取预算吗?
不能。Google 必须抓取页面才能读到它的 noindex。要让 Googlebot 永久远离某种 URL 模式,请在 robots.txt 中屏蔽它,并修复产生它的链接。
Googlebot 遵守 crawl-delay 吗?
不遵守。Google 不支持 robots.txt 中的 crawl-delay。Bing 有文档说明支持它。Neova 会标记对所有 User-Agent 设置的 crawl-delay,方便您判断是否仍然需要。