SEO 监控:定时抓取、警报与变化检测
大多数 SEO 损失不是算法造成的,而是一次发布造成的:一个上了生产环境的 noindex,一条多屏蔽了一个文件夹的 robots.txt 规则,一个丢了 canonical 的模板。SEO 监控就是按计划反复检查的习惯,让这类变化在一天内暴露出来,而不是等到下季度的流量报告里才发现。
SEO 监控涵盖什么
监控不是第二次诊断。诊断问的是哪里有问题;监控问的是和上次相比有什么变化。所以它运行成本更低,阅读更快。四个来源就能覆盖大部分内容:
| 要关注什么 | 来源 | 频率 |
|---|---|---|
| 状态码、noindex、canonical | 抓取 | 每周 |
| robots.txt 和 XML 站点地图 | 抓取 | 每次抓取 |
| 仅关键页面 | URL 列表 | 每天 |
| 点击和排名 | Search Console | 每天 |
| Core Web Vitals | Chrome UX Report | 每周 |
| 爬虫错误 | 服务器日志 | 每天 |
| 算法更新 | Google 状态页面 | 发布时 |
Google 会在其 Search Status Dashboard 上发布已确认的排名更新和事故。SEO ProCheck 在如何监控算法更新中介绍了如何把这些信息与您自己的数据对照。
计划抓取
在固定的日期和时间、用相同的设置进行抓取,是 SEO 监控的骨架。相同的设置很重要:换了 URL 上限或速度的抓取会显示出并不真实的差异。根据网站的变化频率来选择节奏:
| 网站 | 完整抓取 | 关键页面 |
|---|---|---|
| 展示型网站,少于 500 个页面 | 按月 | 每周 |
| 博客或新闻网站 | 每周 | 每天 |
| 每天都有库存变化的网店 | 每周 | 每天 |
| 每周发布的网站 | 每次发布后 | 每天 |
| 迁移期间 | 每天 | 每天 |
添加计划之前先算好成本。每周抓取 750 个 URL,大约每月 4 次、3,000 个 URL。选在服务器空闲时段运行,并让爬虫保持礼貌的速度:Google 关于管理抓取预算的指南提醒我们,负载过重的服务器会拖慢所有爬虫,包括 Googlebot。抓取预算指南有更深入的介绍。
变化检测:真正重要的变化
每次抓取都会和上一次有些许不同。关键在于知道哪些差异值得把人叫醒:
| 变化 | 紧急程度 | 原因 |
|---|---|---|
| robots.txt 规则变了 | 立即 | 可能屏蔽整个文件夹 |
| 可索引页面被加了 noindex | 立即 | 页面从索引中消失 |
| 200 页面数量骤降 | 立即 | 某个栏目消失或被屏蔽 |
| canonical 被修改 | 今天 | Google 可能选择另一个 URL |
| 新出现 4xx 或 5xx URL | 今天 | 死链、丢失的页面 |
| 新出现重定向链 | 本周 | 每次访问都多几跳 |
| title 或 H1 变了 | 本周 | 摘要和相关性变化 |
| meta description 被修改 | 值得关注 | 只影响摘要 |
保留每一次抓取,而不只是最新一次。三月份点击下降时,二月份的抓取是证明页面之前写了什么的唯一证据。
监控在我们自己网站上发现了什么
我们在自己的网站上就遇到过。2026年11月20日我们对 neova.app 做 SEO 检查时,发现两条 robots.txt 规则屏蔽的范围超出了本意,还有几个问题,如果每周抓取,第一周就会被标记出来:
| Found | 页面 | 后果 | 已修复 |
|---|---|---|---|
| robots.txt 屏蔽了 /cdn-cgi/ 邮件脚本 | 1,320 | Google 无法获取的脚本 | ✓ |
| 网站图标文件被 Disallow: / 挡住 | 每一条结果 | 显示一个字母,而不是我们的 logo | ✓ |
| http:// 返回 200 | 每个页面 | 每个页面都有两份 | ✓ |
| 未知 URL 返回 503 | 每个输错的 URL | 看起来像宕机 | ✓ |
| 超过 160 个字符的描述 | 修复了 1,354 条 | 在搜索结果中被截断 | ✓ |
这些问题在浏览器里一个都看不出来,在抓取中全都暴露了。一张表就说明了为什么要监控。robots.txt 测试工具指南讲述了这两条 robots.txt 规则的完整经过。
阈值清晰的警报
每天都响的警报最后会被静音。设置有意义的阈值,并在警报中说明是什么越过了界线:
| 触发条件 | 阈值 | 来源 |
|---|---|---|
| Core Web Vitals 等级变化 | Google 的“良好”和“差”界线 | Chrome UX Report |
| 点击下降 | 最近 7 天下降 20% 或以上 | Search Console |
| 跟踪的搜索词跌出前 10 | 越过第 10 位 | Search Console |
| 跟踪的搜索词排名下滑 | 3 位或以上 | Search Console |
| 抓取后出现新标记 | 任何新标记 | 抓取 |
| 200 页面数量大幅波动 | 超过 25% | 抓取 |
| 爬虫错误增多 | 占比翻倍,且超过 1% | 服务器日志 |
Search Console 保留 16 个月的效果数据。如果想把今年的警报与两年前同一周对比,请导出或存档这些数据。
Core Web Vitals 快照
搜索中的 Core Web Vitals 来自实测数据:Chrome UX Report,即真实 Chrome 用户 28 天的滚动平均值。所以每日快照变化很慢,每周一次就够了。以第 75 百分位衡量的阈值见 web.dev:
| 指标 | 良好 | 需要改进 | 较差 |
|---|---|---|---|
| LCP | 2.5 秒或以下 | 最多 4 秒 | 超过 4 秒 |
| INP | 200 毫秒或以下 | 最多 500 毫秒 | 超过 500 毫秒 |
| CLS | 0.1 或以下 | 最多 0.25 | 超过 0.25 |
CrUX History API 默认返回 25 个周期(每周一个),最多 40 个,每周一更新,所以第一天就能画出趋势。您自己保存的快照可以回溯得更远。Lighthouse 等实验室工具有助于找到原因,但需要监控的是实测数值。SEO ProCheck 关于实测数据与实验室数据的页面解释了两者的区别,Core Web Vitals 检测工具指南介绍了修复方法。
警报应该发到哪里
只有当天有人看到,警报才有用。把每类警报发到负责处理的人本来就会看的地方:
| 渠道 | 最适合 |
|---|---|
| 系统通知 | 抓取结束,在您的电脑上 |
| 菜单栏 | 进度和最新警报 |
| 手机页面 | 离开工位时看一眼 |
| Slack 频道 | 团队,按客户 |
| Microsoft Teams 频道 | 团队,按客户 |
| 共享的抓取链接 | 关注某次抓取的客户 |
对代理机构来说,每个客户一个频道,警报就不会互相淹没。代理机构 SEO 诊断指南介绍了这套设置的其余部分。
用 Neova 做 SEO 监控

在 Neova 桌面应用中:
- 计划抓取以资源的设置按每天、每周、每 N 周或每月运行整站抓取,窗口关闭时也能运行。Neova 会在您添加计划前说明它的成本,在运行前 15 分钟提醒,并允许您推迟或跳过某一次运行。
- 监视抓取只获取一份页面列表,不做发现,并在状态、重定向目标、title、canonical、noindex、H1 和大小发生变化时发出页面警报。
- 抓取时高亮变化会在获取每个 URL 时,把旧值加删除线显示在新值旁边;比较抓取列出新增、移除和变化的 URL,以及新增和已解决的标记。
- 警报规则会在以下情况发出警报:Core Web Vitals 等级变化、最近 7 天点击下降 20% 或以上、跟踪的搜索词进入或跌出前 10 或下滑 3 位,以及出现新标记。警报列表保留最新的 300 条。
- Core Web Vitals 快照计划无需抓取即可读取 Chrome UX Report,建议每周一次,并保留每一份快照。使用您自己的 Chrome UX Report 密钥,第一天就能得到约 40 周的趋势。
- Neova Go 在窗口关闭后让 Neova 留在 Mac 菜单栏中,并把每个资源最新的抓取、Core Web Vitals、点击和下次运行时间推送到您的手机;抓取运行时,Mac 每 2 分钟刷新一次。警报还可以按资源组合或资源发送到 Slack 和 Microsoft Teams。

专为监控打造的检查项:
- robots.txt 规则与上一次抓取相比发生了变化
- 可抓取 URL 数量与上一次抓取相比变化剧烈
- 搜索引擎爬虫的 3xx、4xx 或 5xx 响应占比正在上升
- HTML 超过 2 MB 或 Core Web Vitals 未达到良好范围和 实验室或实测数据中 CLS 超过 0.1
- 实验室数据或实际用户数据中的服务器响应时间较慢
- 网站图标缺失、损坏或被屏蔽,正是它发现了我们 logo 的问题
- 存在 noindex 指令
Neova Go 适用于 Desktop 及以上套餐。帮助页面计划与监控一步步介绍了设置方法。
常见问题
什么是 SEO 监控?
按计划再次检查网站,并与上次检查对比:状态码、索引指令、robots.txt、点击、排名和 Core Web Vitals,当某项越过设定的界线时发出警报。
为了 SEO 监控,应该多久抓取一次网站?
大多数网站每周一次即可。如果网站发布频繁,每次发布后抓取;迁移期间每天抓取;很少变化的小网站每月一次。最重要的页面每天监视。
SEO 诊断和 SEO 监控有什么区别?
诊断是全面审查,问的是哪里有问题。监控按计划重复一次较轻的检查,问的是与上次相比有什么变化,因此新问题能在几天内被发现。
应该多久检查一次 Core Web Vitals?
每周一次。Chrome UX Report 是 28 天的滚动平均值,所以每天的读数变化很小。对照 Google 的界线查看第 75 百分位:LCP 2.5 秒、INP 200 毫秒、CLS 0.1。
什么情况应该触发 SEO 警报?
可能迅速造成流量损失的变化:robots.txt 规则变化、可索引页面被加 noindex、200 页面数量骤降、新出现 4xx 或 5xx URL、一周内点击下降 20% 或以上,以及 Core Web Vitals 等级变差。