AI 爬虫:GPTBot、ClaudeBot 和 PerplexityBot 做什么,如何管控
AI 爬虫获取您的页面,用于训练语言模型、构建 AI 搜索索引,或当场回答某个人的问题。每一类在 robots.txt 中都有自己的名称,所以您可以允许一部分、屏蔽另一部分。下面介绍它们是谁、各自做什么,以及如何检查它们实际拿到了什么。
什么是 AI 爬虫?
AI 爬虫也叫 LLM 爬虫,是 AI 公司运行的机器人。它们并不都一样,把它们当成一类会写出糟糕的 robots.txt 规则。共有三类:
- 训练爬虫收集可能用于训练未来模型的页面。最有名的是 GPTBot 和 ClaudeBot。
- 搜索爬虫构建 AI 助手在给出带来源和链接的回答时所搜索的索引。OAI-SearchBot、Claude-SearchBot 和 PerplexityBot 属于这一类。
- 用户触发的抓取器因为有人向 AI 助手询问某个页面(例如粘贴了一个 URL)而加载该页面。ChatGPT-User、Claude-User 和 Perplexity-User 就是这样工作的。
屏蔽训练爬虫,可以让您的页面不进入未来的训练数据集。屏蔽搜索爬虫,则可能让您无法出现在带引用的 AI 回答中,而这往往与企业的期望背道而驰。
主要 AI 爬虫及其 robots.txt 标识
每家厂商都为自己的机器人编写了文档。以下是在 robots.txt 中使用的名称,并附厂商自己的页面链接:
| 标识 | 公司 | 种类 | 独立机器人 |
|---|---|---|---|
| GPTBot | OpenAI | 训练 | ✓ |
| OAI-SearchBot | OpenAI | AI 搜索 | ✓ |
| ChatGPT-User | OpenAI | 用户请求 | ✓ |
| ClaudeBot | Anthropic | 训练 | ✓ |
| Claude-SearchBot | Anthropic | AI 搜索 | ✓ |
| Claude-User | Anthropic | 用户请求 | ✓ |
| PerplexityBot | Perplexity | AI 搜索 | ✓ |
| Perplexity-User | Perplexity | 用户请求 | ✓ |
| Google-Extended | Gemini 对内容的使用 | – | |
| Applebot-Extended | Apple | Apple 模型训练 | – |
| CCBot | Common Crawl | 开放网络存档 | ✓ |
Google-Extended 和 Applebot-Extended 是标识,而不是独立的机器人:它们控制 Googlebot 或 Applebot 已抓取的内容可以如何使用。Google 表示 Google-Extended 不影响在 Google 搜索中的收录和排名。如果要限制您的内容在 Google 自己的搜索 AI 功能中的呈现方式,Google 建议使用 nosnippet 等摘要控制。想看列出每个机器人及其用途的更长清单,请参阅 SEO ProCheck 上的 AI 爬虫地图。
应该屏蔽 LLM 爬虫吗?
没有唯一正确的答案,这取决于您的内容用来做什么。从 robots.txt 的角度看,三种策略可以覆盖大多数网站:
| 策略 | 训练 | AI 搜索 | 用户请求 |
|---|---|---|---|
| 对所有爬虫开放 | ✓ | ✓ | ✓ |
| 可被引用,不被训练 | – | ✓ | ✓ |
| 对 AI 关闭 | – | – | ◐ |
- 允许搜索爬虫:如果您希望在 ChatGPT 搜索、Claude 和 Perplexity 中被引用和链接。对大多数企业来说,这是想要的曝光。
- 考虑屏蔽训练爬虫:如果您的内容就是您的产品,比如新闻、研究、课程、付费数据。屏蔽只能阻止今后的收集,不会删除已经收集的内容。
- 屏蔽用户触发的抓取器之前要三思。它们代表询问您页面的那个人行事,而且一些厂商表示它们可能不会像爬虫那样遵守 robots.txt,因此上表标为“部分”。
把决定写下来:允许哪些机器人,屏蔽哪些,原因是什么。然后让 robots.txt 与之一致。有了书面策略,未来的开发者才不会在改版时把一切都屏蔽掉。
针对 AI 机器人的 robots.txt 示例
下面是一种常见设置:允许 AI 搜索,屏蔽训练。
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
多行 User-agent 可以共用一组规则。有一个陷阱要特别留意。根据 robots.txt 标准 RFC 9309,爬虫只遵循点名它的最具体的那一组规则。如果您为 GPTBot 添加了一组规则,GPTBot 就会完全忽略 * 组,包括您的 Disallow: /search/。这就是上面的搜索组重复了两条共用规则的原因。点名的规则组里没有禁止的内容,就是允许的。
如果只想禁止训练爬虫抓取某个文件夹,而不是整个网站:
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
对于用户触发的抓取器,在依赖 robots.txt 之前,请先阅读各厂商的页面。
每条规则上线前都要用真实 URL 测试。2026年11月20日,我们在 neova.app 上发现了两条拦截范围超出预期的规则:
| 命中的规则 | 后果 | 影响范围 |
|---|---|---|
| /cdn-cgi/ 被屏蔽 | Cloudflare 邮件脚本被屏蔽 | 1,320 个页面 |
| Disallow: / 覆盖了网站图标 | Google 中显示一个字母,而不是 logo | 每一条搜索结果 |
两个问题都通过允许相应路径解决了。为某个机器人或某个文件夹写的 Disallow,会作用于其下的每个文件,脚本和图标也不例外。
robots.txt 之外:防火墙、CDN 与验证
robots.txt 是一种请求,而不是一把锁。上面这些 AI 公司都在文档中说明了自家爬虫如何对待它,但其他机器人可能会无视它。
- 也要检查防火墙。一些 CDN 和 WAF 有屏蔽 AI 爬虫的设置,有时默认开启。一个网站可能在 robots.txt 中允许了 GPTBot,却仍然用 403 回应它。要测试每个爬虫实际收到了什么。
- 先验证再信任。OpenAI 和 Perplexity 公布了自家机器人的 IP 列表,Google 和 Microsoft 也公布了各自的列表。自称某个机器人、但来自该公司列表之外地址的请求,并不是那个机器人。
- 在边缘拦截恶意访问者。对于无视 robots.txt 的抓取程序,只有 CDN 或服务器上的规则才管用。
实际中出错有多频繁:SEO ProCheck 在 Can AI Crawlers Actually Read Your Site? 400 Sites Measured 中测试了 400 个网站上 AI 爬虫实际收到的内容。
让 AI 爬虫能读懂您的页面
允许爬虫访问只是 AI 爬虫 SEO 的一半。另一半是确保它能读懂所抓取的内容。
- 把主要内容放在 HTML 中。并非每个爬虫都会运行 JavaScript。如果您的文字只有在脚本运行后才出现,就要假定有些 AI 爬虫永远看不到它。
- 开门见山。正文之前冗长的菜单和模板内容,会把答案推到页面更靠后的位置。
- 不要把关键信息藏在图片、PDF 或小组件里。价格、规格和联系方式应该以纯 HTML 文本呈现。
- 返回真实的状态码。被 AI 回答引用的页面如果失效或被重定向,读者就会被带到错误页面。
- 保持 HTML 精简。Googlebot 只读取 HTML 文件的前 2 MB;超过的页面 Neova 会在 HTML 超过 2 MB,或 Core Web Vitals 未达到良好范围中标记。
- llms.txt 是可选的。它是一种提议中的格式,而不是网络标准。如果您发布了它,请保持有效并及时更新。
如何查看 AI 爬虫看到了什么
Neova 会在桌面应用和 Neova Online 中显示每个 AI 爬虫被允许抓取什么,以及实际拿到了什么:
- “各 AI 助手获取到的内容”以 10 个 AI 代理的身份请求抽样页面,包括 ChatGPT、Claude、Perplexity 及其爬虫,以及 Meta AI、Google-Extended 和 Common Crawl,并显示谁获得了完整访问、robots.txt 允许了什么。
- 以 AI 爬虫身份抓取。以 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot 或其他 AI User-Agent 的身份运行一次完整抓取。
- robots.txt 测试工具显示 Googlebot、Bingbot 和各 AI 爬虫可以抓取什么,列出每个爬虫被屏蔽的 URL,并在某个爬虫自己的规则组使
*组的规则失效时给出提示。 - “渲染”界面显示有多少页面需要 JavaScript,以及每个 AI 爬虫拿到的内容。
- 桌面应用中的服务器日志按 URL 显示经过验证的 AI 爬虫访问和被拒绝的请求。
- 连接 Bing Webmaster Tools 和 Microsoft Clarity 的 AI Visibility 后,可查看来自它们的 AI 引用数据。见 Microsoft Clarity。
建议先看这些检查项:使用 AI 搜索爬虫 User-Agent 的请求被屏蔽、robots.txt 中的 AI 爬虫规则与书面策略不一致、用户触发的 AI 抓取器被屏蔽、关键页面限制摘要或屏蔽 AI 搜索爬虫,以及 AI 机器人请求了返回错误的 URL。免费套餐包含“AI 搜索”视图;见价格,或下载 Neova。
AI 爬虫 SEO 检查清单
| 事项 | 完成标准 |
|---|---|
| 书面策略 | 每个 AI 机器人:允许或屏蔽 |
| robots.txt | 与策略一致 |
| 点名的规则组 | 共用规则已重复写入 |
| AI 搜索爬虫 | 在希望被引用的页面上允许 |
| 防火墙和 CDN | 与策略一致 |
| 每个爬虫拿到的内容 | 200 和完整页面 |
| 主要内容 | 在 HTML 中,且位置靠前 |
| 关键信息 | 以文本呈现,而非图片 |
| 日志 | 访问已验证,冒充者单独统计 |
| 被引用的页面 | 返回 200 |
常见问题
GPTBot 是什么?
GPTBot 是 OpenAI 的爬虫,用于收集可能被用来训练其模型的内容。它与 OAI-SearchBot 不同,后者为 ChatGPT 搜索查找页面。见 OpenAI 的爬虫页面。
屏蔽 GPTBot 会让我的网站从 ChatGPT 搜索中消失吗?
不会。OpenAI 使用不同的机器人,每个都读取自己的 robots.txt 规则。ChatGPT 搜索依赖 OAI-SearchBot,所以您可以屏蔽 GPTBot,同时仍然允许 OAI-SearchBot。
Google-Extended 会影响我在 Google 的排名吗?
Google 表示它不影响在 Google 搜索中的收录,也不是排名信号。它控制的是您的内容能否被用于 Gemini 模型。
如何屏蔽 LLM 爬虫?
在 robots.txt 中添加一个规则组,点名每个爬虫(例如 GPTBot、ClaudeBot 和 CCBot),并写上 Disallow: /。对于无视 robots.txt 的机器人,在防火墙或 CDN 中添加规则。
如何知道 AI 爬虫是否访问了我的网站?
查看服务器或 CDN 日志,并对照各公司公布的 IP 列表验证每个请求。Neova 的“服务器日志”工具会按 URL 完成这项工作。日志格式见以导入代替连接。