AI SEO 爬虫:AI 在诊断中能帮什么,以及如何针对 AI 搜索做诊断
“AI SEO 爬虫”有两层意思:使用 AI 的爬虫,以及检查您的网站在 AI 搜索眼中是什么样的爬虫。好用的工具两者兼顾,并把来自模型的发现与来自规则的发现分开。
AI SEO 爬虫的两层含义
人们搜索带 AI 的 SEO 爬虫时,想要的是以下两者之一。
- 在诊断中使用 AI 的爬虫。由语言模型阅读页面,判断规则无法判断的事:页面是否回答了它的标题,某个说法是否有依据。
- 针对 AI 搜索做诊断的爬虫。它检查 GPTBot、ClaudeBot、PerplexityBot 和其他 AI 爬虫可以抓取什么,您的服务器实际交给它们的是什么,以及 AI 回答是否引用了您的页面。
前者关乎诊断如何进行,后者关乎诊断覆盖什么。一款工具可能擅长其中一个,另一个却较弱。
AI 在 SEO 诊断中能帮上忙的地方,以及帮不上的地方
技术诊断的大部分工作是计数和比较。规则做这些事分毫不差,每次都一样。模型在这里毫无增益,还可能算错数字。AI 的价值体现在需要阅读理解的问题上。
| 任务 | 规则 | 模型 |
|---|---|---|
| 状态码和重定向 | ✓ | – |
| canonical 和 hreflang | ✓ | – |
| 标题和描述长度 | ✓ | – |
| 针对每个爬虫的 robots.txt | ✓ | – |
| 文本回答了它的标题 | – | ✓ |
| 没有数字支撑的说法 | – | ✓ |
| 搜索意图和主要实体 | – | ✓ |
| meta description 草稿 | – | ✓ |
在任何带 AI 的 SEO 诊断工具中都要确认两件事。模型的发现是否与基于规则的发现分开,以免猜测抬高您的错误数量?您的页面文本去了哪里:云端模型,还是您自己电脑上的模型?
AI 爬虫及其 robots.txt 标识
每家 AI 公司都运行不止一个代理,每个代理都遵守自己的 robots.txt 规则组。屏蔽训练爬虫并不会屏蔽搜索爬虫。
| robots.txt 标识 | 公司 | 任务 |
|---|---|---|
| GPTBot | OpenAI | 训练 |
| OAI-SearchBot | OpenAI | 搜索 |
| ChatGPT-User | OpenAI | 代用户抓取 |
| ClaudeBot | Anthropic | 训练 |
| Claude-SearchBot | Anthropic | 搜索 |
| Claude-User | Anthropic | 代用户抓取 |
| PerplexityBot | Perplexity | 搜索 |
| Perplexity-User | Perplexity | 代用户抓取 |
| Google-Extended | 只是标识,没有爬虫 |
来源:OpenAI 的爬虫页面、Perplexity 的机器人页面,以及 Google 的爬虫列表,后者说明 Google-Extended 没有自己的 User-Agent:它是 Google 现有爬虫读取的一个 robots.txt 标识。SEO ProCheck 在 AI bot user agents explained 中维护着一份更长的清单。
AI 搜索可见度取决于什么
AI 助手通过自己的爬虫、用户触发的抓取器,以及 Bing 和 Google 等搜索索引来发现页面。您的网站在每一步都可能出问题。
| 步骤 | 会出什么问题 | Neova 检查项 |
|---|---|---|
| robots.txt | 一条宽泛的规则屏蔽了 AI 爬虫 | robots.txt 中的 AI 爬虫规则与书面政策不一致 |
| 防火墙和 CDN | 403 或验证页面 | 使用 AI 搜索爬虫 User-Agent 的请求被拦截 |
| 渲染 | 文本需要 JavaScript | 大部分正文只出现在渲染后的 HTML 中 |
| 页面顺序 | 文本在 5,000 个字符之后才开始 | 主要内容在正文的前 5,000 个字符之后才开始 |
| 摘要控制 | 关键页面上有 nosnippet | 关键 HTML 页面限制摘要或屏蔽 AI 搜索爬虫 |
| 被引用的 URL | 被引用的页面返回 404 | AI 助手引用了返回 404 或 410 的 URL |
我们在自己的网站上就遇到过 robots.txt 这类问题。在 2026年11月20日对 neova.app 的 SEO 检查中,robots.txt 屏蔽了 1,320 个页面上 /cdn-cgi/ 下的 Cloudflare 邮件脚本,直到我们放行;网站图标文件处在 Disallow: / 之下,所以 Google 显示的是一个字母,而不是我们的 logo。宽泛的规则会屏蔽比您预想更多的东西。如果想知道这种情况有多常见,SEO ProCheck 测量了 400 个网站的 AI 爬虫访问情况。
Google 在 AI 功能与您的网站中解释了它的 AI 功能如何使用您的内容。
如何查看 AI 爬虫能看到什么
- 按爬虫逐个阅读 robots.txt。拥有自己规则组的爬虫会忽略 * 组的规则。
- 用每个 AI User-Agent 请求关键页面。把状态码和响应大小与浏览器拿到的结果对比。403 或很小的响应,说明网站前面有东西在拦截它。
- 对比原始 HTML 和渲染后 HTML。如果正文、链接或标题只在 JavaScript 运行后才出现,就在服务器 HTML 中修复。
- 如果发布了 llms.txt,就检查它。它是可选的;坏掉的文件比没有更糟。见 llms.txt 格式错误或返回服务器错误,以及 SEO ProCheck 关于 AI 是否真的会用 llms.txt 的文章。
- 阅读服务器日志。按 URL 列出的已验证 AI 爬虫访问,能显示它们抓取了什么,以及收到的 403 和 429 响应。只是自称爬虫名称的请求,会被 未经验证的 AI 爬虫请求返回了 2xx 标记出来。
衡量 AI 搜索可见度
访问是您能控制的部分。被引用是结果,需要外部数据才能看到。
| 来源 | 显示内容 | 在 Neova 中 |
|---|---|---|
| Bing Webmaster Tools | Bing AI 回答中的引用 | ✓ |
| Google Analytics 4 | 来自 AI 助手的会话 | ✓ |
| Microsoft Clarity | 被引用的页面、AI 机器人请求 | ✓ |
| 提示词测试 | 品牌在 ChatGPT、Perplexity 中的表现 | 您的 DataForSEO 账户 |
| AI 概览 | 是否显示,是否引用 | 您的 DataForSEO 账户 |
| 服务器日志 | 已验证的 AI 爬虫访问 | ✓ |
把这些看作趋势,而不是精确计数。每次运行的回答都会有所不同。Clarity 页面介绍了这项连接如何工作。
Neova 如何使用 AI,以及如何针对 AI 搜索做诊断
Neova 把这两层含义分开处理。
| 功能 | 运行平台 | 页面文本是否离开电脑 |
|---|---|---|
| AI 审查,44 项检查 | Ollama,您的电脑 | – |
| 提问 | Ollama,您的电脑 | – |
| AI 提示词 | Ollama 或您自己的密钥 | 只发送给您选择的服务商 |
| MCP 服务器 | 您的电脑 | – |
- AI 审查的标记不计入「必须修复」和「值得关注」的数量。
- AI 提示词用 Ollama 或您的 Anthropic、OpenAI 或 Google Gemini 密钥,对每个页面运行您自己的提示词。
- 提问从窗口中已显示的内容里挑选答案,所以不会凭空编造数字。
- “AI 搜索”类别有 45 项检查,涵盖 AI 爬虫可以抓取什么、每个 AI 助手拿到什么、llms.txt 和代理文件。
- 各 AI 助手获取到的内容:以 10 个 AI 代理的身份请求抽样页面,或以 GPTBot、ClaudeBot、PerplexityBot 等身份运行整次抓取。
AI 审查在 Desktop 及以上套餐的桌面应用中运行;见价格。
AI 搜索抓取检查清单
- 针对每个 AI 爬虫的 robots.txt 规则与公司的决定一致。
- 关键页面对 AI 爬虫 User-Agent 返回 200,而不是 403 或验证页面。
- 用户触发的抓取器没有在防火墙或 CDN 被拦截。
- 正文、标题和链接都在服务器 HTML 中。
- 主要内容在正文的前 5,000 个字符内开始。
- 希望被引用的页面上没有误加的 nosnippet。
- 如果发布了 llms.txt,它是有效的。
- 被 AI 回答引用的页面没有失效或被重定向。
常见问题
什么是 AI SEO 爬虫?
要么是用 AI 判断页面的爬虫,要么是检查网站在 AI 搜索眼中是什么样的爬虫:AI 爬虫能抓取什么、拿到什么内容、AI 回答是否引用了它。好的工具两者兼顾,并标明哪些发现来自模型。
AI 爬虫会渲染 JavaScript 吗?
许多爬虫并不确定会。只在 JavaScript 运行后才出现的内容可能永远到不了它们那里,所以要把正文、标题和链接放在服务器 HTML 中。
应该屏蔽 GPTBot 和其他 AI 爬虫吗?
这是商业决策,而不是 SEO 的默认选项。训练爬虫和搜索爬虫有不同的标识,所以您可以允许一个、屏蔽另一个。无论如何决定,都要确认 robots.txt 和防火墙的设置一致。
屏蔽 Google-Extended 会让我从 Google 搜索中消失吗?
不会。Google 表示 Google-Extended 是一个没有独立爬虫的 robots.txt 标识,不影响在 Google 搜索中的收录。
llms.txt 是必需的吗?
不是。它是可选的,没有 llms.txt 的网站 Neova 不会标记。如果您发布了它,请保持有效并及时更新。
Neova 会把我的页面发送给 AI 服务商吗?
AI 审查和“提问”不会,它们通过 Ollama 使用您电脑上的模型。AI 提示词可以使用您自己的 Anthropic、OpenAI 或 Gemini 密钥,页面文本发送给您选择的服务商时,Neova 会明确告知。