NeovaBot
本译文仅为方便阅读而提供。如与英文版本有任何不一致,以英文版本为准。
这个爬虫在您服务器上显示的名字、它做什么,以及如何屏蔽它。
更新于 2026年11月20日。这些页面的任何变更都会先在这里公布。
NeovaBot 是 Neova 的爬虫读取页面时使用的名字。每次抓取都由一个人发起:一位 Neova 用户在自己的电脑上或通过 Neova Online 抓取某个网站。并没有一个在网上四处游荡的中央爬虫。
它在日志中的样子
NeovaBot/0.10.39 (+https://neova.app/bot)
版本号就是应用的版本号。用户可以选择以 Googlebot、Bingbot 或 Chrome 的身份抓取,看看它们看到的内容,也可以自定名字;我们的可接受使用政策说明了何时允许这样做。
作用
- 它以自己的名字遵守 robots.txt,按 Google 的规则匹配路径模式,并说明跳过某个页面的原因。
- 默认速度最多每秒 3 个页面。只有声明网站归自己所有的用户才能更快。当您的服务器变慢或返回 429、503 时,它会把速度减半并遵守 Retry-After;连续收到 6 次这样的响应,或 10 个请求都没有响应时,抓取会停止并说明原因。
- 它只读取公开页面:不登录、不提交表单、不保留 cookie。
- 当用户要求时,它可以用浏览器渲染页面,此时会像浏览器一样获取页面的脚本和样式。
如何屏蔽它
把这几行加到您的 robots.txt:
User-agent: NeovaBot Disallow: /
抓取在用户自己的电脑上运行,所以 robots.txt 是一次性屏蔽所有这些抓取的办法。如果是来自 Neova Online 的抓取,请写信至 bot@neova.app,我们会停止它。
出了问题?
如果 NeovaBot 的抓取给您的网站造成了麻烦,请写信至 bot@neova.app,附上时间和对应的日志行。如果来自 Neova Online,我们会找到对应账户并停止抓取;如果来自某人自己的电脑,我们会尽可能告诉您所知的情况。
我们的团队使用英语和法语。请用其中一种语言写信给我们;用 AI 翻译也没问题。