Neova高级 SEO 平台

JavaScript SEO 爬虫:如何抓取 JavaScript 网站

用 React、Vue、Angular 或 Next.js 构建的网站,在浏览器里看起来可能完美无缺,交给爬虫的却几乎是一个空页面。JavaScript SEO 爬虫会同时展示两个版本:服务器发送的 HTML 和脚本运行后的页面,以及两者不一致的地方。

选择爬虫JavaScript SEO 爬虫更新于 2026年11月21日Neova 团队撰写

为什么 JavaScript 网站需要不同的抓取方式

Google 分三个阶段处理 JavaScript 页面:抓取,在资源允许时用无头 Chromium 渲染,然后编入索引。Google 的 JavaScript SEO 基础知识解释了抓取和渲染之间的队列。在渲染之前,Google 处理的是原始 HTML。

其他爬虫可能永远不会渲染。很多 AI 爬虫和一些搜索引擎只读取服务器发送的 HTML。所以真正的问题是:渲染之前缺了什么,以及过程中有没有发生变化。

普通的 HTML 爬虫只能看到原始响应。JavaScript SEO 爬虫会在真实浏览器中加载每个页面,等它稳定下来,并把两个版本并排保存。SEO ProCheck 逐步讲解了搜索引擎和 AI 爬虫如何渲染您的页面。

客户端渲染、服务器端渲染、静态页面与水合页面

网站构建页面的方式决定了原始 HTML 应包含什么。

页面的构建方式原始 HTML 包含无 JavaScript 时的文本典型配置
客户端渲染一个根 div、若干 script 标签–React、Vue 或 Angular 应用
服务器端渲染完整页面✓Next.js、Nuxt、Angular SSR
静态生成完整页面,预先构建✓静态导出、静态网站生成器
水合(Hydration)完整页面,然后运行脚本✓大多数框架网站
混合取决于模板◐大多数真实网站

一个 Next.js 网站可以由服务器提供产品页,而在浏览器中构建搜索结果页或账户页。这就是要按模板检查的原因:一个客户端渲染的模板就可能隐藏成千上万个 URL。

渲染后 HTML 与原始 HTML:要对比什么

逐个元素对比。对每个元素检查:它是否出现在原始 HTML 中?JavaScript 是否会改变它?

元素只在渲染后出现的风险Neova 检查项
标题页面没有名称title 只出现在渲染后的 HTML 中
Meta description没有摘要来源meta description 只出现在渲染后的 HTML 中
H1看不出主题H1 只出现在渲染后的 HTML 中
Canonical两个不同的信号canonical 被 JavaScript 修改或删除
NoindexGoogle 可能跳过渲染noindex 指令被 JavaScript 移除
内部链接发现得晚,或永远发现不了内链只出现在渲染后的 HTML 中
正文原始页面内容单薄大部分正文只出现在渲染后的 HTML 中

结构化数据和 hreflang 也可能由脚本注入。请检查它们在两个版本中都存在且完全一致。最稳妥的做法很朴素:所有对搜索重要的内容都放在服务器 HTML 中,JavaScript 只负责交互。

JavaScript 网站上重要的数字

限制值来源
Googlebot 每个文件获取的 HTML前 15 MBGoogle
被标记的渲染时间超过 4 秒JavaScript 渲染超过 4 秒
正文只在渲染后 HTML 中超过一半,且 50 个词以上页面组的正文或导航依赖 JavaScript 渲染
导航链接只在渲染后出现一半或以上页面组的正文或导航依赖 JavaScript 渲染
发送到服务器的哈希路由# 之后的内容都不发送RFC 3986

4 秒和一半正文这两条线是 Neova 的阈值,写在每项检查的规则中。15 MB 和片段规则来自 Google 和 URI 标准。

如何设置 JavaScript SEO 抓取

  1. 先不渲染抓取一次。快速的原始抓取能显示服务器发送了什么。如果只找到很少的页面,导航很可能依赖 JavaScript。
  2. 每个模板渲染一个样本。每个页面组渲染几个页面,就能看出哪些模板依赖脚本。只在这些地方渲染整个网站。
  3. 让页面稳定下来。等网络安静下来、页面不再变化。
  4. 不要屏蔽脚本。请参阅HTML 页面使用了被 robots.txt 禁止抓取的 JavaScript 文件。
  5. 保持礼貌的抓取速度。一个渲染页面可能意味着几十个脚本、样式和 API 请求。
  6. 也要看失败的情况。请参阅JavaScript 渲染失败或超时。
Neova 中的“新建抓取 › 速度与渲染”:JavaScript 渲染默认关闭,需要您手动开启,并在抓取后运行,与原始 HTML 对比
Neova 中的“新建抓取 › 速度与渲染”:JavaScript 渲染默认关闭,需要您手动开启,并在抓取后运行,与原始 HTML 对比

如何抓取网站指南介绍了抓取范围、速度和许可。

爬虫能发现的常见 JavaScript SEO 问题

  • 不是链接的链接。Google 会跟踪带有 href 的 a 元素。带点击处理程序的按钮不是链接。请参阅 Google 的可抓取链接指南。
  • 哈希后面的路由。/#/products 看起来只是一个页面,因为哈希之后的部分永远不会到达服务器。请使用 History API 和真实路径。
  • 软 404。单页应用通常对每个路由都返回 200,然后在浏览器中显示“未找到”信息。
  • 要等点击或滚动才出现的内容。爬虫不会点击标签页。Google 关于延迟加载内容的说明介绍了如何加载内容才能被编入索引。
  • 元数据停留在第一个路由上。除非路由器更新它们,否则 title 和 canonical 会一直保留第一个页面的值。
  • JavaScript 中的重定向。比服务器端重定向更慢被识别,有些爬虫永远看不到。
  • 导致内容消失的错误。一次失败的 API 调用就可能让页面丢失 title 或正文。请参阅JavaScript 错误导致渲染时丢失 title、canonical 或正文。

更多解答请看 SEO ProCheck 的 JavaScript SEO 常见问题。

抓取 React、Next.js 和单页应用网站

单页应用。预计原始 HTML 几乎为空,原始抓取的结果也很少。为每种路由类型渲染一个样本,检查每个路由都有自己的 URL、title 和 canonical,并且不存在的页面返回真正的 404 状态码。服务器端渲染或静态生成是能同时帮助所有爬虫的修复方法。

Next.js 或 Nuxt 网站。大多数页面已经在原始 HTML 中。要找的是例外:在浏览器中构建的路由、由客户端组件设置的元数据、只在水合后才渲染的菜单。

混合型。按模板对 URL 分组,查看每组中内容位于原始 HTML 的页面所占比例。如果某一组远低于其他组,通常就是一个模板需要修复。每次发布后都要测试:一个小的组件改动就可能把 title 或链接从服务器端移到浏览器端。

不止 Google:AI 爬虫与原始 HTML

AI 助手会获取网页来回答问题,而它们的很多爬虫读取的是 HTML 到达时的样子。正文依赖 JavaScript 的页面,对它们来说可能几乎是空的,即使 Google 正常索引了它。SEO ProCheck 阐述了 SSR 与 CSR 以及 AI 可见度。

所以 JavaScript SEO 抓取还应显示每个 AI 爬虫拿到的内容。AI 爬虫指南介绍了相关标识和 robots.txt 规则。

Neova 如何抓取 JavaScript 网站

Neova 可在 Mac(Apple 芯片)、Windows 和 Linux 上运行,并有浏览器中使用的 Neova Online。所有套餐都包含 JavaScript 渲染,免费套餐也不例外。

功能作用
在 Chrome 中渲染全部页面,或每组几个
渲染等待等待页面稳定
「渲染」列服务器渲染、水合、需要 JavaScript
源代码:原始与渲染后两个 HTML 版本并排显示
「渲染」界面每个 AI 爬虫拿到的内容
「未渲染抓取」徽章已跳过的检查项,一键重新抓取
用 Chrome 获取适用于有机器人防护的网站

渲染默认关闭,所以第一次抓取会很快。「用 Chrome 获取」在桌面应用中提供。功能页面列出了其余功能,比较页面展示了其他爬虫如何处理渲染,高级 SEO 爬虫指南介绍了大规模渲染。

常见问题

什么是 JavaScript SEO 爬虫?

一种在真实浏览器中加载页面、运行页面脚本,并把渲染后的页面与服务器发送的原始 HTML 一起保存的爬虫。对比两者,就能看到只有在 JavaScript 运行后才存在的 title、链接、canonical 和文本。

Google 会渲染 JavaScript 吗?

会。Google 抓取一个 URL,将其排入队列,用无头 Chromium 渲染,然后把渲染后的页面编入索引。渲染可能晚于抓取,而且很多 AI 爬虫只读取原始 HTML。

原始 HTML 和渲染后 HTML 有什么区别?

原始 HTML 是任何脚本运行之前服务器发送的内容。渲染后 HTML 是浏览器运行 JavaScript 之后的页面。在服务器渲染的网站上两者很接近;在客户端渲染的应用中,原始 HTML 可能几乎为空。

JavaScript 网站的每个页面都需要渲染吗?

通常不需要。先按每个模板渲染几个页面。完全在服务器 HTML 中的模板不需要完整渲染;依赖 JavaScript 的模板才需要。

可以免费抓取 React 或 Next.js 网站吗?

可以。Neova 的免费套餐包含 Chrome 中的 JavaScript 渲染,每次抓取最多 1,000 个 URL,并运行所有检查项。请查看价格或下载 Neova。

分享本文

点开 AI 助手链接时,关于本页的问题已经写好。

用 Neova 抓取您的网站免费套餐在 Mac、Windows 和 Linux 上运行所有检查项。无需信用卡。

继续阅读