SEO 爬虫指南
66 篇指南,分为 10 个类别:选择爬虫、抓取与索引、链接、内容、结构化数据、Core Web Vitals、国际 SEO、AI 搜索、诊断与日志。由开发 Neova 的团队撰写。
爬虫该为您做什么、在哪种电脑上运行、价格多少,以及 AI 如何改变这项工作。
技术 SEO 爬虫技术 SEO 爬虫:功能与选择方法技术 SEO 爬虫能做什么,一次好的网站诊断应该检查哪些内容,以及如何为您负责的网站选出最合适的 SEO 爬虫。AI SEO 爬虫AI SEO 爬虫:AI 在诊断中能帮什么,以及如何针对 AI 搜索做诊断AI SEO 爬虫应该做什么:在需要判断的地方用 AI,并检查 AI 爬虫能抓到什么、拿到的是什么内容,以及 AI 回答是否引用了您。高级 SEO 爬虫高级 SEO 爬虫:JavaScript、大型网站、抓取对比与监控高级 SEO 爬虫多了什么:JavaScript 渲染差异、大型及企业级抓取、抓取对比、监控、网站迁移和自动化。JavaScript SEO 爬虫JavaScript SEO 爬虫:如何抓取 JavaScript 网站JavaScript SEO 爬虫如何处理 React、Next.js 和单页应用网站,对比原始 HTML 与渲染后 HTML,找出搜索引擎可能漏掉的内容。免费 SEO 爬虫免费 SEO 爬虫:免费能得到什么免费 SEO 爬虫有哪些选择:从 Screaming Frog 免费的 500 个 URL 到 Neova 的免费套餐,付费套餐通常多了什么,以及如何选对。SEO SpiderSEO Spider:是什么、如何工作、怎样选择SEO Spider 是什么,它如何一步步抓取网站,信任一款工具之前要测试什么,以及值得一试的免费和付费 SEO Spider 工具。Mac SEO 爬虫Mac 版 SEO 爬虫(也支持 Windows 和 Linux)如何选择 Mac 上的 SEO 爬虫:桌面 SEO Spider 应该做什么,各平台有哪些选择,以及如何让长时间抓取在笔记本上持续运行。Windows SEO 爬虫Windows 版 SEO 爬虫:如何选择并保持稳定抓取如何挑选并运行 Windows 上的 SEO 爬虫:看哪些方面,有哪些选择,首次运行时的 SmartScreen 提示,以及如何让长时间抓取在 PC 上持续进行。SEO 爬虫 MCPSEO 爬虫 MCP:把抓取数据连接到 ChatGPT、Claude 和 Perplexity什么是 SEO 爬虫 MCP 服务器,它如何让 ChatGPT、Claude 和 Perplexity 读取您的抓取数据,以及如何点几下就连接 Neova。
Screaming Frog、Sitebulb 等都是出色的工具。这里介绍它们各自的长处,以及 Neova 在它们旁边的定位。
Screaming Frog 替代工具Screaming Frog 替代工具:怎么选、如何迁移在找 Screaming Frog 替代工具?SEO Spider 的长处、同类爬虫的对比,以及如何把您的抓取数据带过来。Sitebulb 替代工具Sitebulb 替代工具:客观对比与免费选择写给正在找 Sitebulb 替代工具的人的公正评述:Sitebulb 的长处、Neova 有何不同、一个免费选项,以及如何把您的诊断带过来。Screaming Frog Mac 版Mac 版 Screaming Frog:功能与需要提前规划的事项Screaming Frog Mac 版:SEO Spider 在 macOS 上提供什么,内存与存储模式需要怎样规划,以及包括 Neova 在内的其他 Mac 爬虫。Lumar 替代工具Lumar 替代工具:怎么选、如何迁移在找 Lumar 替代工具?这款曾名为 Deepcrawl 的云端爬虫有哪些长处,同类工具有何不同,以及如何把您的抓取数据带过来。JetOctopus 替代工具JetOctopus 替代工具:怎么选、如何迁移在考虑 JetOctopus 替代工具?这款带日志分析的云端爬虫有哪些长处,其他爬虫如何处理日志,以及如何把您的抓取数据带过来。Ahrefs Site Audit 替代工具Ahrefs Site Audit 替代工具:它的长处,以及桌面爬虫适合的场景在考虑 Ahrefs Site Audit 替代工具?Site Audit 在 Ahrefs 中的长处,桌面爬虫如何与它搭配,以及如何把抓取数据带过来。
搜索引擎能否访问您的页面,又是否会保留它们?决定这一点的每个信号,都在整个网站范围内检查。
如何抓取网站如何为 SEO 抓取网站:分步指南如何为 SEO 抓取网站:设定范围、找出所有 URL、抓取时不被拦截、处理 JavaScript,并把抓取结果变成修复项。可索引性检查工具可索引性检测工具:如何找出搜索引擎无法索引的页面可索引性检查工具如何工作:状态码、robots.txt、noindex、canonical 和渲染,以及如何用 Search Console 的网址检查工具确认。robots.txt 测试工具robots.txt 测试工具:在规则误屏蔽页面之前先测试robots.txt 测试工具如何按 Google 和 RFC 9309 的方式解读您的规则,哪些常见错误会意外拦截页面,以及如何安全地测试草稿。XML 站点地图检查工具XML 站点地图检测工具:如何验证站点地图并修复其中列出的问题XML 站点地图检查工具测试什么:5 万个 URL 和 50MB 的上限,重定向、出错或 noindex 的 URL,准确的 lastmod,以及遗漏的页面。canonical 标签检查工具Canonical 标签检测工具:如何诊断整个网站的 canonical 标签canonical 标签检查工具看什么:会重定向、形成链条或循环、指向 noindex 或 404 页面,或被 JavaScript 改动的 canonical。noindex 检查工具noindex 检测工具:在流量受损之前找出 noindex 页面noindex 检查工具如何在 meta robots 和 X-Robots-Tag 中找到 noindex,哪些错误会意外让页面从 Google 消失,以及如何检查整个网站。HTTP 状态码检查工具HTTP 状态码检测工具:各状态码对 SEO 的意义及如何全面检查HTTP 状态码检查工具如何工作,一张列出对 SEO 重要的状态码及 Google 如何处理的表格,以及如何检查网站的每个 URL。软 404软 404:含义、Google 为何报告以及如何修复什么是软 404,为什么 Google 会把返回 200 的页面报告为错误,常见原因,以及如何找出并修复网站上的每个软 404。抓取预算抓取预算:是什么、如何查看、如何减少浪费什么是抓取预算,什么时候需要关注,如何在 Search Console 和日志中查看,以及如何在大型网站上杜绝抓取预算浪费。
页面之间如何互相链接,链接在哪里断开,重定向应该如何表现。
内链工具内链工具:如何诊断并改进网站内链内链工具应该给您展示什么:可抓取的链接、锚文本、点击深度和链接得分,以及如何把缺口变成值得添加的链接。锚文本检查工具锚文本检测工具:如何诊断链接使用的文字锚文本检查工具如何诊断您的链接:Google 对锚文本的要求,各种类型及其风险,空锚文本和泛泛的锚文本,以及如何修复。死链检查工具死链检测工具:如何找出并修复网站上的失效链接如何用死链检查工具找出网站上失效的内部链接和外部链接,修复各类 404,并防止新的死链再出现。重定向链重定向链:如何发现、修复并防止新的重定向链什么是重定向链和重定向循环,301 与 302 的区别,如何用爬虫或 curl 找出重定向链,以及如何彻底修复。301 与 302 重定向301 与 302 重定向:永久还是临时,307 和 308 又该何时用301 与 302 重定向:各自告诉 Google 和浏览器什么,307 和 308 有何不同,什么时候用哪个,以及如何检查您的重定向。孤立页面孤立页面:如何找出没有内部链接的页面并修复什么是孤立页面,为什么单靠抓取找不到它们,以及如何借助站点地图、Search Console、GA4 和服务器日志找出孤立页面并修复。
标题、描述、标题标签、图片以及正文本身,在每个页面上一次性检查。
title 标签检查工具Title 标签检测工具:如何找出每个页面上缺失、过长和重复的 titletitle 标签检查工具看什么,哪些长度和重复规则真正重要,Google 如何改写标题,以及如何修复网站上的每个标题。meta description 检查工具Meta Description 检测工具:如何找出缺失、过长和重复的描述meta description 检查工具会标记什么,为什么 Google 没有长度限制却会截断摘要,以及如何批量修复缺失、过长和重复的描述。H1 标签检查工具H1 标签检测工具:如何找出缺失、为空和重复的 H1 标题H1 标签检查工具会标记什么,Google 和 W3C 对 H1 及标题顺序怎么说,以及如何修复缺失、为空、重复和由 JavaScript 生成的 H1。图片 alt 文本检查工具图片 alt 文本检测工具:如何找出并修复缺失或质量差的 alt 文本图片 alt 文本检查工具会标记什么,什么时候 alt 应该留空,Google 和 WCAG 有何要求,以及如何全站修复缺失或欠佳的 alt 文本。薄内容单薄内容:是什么、如何找出单薄页面以及如何处理什么是薄内容,Google 的政策和人工处置对此怎么说,为什么字数不是唯一标准,以及如何找出并修复单薄页面。重复内容检查工具重复内容检测工具:如何找出并修复重复页面重复内容检查工具如何找出完全重复和近似重复的页面、URL 变体和重复标题,以及如何用重定向或 canonical 逐一修复。
搜索引擎和 AI 助手都能读懂的 Schema 标记,按类型逐一讲解,附 Google 的要求。
Schema 标记验证工具Schema 标记验证工具:检查单个页面或整个网站的结构化数据Schema 标记验证工具如何工作,Schema.org 验证工具和 Google 富媒体搜索结果测试各自的长处,以及如何在全站检查结构化数据。FAQ SchemaFAQ Schema:标记写法、Google 的调整,以及何时仍值得添加FAQ Schema 详解:2023 年以来 Google 对 FAQ 富媒体搜索结果的调整,FAQPage 的属性,一个有效的 JSON-LD 示例,以及为什么这种标记仍可能有回报。Product SchemaProduct Schema:Google 对产品摘要和商家信息的要求面向 Google 的 Product Schema:产品摘要和商家信息的必需与推荐属性,一个有效的 JSON-LD 示例,以及常见错误。Organization SchemaOrganization Schema:告诉搜索引擎谁在运营您的网站Organization Schema 详解:Google 推荐的属性、logo 规则、D-U-N-S 和 LEI 标识符、放置位置,以及一个有效的 JSON-LD 示例。面包屑 Schema面包屑 Schema:与网站结构一致的 BreadcrumbList 标记面向 Google 的面包屑 Schema:BreadcrumbList 和 ListItem 的属性,2025 年起仅在桌面端显示,一个有效的 JSON-LD 示例,以及如何检查每个页面。Article SchemaArticle Schema:Google 能读懂的标题、作者、日期和图片Article Schema 详解:Google 推荐的属性、作者和日期规则、图片尺寸,Article、BlogPosting 与 NewsArticle 的区别,以及一个 JSON-LD 示例。
LCP、INP 和 CLS:真实访客的感受、Google 使用的阈值,以及如何修复缓慢的模板。
Core Web Vitals 检查工具Core Web Vitals 检测工具:全站测量 LCP、INP 和 CLSCore Web Vitals 检查工具如何测量 LCP、INP 和 CLS,为什么实测数据和实验室数据不同,以及如何检查网站每个模板的 Core Web Vitals。Largest Contentful PaintLargest Contentful Paint (LCP):衡量什么、如何修复Largest Contentful Paint 测量什么,2.5 秒的分界线,哪个元素算数,LCP 的四个组成部分,以及常见原因和修复方法。Interaction to Next PaintInteraction to Next Paint (INP):衡量什么、如何修复Interaction to Next Paint 测量什么,200 毫秒的分界线,一次交互的三个阶段,以及 INP 偏慢的常见原因和修复方法。Cumulative Layout ShiftCumulative Layout Shift (CLS):衡量什么、如何修复Cumulative Layout Shift 测量什么,0.1 的分界线,分数如何计算,以及布局偏移的常见原因和修复方法。批量页面速度测试批量页面速度测试:如何检查整个网站的页面速度如何批量测试页面速度:大量 URL 的实测与实验室数据,PageSpeed Insights 和 CrUX API,循环运行 Lighthouse,以及按模板测试。图片优化 SEO图片 SEO 优化:更快的页面和 Google 能用的图片一篇讲透图片优化 SEO:Google 支持的格式、文件大小、响应式图片、延迟加载、alt 文本,以及要运行的检查。core web vitals 监控Core Web Vitals 监控:长期跟踪 LCP、INP 和 CLSCore Web Vitals 监控实战:实际用户数据、CrUX 的 28 天窗口、按页面组的趋势,以及 LCP、INP 或 CLS 评级变化时的警报。页面速度监控页面速度监控:看哪些指标、阈值与性能回退首次测试之后的页面速度监控:该看哪些数字、有意义的阈值,以及如何在发布后发现性能回退。lighthouse 监控Lighthouse 监控:定时实验室测试、波动与局限正确做 Lighthouse 监控:定时运行实验室测试、分数为何波动、5 次运行取中位数,以及 Lighthouse 能和不能告诉您的真实用户情况。
一个网站,多种语言或多个国家:如何搭建结构,以及搜索引擎如何区分各个版本。
hreflang 检查工具hreflang 检测工具:如何验证 hreflang 标签并修复错误hreflang 检查工具如何在全站校验 hreflang 标签:返回链接、自引用、x-default、代码和目标,每种错误都附修复方法。国际 SEO 检查清单国际 SEO 检查清单:多语言或多国家网站的每一项检查一份可逐项完成的国际 SEO 检查清单:市场、URL 结构、hreflang、本地化内容、技术检查,以及如何用一次抓取来验证。国际网站结构国际网站结构:ccTLD、子域名还是子目录国际网站结构对比:用一张表比较 ccTLD、子域名和子目录,Google 对每种方式怎么说,以及如何选择并检查您的结构。
AI 助手如何获取、读取和引用您的页面,以及您可以检查和改变什么。
AI 爬虫AI 爬虫:GPTBot、ClaudeBot 和 PerplexityBot 做什么,如何管控AI 爬虫详解:GPTBot、ClaudeBot、PerplexityBot 等,各自的用途,以及如何在 robots.txt 中允许或屏蔽 LLM 爬虫。llms.txtllms.txt:是什么、格式如何、您是否需要llms.txt 是什么,逐行解读 llmstxt.org 的格式,有多少网站提供了它,Google 和 AI 助手对它怎么说,以及如何检查您的文件。AI 可见度检查工具AI 可见度检测工具:如何衡量品牌在 ChatGPT、Perplexity、Bing 和 Google 中的表现AI 可见度检查工具如何工作:在 ChatGPT 和 Perplexity 中测试提示词,Bing 和 Google 的 AI 报告,能衡量什么,以及如何解读数字。AI 搜索优化AI 搜索优化:如何让页面在 AI 回答中被找到并被引用用大白话讲 AI 搜索优化:ChatGPT、Perplexity 和 Google 的 AI 功能如何挑选来源,什么有用,什么没用,以及如何检查。ChatGPT SEOChatGPT SEO:ChatGPT 搜索如何发现、排序和引用您的页面ChatGPT SEO 详解:ChatGPT 搜索如何发现并引用页面,OAI-SearchBot、GPTBot 与 ChatGPT-User 的区别,robots.txt 规则,以及什么样的页面容易被引用。AI Overviews SEOAI Overviews SEO:页面如何在 Google AI 概览和 AI 模式中被引用依据 Google 官方文档讲 AI Overviews SEO:资格条件、无需特殊标记、查询扇出、摘要控制、Search Console 退出选项,以及如何衡量。
执行诊断、出具报告、安全迁移网站、读懂日志,以及之后持续监控。
技术 SEO 诊断清单技术 SEO 诊断清单:用爬虫就能完成的 16 个步骤一份配合爬虫使用的技术 SEO 诊断清单:robots.txt、可索引性、重定向、canonical、hreflang、渲染、速度、日志和 AI 爬虫。SEO 诊断报告SEO 诊断报告:一份好报告应包含什么一份好的 SEO 诊断报告应包含什么:用数字呈现的抓取结果、按修复顺序排列并附示例 URL 的问题、负责人、变化,以及这次抓取是如何进行的。代理机构 SEO 诊断代理机构的 SEO 诊断:一套流程服务所有客户代理机构如何做 SEO 诊断:每个客户一套设置,标记转为工单,带品牌的 PDF、Jira,并用资源组合把众多客户网站分开管理。网站迁移检查清单网站迁移检查清单:迁移前、迁移中和迁移后一份按顺序排列的网站迁移检查清单:盘点每个 URL,制作重定向映射表,对比测试预发布环境与线上环境,上线,然后持续观察一年。SEO 日志分析SEO 日志文件分析:读懂 Googlebot 的真实行为SEO 日志文件分析分步指南:服务器日志里有什么,如何获取,如何验证 Googlebot,以及拿到日志后要看什么。SEO 监控SEO 监控:定时抓取、警报与变化检测SEO 监控实践:定时抓取、变化检测、阈值清晰的警报、Core Web Vitals 快照,以及警报应该发到哪里。
用 Neova 抓取您的网站免费套餐在 Mac、Windows 和 Linux 上运行所有检查项。无需信用卡。