高度なSEOクローラー:JavaScript、大規模サイト、クロール比較、モニタリング
404はどのクローラーでも見つけられます。高度なSEOクローラーは、シンプルなクローラーでは手に負えないサイトを扱えます。JavaScriptフレームワーク、数百万のURL、ファセットナビゲーション、サイト移行、毎日変わるサイトなどです。
SEOクローラーを「高度」にするもの
どのクローラーも取得し、解析し、リンクをたどり、レポートします。高度なクローラーの違いは、サイトが難しくなったときの振る舞いです。
| 難しいケース | 確認すべき点 | Neovaで |
|---|---|---|
| JavaScriptサイト | ページごとの生のHTMLとレンダリング後の比較 | ✓ |
| クロールトラップ | クロール中に検出して除外 | 毎分の発見 |
| 超大規模サイト | クロールをディスクに保存 | 60,000 URLでメモリ60 MB |
| 時間による変化 | クロール同士の比較 | クロールを比較 |
| 毎日のリリース | スケジュールとアラート | Slack、Microsoft Teams |
| チームのワークフロー | CLI、CIゲート、API | ✓ |
| 複数のサイト | クロールを並べて実行 | 最大4つ同時 |
最大4つの同時クロールはDesktopプラン以上で、1つのウィンドウで行えます。大規模なクロールの上限はメモリではなくディスク容量で決まります。
JavaScript SEOのクロール:生のHTMLとレンダリング後のHTMLの比較
GoogleのJavaScript SEOの基本にあるとおり、GoogleはまずHTMLをクロールし、リソースに余裕ができたときに後からページをレンダリングします。AIクローラーの多くはレンダリングしない可能性があります。したがって問題は、レンダリング前に何が欠けているかです。
| レンダリング後のHTMLにのみ存在 | Neovaのチェック項目 |
|---|---|
| 本文 | 本文の大部分がレンダリング後のHTMLにのみ存在 |
| 内部リンク | 内部リンクがレンダリング後のHTMLにのみ存在 |
| canonical | canonicalがJavaScriptでのみ設定されている |
| title | titleがレンダリング後のHTMLにのみ存在 |
| リダイレクト | HTMLページがJavaScriptでリダイレクト |
レンダリングは時間がかかり、負荷も大きくなります。大規模サイトでは、まずテンプレートごとに数ページをレンダリングしてください。完全にサーバーサイドでレンダリングされるテンプレートなら、それ以上は不要です。詳しくはJavaScript SEOクローラーのガイドで解説しています。
エンタープライズSEOクローラーに必要なもの:規模、トラップ、テンプレート
Googleのクロールバジェットの管理に関する説明では、誰が気にすべきかが示されています。
| サイト | 固有のページ数 | コンテンツの更新 |
|---|---|---|
| 大規模 | 100万以上 | 毎週 |
| 中規模以上 | 10,000以上 | 毎日 |
それ未満の規模では、クロールバジェットが問題になることはまれです。SEO ProCheckではクロールバジェットが重要になる場面を詳しく解説しています。それでも大規模サイトのクロールは決まったパターンで失敗し、その多くはクロールトラップから始まります。
| クロールトラップ | URLの例 | 一般的な対処 |
|---|---|---|
| カレンダー | /events/2031/04/ | パターンを除外 |
| 繰り返すフォルダ | /shop/shop/shop/ | 相対リンクを修正 |
| セッションID | /?sid=8f3a2c | リンクにIDを含めない |
| フィルターの組み合わせ | ?color=red&size=9&sort=price | ページにするファセットを決める |
| 並べ替えと表示切り替え | ?sort=price&view=grid | パラメータなしのURLにcanonical |
フィルターについては、SEO ProCheckのファセットナビゲーションのガイドで、どのファセットに専用ページを持たせるべきかを解説しています。サンプリングも役立ちます。テンプレートごとに決まった数のページをクロールすれば、数分ですべてのテンプレートを確認できます。正規表現によるセグメントでセクションごとのステータスコードがわかり、XPath、CSSセレクタ、正規表現による抽出で価格、著者、構造化データの項目を取り出せます。

私たち自身のサイトseoprocheck.comでの規模(2026年10月17日):フルクロールで61分間に10,222 URLを取得し、1.66 GBの生のページ本文を340 MBで保存しました。
クロール比較:何が変わったかを見る
1回の監査でわかるのはサイトの状態です。2回を比べると、サイトに何が起きたかがわかります。次の点を見てください。
- 2回の間で新しく増えた、削除された、変更されたURL
- 新しいフラグと解決したフラグ
- title、メタディスクリプション、H1の変更前と変更後
- 変更されたrobots.txtのルール。前回のクロールからrobots.txtのルールが変更されたを参照してください。
- クロール可能なURL数の急激な変化
同じ条件同士で比べてください。フルクロールはフルクロールと、同じ設定で比較します。サンプルとフルクロールを比べると、範囲の違いだけによる差が出ます。
モニタリング:定期クロールとアラート
モニタリングとは、自動で実行されるクロール比較です。スケジュールはサイトの更新頻度に合わせます。
| サイト | フルクロール | Core Web Vitalsのスナップショット |
|---|---|---|
| 更新の多いストア | 毎日 | 毎週 |
| ほとんどのサイト | 毎週 | 毎週 |
| 更新の少ないサイト | 月払い | 月払い |
Chrome UX Reportは28日間の移動平均なので、Core Web Vitalsのフィールドデータは週1回で十分です。アラートの条件として良いのは、前回のクロール以降の新しいフラグ、クリック数の減少、Core Web Vitalsの評価の悪化、追跡中の検索キーワードが上位10位から外れたこと、などです。アラートは普段から見ている場所に送り、数を絞ってください。
サイト移行とステージングサイト
サイト移行こそ、クロールが元を取る場面です。旧サイトをクロールし、ステージングをクロールして、ステータスコード、noindex、canonical、title、H1、片方にしか存在しないURLを比べます。旧URLから新URLへのリダイレクトマップを作り、公開後に実際の各リダイレクトを確認します。
ステージングでは通常、HTTP認証、すべてを禁止するrobots.txt、本番ドメインを指すリンクがあります。本番ドメインへのリンクをステージングのホストに書き換えられるクローラーなら、何時間も節約できます。SEO ProCheckのサイト移行FAQでは、公開日に出てくる疑問に答えています。
私たち自身のサイトでも、公開時のミスを2つ見つけました。2026年11月20日のSEOチェックまで、http://neova.appはhttpsへの301ではなく200を返し、存在しないアドレスは404ではなく「近日公開」ページから503を返していました。どちらも今は修正済みで、どちらも公開前後のクロールで見つけるべきものです。HTTPSサイトでHTTPのURLが200を返すを参照してください。
自動化:CLI、CI、API
規模が大きくなると、クロールはリリース作業の一部になります。
| 要素 | ジョブ | Neovaで |
|---|---|---|
| コマンドライン | クロールの開始、結果の取得 | neova CLI |
| CIゲート | 新しいフラグでビルドを失敗させる | neova check |
| API | ダッシュボード、社内ツール | REST API、毎分60リクエスト |
| MCPサーバー | AIアシスタントがクロールを読む | ✓ |
| チケット | 課題とテンプレートごとに1件 | Jira、Linear、Asana |
REST APIはNeova Onlineの一部で、Desktop + Onlineプラン以上で使えます。CIゲートは、最後に問題のなかったリリースのクロールをベースラインにすると最もうまく機能します。新しいフラグが出たときだけビルドが失敗するので、以前からの課題がデプロイのたびに妨げになることはありません。
Neovaの高度なクロールへの対応
- レンダリング:Chromeで、全ページまたはページグループごとに数ページをレンダリングし、各ページをServer-Rendered、Hydrated、Needs JavaScriptに分類します。
- 規模:クロールをディスクに保存し、ページグループごとのサンプルを用意。ディスカバリーではトラップごとにクロール継続、スキップ、除外を選べます。
- 履歴:クロールを比較。履歴データにはすべてのクロール、robots.txtのバージョン、XMLサイトマップが残ります。
- サーバーログ:ApacheやNginxのログ、またはご自身のCloudflareアカウント。Googlebot、Bingbot、AIクローラーは、各社が公開しているリストにアドレスがある場合にのみカウントします。
- データ元の保存期間を超えて:Googleが16か月で削除した後も、Search Consoleのデータを毎月分すべて保持します。
- サイト移行:URLごとの信頼度つきリダイレクトマップ、実際のリダイレクトの確認、ステージングと本番の比較、URLの書き換え。
すべての機能は機能のページで、Neovaとほかのツールの比較は比較でご覧いただけます。
よくある質問
高度なSEOクローラーとは何ですか?
難しいサイトのために作られたクローラーです。JavaScriptをレンダリングして生のHTMLと比較し、クロールトラップや超大規模サイトに対応し、クロールを時系列で比較し、スケジュールで実行し、チケット、CI、APIと連携します。
すべてのページをJavaScriptでレンダリングする必要がありますか?
通常は不要です。まずテンプレートごとにサンプルをレンダリングしてください。コンテンツがすべてサーバーのHTMLにあるテンプレートは完全なレンダリングは不要で、JavaScriptに依存するテンプレートは必要です。
クロールバジェットが重要になるのはどんなときですか?
Googleによると、主に固有ページが100万以上で毎週更新されるサイト、または10,000以上で毎日更新されるサイトです。それより小さなサイトで問題になることはまれです。
エンタープライズSEOクローラーはどのくらいの規模のサイトに対応できますか?
ツールによって異なり、デスクトップのクローラーではパソコンによっても異なります。Neovaはクロールをディスクに保存し、Desktopプランではパソコンに応じて1回のクロールにつき最大500万URLまで対応します。料金をご覧ください。
SEOの問題でデプロイを失敗させることはできますか?
はい、CIゲートでできます。Neovaでは、neova checkがクロールをベースラインと比較し、新しいフラグが出るとエラーコードで終了するため、パイプラインでリリースを止められます。