Neova高機能SEOプラットフォーム

高度なSEOクローラー:JavaScript、大規模サイト、クロール比較、モニタリング

404はどのクローラーでも見つけられます。高度なSEOクローラーは、シンプルなクローラーでは手に負えないサイトを扱えます。JavaScriptフレームワーク、数百万のURL、ファセットナビゲーション、サイト移行、毎日変わるサイトなどです。

クローラーの選び方高度なSEOクローラー2026年11月21日更新Neovaチーム

SEOクローラーを「高度」にするもの

どのクローラーも取得し、解析し、リンクをたどり、レポートします。高度なクローラーの違いは、サイトが難しくなったときの振る舞いです。

難しいケース確認すべき点Neovaで
JavaScriptサイトページごとの生のHTMLとレンダリング後の比較✓
クロールトラップクロール中に検出して除外毎分の発見
超大規模サイトクロールをディスクに保存60,000 URLでメモリ60 MB
時間による変化クロール同士の比較クロールを比較
毎日のリリーススケジュールとアラートSlack、Microsoft Teams
チームのワークフローCLI、CIゲート、API✓
複数のサイトクロールを並べて実行最大4つ同時

最大4つの同時クロールはDesktopプラン以上で、1つのウィンドウで行えます。大規模なクロールの上限はメモリではなくディスク容量で決まります。

JavaScript SEOのクロール:生のHTMLとレンダリング後のHTMLの比較

GoogleのJavaScript SEOの基本にあるとおり、GoogleはまずHTMLをクロールし、リソースに余裕ができたときに後からページをレンダリングします。AIクローラーの多くはレンダリングしない可能性があります。したがって問題は、レンダリング前に何が欠けているかです。

レンダリング後のHTMLにのみ存在Neovaのチェック項目
本文本文の大部分がレンダリング後のHTMLにのみ存在
内部リンク内部リンクがレンダリング後のHTMLにのみ存在
canonicalcanonicalがJavaScriptでのみ設定されている
titletitleがレンダリング後のHTMLにのみ存在
リダイレクトHTMLページがJavaScriptでリダイレクト

レンダリングは時間がかかり、負荷も大きくなります。大規模サイトでは、まずテンプレートごとに数ページをレンダリングしてください。完全にサーバーサイドでレンダリングされるテンプレートなら、それ以上は不要です。詳しくはJavaScript SEOクローラーのガイドで解説しています。

エンタープライズSEOクローラーに必要なもの:規模、トラップ、テンプレート

Googleのクロールバジェットの管理に関する説明では、誰が気にすべきかが示されています。

サイト固有のページ数コンテンツの更新
大規模100万以上毎週
中規模以上10,000以上毎日

それ未満の規模では、クロールバジェットが問題になることはまれです。SEO ProCheckではクロールバジェットが重要になる場面を詳しく解説しています。それでも大規模サイトのクロールは決まったパターンで失敗し、その多くはクロールトラップから始まります。

クロールトラップURLの例一般的な対処
カレンダー/events/2031/04/パターンを除外
繰り返すフォルダ/shop/shop/shop/相対リンクを修正
セッションID/?sid=8f3a2cリンクにIDを含めない
フィルターの組み合わせ?color=red&size=9&sort=priceページにするファセットを決める
並べ替えと表示切り替え?sort=price&view=gridパラメータなしのURLにcanonical

フィルターについては、SEO ProCheckのファセットナビゲーションのガイドで、どのファセットに専用ページを持たせるべきかを解説しています。サンプリングも役立ちます。テンプレートごとに決まった数のページをクロールすれば、数分ですべてのテンプレートを確認できます。正規表現によるセグメントでセクションごとのステータスコードがわかり、XPath、CSSセレクタ、正規表現による抽出で価格、著者、構造化データの項目を取り出せます。

Neovaで実行中のクロール:ディスカバリーが新しいURLの出どころを毎分報告してクロールトラップのパターンにフラグを立て、ライブクロールマップがクリック深度ごとに輪を描きます
Neovaで実行中のクロール:ディスカバリーが新しいURLの出どころを毎分報告してクロールトラップのパターンにフラグを立て、ライブクロールマップがクリック深度ごとに輪を描きます

私たち自身のサイトseoprocheck.comでの規模(2026年10月17日):フルクロールで61分間に10,222 URLを取得し、1.66 GBの生のページ本文を340 MBで保存しました。

クロール比較:何が変わったかを見る

1回の監査でわかるのはサイトの状態です。2回を比べると、サイトに何が起きたかがわかります。次の点を見てください。

  • 2回の間で新しく増えた、削除された、変更されたURL
  • 新しいフラグと解決したフラグ
  • title、メタディスクリプション、H1の変更前と変更後
  • 変更されたrobots.txtのルール。前回のクロールからrobots.txtのルールが変更されたを参照してください。
  • クロール可能なURL数の急激な変化

同じ条件同士で比べてください。フルクロールはフルクロールと、同じ設定で比較します。サンプルとフルクロールを比べると、範囲の違いだけによる差が出ます。

モニタリング:定期クロールとアラート

モニタリングとは、自動で実行されるクロール比較です。スケジュールはサイトの更新頻度に合わせます。

サイトフルクロールCore Web Vitalsのスナップショット
更新の多いストア毎日毎週
ほとんどのサイト毎週毎週
更新の少ないサイト月払い月払い

Chrome UX Reportは28日間の移動平均なので、Core Web Vitalsのフィールドデータは週1回で十分です。アラートの条件として良いのは、前回のクロール以降の新しいフラグ、クリック数の減少、Core Web Vitalsの評価の悪化、追跡中の検索キーワードが上位10位から外れたこと、などです。アラートは普段から見ている場所に送り、数を絞ってください。

サイト移行とステージングサイト

サイト移行こそ、クロールが元を取る場面です。旧サイトをクロールし、ステージングをクロールして、ステータスコード、noindex、canonical、title、H1、片方にしか存在しないURLを比べます。旧URLから新URLへのリダイレクトマップを作り、公開後に実際の各リダイレクトを確認します。

ステージングでは通常、HTTP認証、すべてを禁止するrobots.txt、本番ドメインを指すリンクがあります。本番ドメインへのリンクをステージングのホストに書き換えられるクローラーなら、何時間も節約できます。SEO ProCheckのサイト移行FAQでは、公開日に出てくる疑問に答えています。

私たち自身のサイトでも、公開時のミスを2つ見つけました。2026年11月20日のSEOチェックまで、http://neova.appはhttpsへの301ではなく200を返し、存在しないアドレスは404ではなく「近日公開」ページから503を返していました。どちらも今は修正済みで、どちらも公開前後のクロールで見つけるべきものです。HTTPSサイトでHTTPのURLが200を返すを参照してください。

自動化:CLI、CI、API

規模が大きくなると、クロールはリリース作業の一部になります。

要素ジョブNeovaで
コマンドラインクロールの開始、結果の取得neova CLI
CIゲート新しいフラグでビルドを失敗させるneova check
APIダッシュボード、社内ツールREST API、毎分60リクエスト
MCPサーバーAIアシスタントがクロールを読む✓
チケット課題とテンプレートごとに1件Jira、Linear、Asana

REST APIはNeova Onlineの一部で、Desktop + Onlineプラン以上で使えます。CIゲートは、最後に問題のなかったリリースのクロールをベースラインにすると最もうまく機能します。新しいフラグが出たときだけビルドが失敗するので、以前からの課題がデプロイのたびに妨げになることはありません。

Neovaの高度なクロールへの対応

  • レンダリング:Chromeで、全ページまたはページグループごとに数ページをレンダリングし、各ページをServer-Rendered、Hydrated、Needs JavaScriptに分類します。
  • 規模:クロールをディスクに保存し、ページグループごとのサンプルを用意。ディスカバリーではトラップごとにクロール継続、スキップ、除外を選べます。
  • 履歴:クロールを比較。履歴データにはすべてのクロール、robots.txtのバージョン、XMLサイトマップが残ります。
  • サーバーログ:ApacheやNginxのログ、またはご自身のCloudflareアカウント。Googlebot、Bingbot、AIクローラーは、各社が公開しているリストにアドレスがある場合にのみカウントします。
  • データ元の保存期間を超えて:Googleが16か月で削除した後も、Search Consoleのデータを毎月分すべて保持します。
  • サイト移行:URLごとの信頼度つきリダイレクトマップ、実際のリダイレクトの確認、ステージングと本番の比較、URLの書き換え。

すべての機能は機能のページで、Neovaとほかのツールの比較は比較でご覧いただけます。

よくある質問

高度なSEOクローラーとは何ですか?

難しいサイトのために作られたクローラーです。JavaScriptをレンダリングして生のHTMLと比較し、クロールトラップや超大規模サイトに対応し、クロールを時系列で比較し、スケジュールで実行し、チケット、CI、APIと連携します。

すべてのページをJavaScriptでレンダリングする必要がありますか?

通常は不要です。まずテンプレートごとにサンプルをレンダリングしてください。コンテンツがすべてサーバーのHTMLにあるテンプレートは完全なレンダリングは不要で、JavaScriptに依存するテンプレートは必要です。

クロールバジェットが重要になるのはどんなときですか?

Googleによると、主に固有ページが100万以上で毎週更新されるサイト、または10,000以上で毎日更新されるサイトです。それより小さなサイトで問題になることはまれです。

エンタープライズSEOクローラーはどのくらいの規模のサイトに対応できますか?

ツールによって異なり、デスクトップのクローラーではパソコンによっても異なります。Neovaはクロールをディスクに保存し、Desktopプランではパソコンに応じて1回のクロールにつき最大500万URLまで対応します。料金をご覧ください。

SEOの問題でデプロイを失敗させることはできますか?

はい、CIゲートでできます。Neovaでは、neova checkがクロールをベースラインと比較し、新しいフラグが出るとエラーコードで終了するため、パイプラインでリリースを止められます。

このページを活用する

アシスタントのリンクを開くと、このページについての質問が入力された状態で始まります。

NeovaでサイトをクロールFreeプランはMac、Windows、Linuxですべてのチェック項目を実行します。クレジットカードは不要です。

関連ガイド