Neova高機能SEOプラットフォーム

SEOスパイダーとは:仕組みと選び方

SEO Spiderとは、検索エンジンと同じようにWebサイトをリンクからリンクへとたどり、すべてのURLが何を返すかを記録するプログラムです。その内部の仕組み、数値を信頼する前に試すべきこと、試してみたいツールを紹介します。

クローラーの選び方SEO Spider2026年11月21日更新Neovaチーム

SEO Spiderとは

Webは「クモの巣」なので、リンクをたどってその中を動き回るプログラムはスパイダーと呼ばれるようになりました。クローラー、ボット、ロボットとも呼ばれます。どれも基本的には同じもので、ページを取得し、そのリンクを読み、リンク先のページへ進むソフトウェアです。

最大のものを動かしているのは検索エンジンです。Googlebotもスパイダーです。SEO Spiderは同じ考え方を自分のサイトに向けたもので、リンク切れ、リダイレクト、ブロックされたページ、titleの欠落、重複コンテンツ、どこからもリンクされていないページなど、検索エンジンがつまずく箇所を報告するために作られています。

この言葉は、デスクトップクローラーをSEO Spiderと名付けたScreaming Frogで知った人が多く、今ではこのカテゴリー全体を指して使われています。製品名が何であれ、SEO Spiderは混同されがちな2つのツールとは別物です:

  • スクレイパーは、価格などの特定のデータをページから抜き出します。スパイダーはサイト全体と、ページ同士のつながりを地図にします。
  • 被リンクツールは、ほかのサイトを読んで自分へのリンクを探します。スパイダーは自分のサイトを内側から読みます。

SEO Spiderの仕組みを順を追って

内部では、どのSEO Spiderも、URLがなくなるか設定した上限に達するまで、同じループを繰り返します:

  1. キューから始める。キューには開始URLが入り、多くの場合XMLサイトマップのURLも入ります。
  2. ルールを確認する。URLを取得する前に、スパイダーはrobots.txtと自身の範囲設定(このホスト、このフォルダ、これらのパターン)を確認します。SEO ProCheckはrobots.txtの完全リファレンスを公開しています。
  3. 取得して記録する。URLをリクエストし、応答を保存します。ステータスコード、ヘッダー、応答時間、本文です。
  4. ページを解析する。HTMLからtitle、meta robots、canonical、見出し、すべてのリンクとそのアンカーテキストを読み取ります。
  5. リンクを整理する。相対リンクを完全なURLに直し、フラグメントを取り除き、各URLを既出のURLと照合して、同じものを2回取得しないようにします。
  6. 新しいものをキューに入れる。範囲内の新しいURLはキューの最後に入ります。順番に処理していくことで、各ページのクロール深度(開始URLからのクリック数)が決まります。
  7. 待ってから繰り返す。礼儀正しいスパイダーはリクエストの間隔を空け、サーバーが押し返してきたら速度を落とします。

キューが空になってから、本当の作業が始まります。スパイダーはすべてのページをほかのページや検索エンジンが公開しているルールと比べ、データを指摘事項に変えます。スパイダーによっては、JavaScriptの実行後にだけ現れるリンクやコンテンツを見るため、先にブラウザでページをレンダリングします。

SEO SpiderがURLごとに記録するもの

指摘事項の質は、その下にあるデータの質で決まります。良いSEO SpiderはURLごとに次の情報を保持します:

分野記録するもの
レスポンスステータスコード、リダイレクト先、ヘッダー、応答時間、サイズ
インデックスのシグナルmeta robots、X-Robots-Tag、canonical、robots.txtで許可されているか
コンテンツtitle、meta description、見出し、単語数
リンクインリンクとアウトリンク、アンカーテキスト、各リンクのページ内の位置
構成クロール深度、フォルダ、ページが使うテンプレート
ディスカバリーURLの発見経路:リンク、XMLサイトマップ、リダイレクト

そこからチェック項目が導かれます。いくつかの例:内部URLが4xx、5xxを返す、または応答がない、内部URLがリダイレクトチェーンになっている、孤立URLが200を返し、インデックス可能、4xxのURLがXMLサイトマップに掲載されている。監査で確認すべき領域の全リストはテクニカルSEOクローラーのガイドで紹介しています。

SEO Spiderのダウンロード版とオンライン版

どちらも検索されていますが、2つは別の仕組みです。

デスクトップのスパイダーオンラインのスパイダー
対応環境
データの保存先自分のディスクベンダーのサーバー
クロールの規模を決めるものご自身のパソコンプラン
VPN内のステージング✓◐ IP許可リストを使えば可能
ノートパソコンを閉じてもクロール–✓
クロールの共有ファイルまたは同期リンク

一般的にどちらが優れているということはありません。多くのサイトを監査するコンサルタントはデスクトップアプリを好むことが多く、少数の大規模サイトを24時間監視するチームはクラウドを好むことが多いでしょう。両方を提供するツールもあります。

SEO Spiderを信頼する前に試すこと

機能の一覧よりも、実際のサイトでスパイダーがどう動くかが大切です。よく知っているサイトをクロールし、次の点を確認しましょう:

  • URLの数は妥当か?XMLサイトマップと比べます。はるかに多い場合はたいてい、パラメータ、フィルター、クロールトラップが原因で、ツールはそれがどれかを示してくれるべきです。
  • どれだけ礼儀正しいか?秒あたりのURL数で速度を設定でき、サーバーが429や503を返したら自動で速度を落とすかを確認します。
  • robots.txtをどう扱うか?デフォルトでは尊重し、ステージングなど自分が所有するサイトでは無視できるのが理想です。
  • リストをクロールできるか?サイト移行後にURLのセットを確認するリストモードは、大幅な時間の節約になります。
  • JavaScriptをレンダリングし、違いを示すか?元のHTMLとレンダリング後のHTMLを並べて見ることで、そのサイトにレンダリングが重要かどうかがわかります。
  • 停止して再開できるか?大きなクロールは中断されるものです。止まったところから続けられるほうが、最初からやり直すよりずっと良いでしょう。
  • 指摘事項をもとに行動できるか?フラグを1つ開き、なぜ重要で、どう直すかが書かれているかを確認します。

私たち自身のサイトでのURL数のテストです。Neovaは2026年10月17日にseoprocheck.comをクロールしました:

seoprocheck.com、フルクロール数値
取得したURL10,222
時間61分
200を返すHTMLページ4,561
XMLサイトマップにあるURL1,835
リンクで到達、サイトマップにはない2,727
サイトマップにあり、どのリンクからも到達しない1
完了率99.98%
ページ本文(生)1.66 GB
ディスク上の保存容量(圧縮後)340 MB

クロールでは、サイトマップに掲載されているよりはるかに多くのURLが見つかりました。差の大部分はクロールしても問題ないのにサイトマップにないページで、インデックス可能なURLがどのXMLサイトマップにもないが報告する内容です。掲載されているのにどのリンクからもたどれなかった1件のURLは、XMLサイトマップ内の孤立URLです。大規模なサイトでは、こうした差があるところでクロールバジェットが問題になり始めます。

知っておきたいSEO Spiderツール

どんな仕事にも良い選択肢があります。各社の公式ページ(2026年11月11日と21日に確認)をもとに、それぞれの特長を紹介します:

ツール対応環境試し方特長
Screaming Frog SEO Spider500 URLまで無料設定、抽出、コマンドライン
Sitebulb14日間の試用優先度付きの300以上のHints
Lumar見積もりの依頼大小のクロールを同時に
JetOctopus7日間の試用クロールとシート数が無制限
Semrush Site Auditスイートに含まれるSEOスイートの一部
Ahrefs Site Auditスイートに含まれるSEOスイートの一部
Neova1,000 URLまで無料694のチェック項目、すべてに出典

このカテゴリーの名前の由来はScreaming Frogのデスクトップクローラーで、無料版は登録不要です。比較ページでは、すべての評価に出典を付けて機能ごとに並べています。すでにScreaming Frogを使っていて、別のクローラーを併用するとどうなるかを知りたいならScreaming Frogの代替ツールのガイドを、無料プランの比較は無料SEOクローラーのガイドをご覧ください。

Neovaのスパイダークロール

Neovaは、Neova LLCが開発する、Mac(Appleシリコン)、Windows、Linux向けのデスクトップSEOクローラーで、ブラウザで使えるNeova Onlineもあります。リンクをたどるモードの名前は、そのものずばりスパイダーです(新しいクロール、クロールモード、スパイダー)。開始URLから内部リンクをたどり、次にXMLサイトマップをたどって、取得したものに694のチェック項目を実行します。どのチェック項目にも出典があります。

  • 開始URLのチェック:クロールの前に、200を返すホームページのバージョンを選び、ほかのバージョンがどうなっているかを示します。
  • デフォルトで礼儀正しく:毎秒3 URLで、サーバーが遅くなったり429や503を返したりすると速度を半分にし、Retry-Afterを尊重します。自分のサイトであることを確認したサイトでは毎秒50 URLまで上げられます。
  • すべてのURLを説明:URLの内訳で各URLを1つの区分(正常なページ、パラメータのバリエーション、不正な形式のURL、クロールトラップ、画像など)に振り分け、ディスカバリーがクロール中にトラップの除外を提案します。
  • リストモードも:リストクロールは、貼り付けたりアップロードしたりしたURLだけを取得します。
  • 大きなクロールはディスクに:クロールはメモリではなくディスクに保存され、再開すると設定を復元して停止したクロールを続けます。
  • 必要なときにレンダリング:ChromeでのJavaScriptレンダリングを、元のHTMLと比較します。
  • 過去のクロールも持ち込める:クロールを読み込むで、Screaming FrogのInternalのエクスポートやSitebulbのURLのエクスポートを開き、チェック項目を実行できます。
進行中のNeovaのクロール:612 URL中257件、毎秒2 URL。URLの内訳、ディスカバリー、開始URLからのクリック数で同心円状に広がるリアルタイムのクロールマップ
進行中のNeovaのクロール:612 URL中257件、毎秒2 URL。URLの内訳、ディスカバリー、開始URLからのクリック数で同心円状に広がるリアルタイムのクロールマップ

Freeプランでは1回のクロールで最大1,000 URLまで、すべてのチェック項目を使ってクロールでき、Desktopはカードなしで14日間無料で試せます。機能と料金をご覧ください。

最初のスパイダークロール

  1. お使いのパソコン用にNeovaをダウンロードして開きます。
  2. クロール、新しいクロールの順に選び、サイトのアドレスを入力してクロールを開始をクリックします。
  3. 最初の数分を見守ります。カレンダーやフィルターでURLが増え続けているとディスカバリーが示したら、それを除外してクロールを続けさせます。
  4. チェックが終わったら、概要から始め、次にすべてのフラグを要修正から確認します。最初によく見つかるのはtitleの重複と155文字を超えるmeta descriptionです。私たちのseoprocheck.comのクロールでは、それぞれ56件と582件でした。

各画面は最初のクロールのヘルプページで紹介しており、範囲と除外についてはサイトをクロールする方法のガイドで詳しく扱っています。

よくある質問

SEO Spiderとは何ですか?

検索エンジンと同じ方法でWebサイトをクロールするプログラムです。ページを取得し、そのリンクをたどり、すべてのURLが何を返すかを記録します。そのうえでSEO Spiderは、クロールやインデックスの妨げになる問題がないか、そのデータをチェックします。

無料のSEO Spiderはありますか?

はい。Screaming FrogのSEO Spiderには1回のクロールで500 URLまでの無料版があり、Neovaには1回のクロールで1,000 URLまで、694のチェック項目すべてを使えるFreeプランがあります。選択肢の比較は無料SEOクローラーのガイドをご覧ください。

オンラインで使えるSEO Spiderはありますか?

はい。LumarやJetOctopusなどのクラウドクローラー、Sitebulb Cloud、SemrushやAhrefsのサイト監査はブラウザで動きます。Neovaはパソコンでも、ブラウザのNeova Onlineでも、同じアカウントで動きます。

SEO Spiderでサイトが遅くなりませんか?

礼儀正しい速度なら遅くなりません。毎秒数URLはほとんどのサーバーにとって軽い負荷で、良いスパイダーはサーバーが429や503を返すと自動で速度を落とします。速くクロールするのは、自分が所有するサイトか、所有者の了承を得た場合だけにしましょう。

Mac用のSEO Spiderをダウンロードできますか?

はい。NeovaはAppleシリコンのMacでネイティブに動き、WindowsとLinuxでも動きます。Neovaをダウンロードして、Freeプランから始めましょう。

このページを活用する

アシスタントのリンクを開くと、このページについての質問が入力された状態で始まります。

NeovaでサイトをクロールFreeプランはMac、Windows、Linuxですべてのチェック項目を実行します。クレジットカードは不要です。

関連ガイド