Neova高機能SEOプラットフォーム

SEOのためにWebサイトをクロールする方法:手順

Webサイトをクロールするとは、検索エンジンと同じようにページからページへリンクをたどり、ページを取得することです。丁寧に、漏れなく、ブロックされずにWebサイトをきちんとクロールする方法を紹介します。

クロールとインデックスWebサイト クロール 方法2026年11月21日更新Neovaチーム

Webサイトをクロールするとは

SEO向けのWebサイトクローラーは、1つのURLから始めてダウンロードし、HTML内のリンクを読んでキューに追加します。次にキューから次のURLを取り出して同じことを行い、新しいものが出てこなくなるか上限に達するまで続けます。検索エンジンはこれをWeb全体の規模で行います。SEOクローラーはそれを1つのサイトについて行い、各URLの応答を記録して監査できるようにします。

クロールでは通常、URLごとにステータスコード、レスポンスヘッダー、タイトルとメタディスクリプション、canonical、robotsディレクティブ、内部と外部へのリンク、開始ページからのクリック数を記録します。Googleは自社のクローラーとフェッチャーの仕組みをGoogleのクローラーの概要で説明しています。

クロールの前に:許可、robots.txt、範囲

開始ボタンを押す前に答えておくべき3つの質問:

  • 自分のサイトか、許可を得ているか?自分のサイトやクライアントのサイトのクロールはごく普通のことです。それ以外のサイトでは、robots.txtを守り、速度を低く保って丁寧にクロールしてください。
  • robots.txtには何と書かれているか?/robots.txtを開いて読んでください。クローラーが取得してはいけないものが書かれており、たいていXMLサイトマップも記載されています。ルールはRFC 9309に従い、Googleはrobots.txtの概要でその読み方を説明しています。SEO ProCheckのrobots.txt完全リファレンスでは1行ずつ解説しています。
  • どこまで必要か?サイト全体、1つのセクション、またはテンプレートごとのサンプル。テンプレートに関する疑問のほとんどはサンプルで数分で答えが出ます。リンク切れや孤立ページを調べるにはフルクロールが必要です。

Webサイトをクロールする手順

  1. 正しい開始URLを見つける。httpとhttps、wwwありとなしでリクエストします。1つが200を返し、ほかはそこへリダイレクトするはずです。そこから始めます。
  2. モードを選ぶ。スパイダーモードは開始URLからリンクをたどります。リストモードは指定したURLだけをクロールするので、移行後に古いURLの一覧を確認するのに便利です。
  3. XMLサイトマップを追加する。リンクされたページの後にサイトマップのURLをクロールすると、サイトが記載しているのにどこからもリンクしていないページがわかります。
  4. 上限を設定する。URL数の上限、深さの上限、クエリパラメータのルールで、フィルターがクロールを暴走させないようにします。SEO ProCheckのファセットナビゲーションのSEOガイドで、どのフィルターのURLをクロールすべきかを紹介しています。
  5. 不要なものを除外する。管理画面、カートや購入手続きのURL、サイト内検索の結果。含める・除外するパターンを使い、開始前にURLをパターンに当ててテストしてください。
  6. ユーザーエージェントを選ぶ。クローラー自身の名前が誠実な初期設定です。GooglebotとしてクロールするとGoogleに返される内容がわかりますが、偽のGooglebotを攻撃とみなすサーバーもあります。
  7. 開始したら、最初の数分を見守る。新しいURLの数がサイトの規模よりずっと速く増えるなら、どこから来ているかを見てください。よくある原因はカレンダーと際限のないフィルターです。
  8. チェック項目を実行させる。クロールが終わったら、インデックス可能なページに最も多く関わる問題から始めます。
新規クロールの「速度とレンダリング」:1秒あたりのURL数で表す速度(サーバーが遅くなると下がる)、すべてのリクエストで送るユーザーエージェント、JavaScriptレンダリング
新規クロールの「速度とレンダリング」:1秒あたりのURL数で表す速度(サーバーが遅くなると下がる)、すべてのリクエストで送るユーザーエージェント、JavaScriptレンダリング

WebサイトのすべてのURLをクロールする方法

リンクをたどって見つかるのは、リンクが届くページだけです。WebサイトのすべてのURLをクロールするには、複数の情報源を組み合わせます。

出典リンクされたページリンクされていないページ入手元
リンクのクロール✓–開始URL
XMLサイトマップ◐✓robots.txtまたは/sitemap.xml
シードURL◐✓自分で用意したリスト
サーバーログ◐✓サーバーまたはCDN
Search Console◐✓自分のGoogleのプロパティ

これがどれほど重要か、私たち自身のサイトでわかりました。2026年10月17日のNeovaによるseoprocheck.comのフルクロールでは:

指標seoprocheck.com
取得したURL10,222
時間61分
200を返すHTMLページ4,561
XMLサイトマップ内のURL1,835
リンクで到達、サイトマップには未記載2,727
サイトマップにあり、どのリンクからも到達しない1
完了率99.98%
ページ本文生データ1.66 GB、保存時340 MB

サイトマップだけの監査なら2,727 URLを見落とし、リンクだけのクロールなら1つの孤立ページを見落としていたことになります。サイトマップ、ログ、Search Consoleからしか出てこないページは孤立ページです。検索トラフィックのあるインデックス可能な孤立ページには、たいてい内部リンクが必要です。ここで知っておきたいチェック項目:孤立URLが200を返し、インデックス可能、インデックス可能なURLがどのXMLサイトマップにもない、XMLサイトマップを取得または解析できない。

ブロックされずにWebサイトをクロールする方法

ブロックのほとんどは、速すぎるクロールか、サーバーが信頼しないボットに見えることが原因です。サイトの所有者が望むようにクロールしてください。

  • 速度を低く保つ。ほとんどの監査では1秒あたり2〜3 URLで十分です。速くするのは自分のサイトだけにします。
  • 名乗る。クローラーについてのページへのリンクを含む明確なユーザーエージェントのほうが、偽のブラウザの文字列より許可されやすくなります。
  • robots.txtを守る。それはサイトが表明した意思であり、他人のサイトでそれを無視するのは、最も早くブロックされる方法です。
  • 許可を求める。ファイアウォールやボット対策の内側にあるクライアントのサイトでは、ITチームにクローラーを許可してもらいます。たとえば、自分のクローラーだけが送る秘密のヘッダーで許可する方法です。

そのうえで応答を読みます。ステータスコードごとに意味が違います。

Answer意味やること
429リクエストが多すぎる速度を半分にし、Retry-Afterに従う
503サーバーが混雑しているか停止している速度を落とし、後で再試行
403拒否された止めて問い合わせる
401ログインが必要アクセス権を求める
5xxが続くサーバーが苦しんでいるクロールを一時停止

Googlebot自身が429や5xxの応答をどう扱うかは、GoogleのHTTPステータスコードとネットワークエラーのページで説明されています。

JavaScriptのWebサイトをクロールする

サイトがReact、Vue、Angularなどのフレームワークで作られている場合、サーバーが送るHTMLはほとんど空で、コンテンツはスクリプトで追加されることがあります。普通のクロールでは、リンクもテキストもあまり見つかりません。各ページをヘッドレスブラウザで読み込むJavaScriptレンダリングをオンにし、レンダリング後のページを生のHTMLと比べてください。重要なのは、レンダリング前に何が欠けているかです。スクリプトの実行後にしか現れない本文、リンク、タイトル、canonicalです。レンダリングは遅いので、まずテンプレートごとのサンプルをレンダリングしてください。

Neovaで自分のWebサイトをクロールする

Neovaで自分のWebサイトをクロールするには、アプリをダウンロードし、「クロール」から「新規クロール」を選び、アドレスを入力して「クロールを開始」をクリックします。はじめてのクロールのページで各画面を紹介しています。

設定初期設定
対応環境
ユーザーエージェントNeovaBot
速度1秒あたり3 URL
429や503のとき速度を半分にし、Retry-Afterに従う
robots.txt守る
CAPTCHA解かない
無料プラン1回のクロールで1,000 URL
  • 開始URLのチェックは、200を返すサイトのバージョン(httpかhttpsか、wwwありかなしか)を選び、ほかのバージョンが何をしているかを示します。
  • モードと範囲:スパイダーかリスト、サイト全体、特定のフォルダ、ページグループごとのサンプル。加えてXMLサイトマップ、シードURL、含める・除外するルール。
  • 自分のサイト:自分のサイトだと確認すれば、Neovaはより速くクロールし、robots.txtを無視できます。「許可リスト用ヘッダー」は、そのサイトにだけ送る秘密のヘッダーを作り、ITチームに渡すルールも用意します。
  • ブロックされたクロールの説明:サイトがクロールを拒否すると、Neovaはその理由(レート制限、ファイアウォールによるブロック、アクセス禁止)と次にすべきことを示します。
  • ディスカバリーとURLの内訳:実行中、見つかったすべてのURLが1つの区分に振り分けられ、クロールトラップの形にはフラグが立ち、その場でスキップや除外を選べます。
  • 一時停止、停止、再開:好きなときに止めて、クロール済みの分でチェック項目を実行するか、後で止まったところから再開できます。

サイトの所有者は、クローラーがどう名乗るか、どうブロックするかをNeovaBotのページで確認できます。

クロール結果をどう使うか

クロールはスナップショットです。価値は何を直すかにあります。検出結果をインデックス可能なページにどれだけ関わるかで並べ替え、テンプレートの問題はページごとではなく一度で直し、再クロールして確認します。たいてい効果がある、最初の短い確認:

テクニカルSEO監査チェックリストで、確認全体を順序立てて整理しています。

よくある質問

WebサイトのすべてのURLをクロールするには?

リンクのクロールとXMLサイトマップを組み合わせ、Google Search ConsoleとサーバーログからもURLを加えます。それらの情報源でしか見つからず、どの内部リンクも届かないページは、確認する価値のある孤立ページです。

ブロックされずにWebサイトをクロールするには?

ゆっくりクロールし、誠実なユーザーエージェントを使い、robots.txtを守り、サーバーが429や503を返したら速度を落とします。ファイアウォールの内側にあるクライアントのサイトでは、ブロックを回避しようとせず、ITチームにクローラーを許可してもらいます。

Webサイトのクロールは合法ですか?

公開ページのクロールは一般的に行われていますが、ルールは国やサイトの利用規約によって異なります。自分やクライアントのサイトは自由にクロールし、どこでもrobots.txtを守り、迷ったらサイトの利用規約を読んでください。これは法的な助言ではありません。

Webサイトのクロールにはどのくらい時間がかかりますか?

おおよそ、URL数を速度で割った時間です。2026年10月17日のseoprocheck.comのフルクロールでは、10,222 URLを61分で取得しました。1秒あたり約2.8 URLです。1秒あたり3 URLなら、レンダリングなしで1,000 URLは約6分、100,000 URLは約9時間です。テンプレートごとのサンプリングならずっと速く済みます。

自分のWebサイトを無料でクロールできますか?

はい。NeovaのFreeプランは、Mac、Windows、Linuxで、すべてのチェック項目で1回のクロールにつき最大1,000 URLまでクロールします。より大きなプランは料金をご覧ください。

このページを活用する

アシスタントのリンクを開くと、このページについての質問が入力された状態で始まります。

NeovaでサイトをクロールFreeプランはMac、Windows、Linuxですべてのチェック項目を実行します。クレジットカードは不要です。

関連ガイド