SEOのためにWebサイトをクロールする方法:手順
Webサイトをクロールするとは、検索エンジンと同じようにページからページへリンクをたどり、ページを取得することです。丁寧に、漏れなく、ブロックされずにWebサイトをきちんとクロールする方法を紹介します。
Webサイトをクロールするとは
SEO向けのWebサイトクローラーは、1つのURLから始めてダウンロードし、HTML内のリンクを読んでキューに追加します。次にキューから次のURLを取り出して同じことを行い、新しいものが出てこなくなるか上限に達するまで続けます。検索エンジンはこれをWeb全体の規模で行います。SEOクローラーはそれを1つのサイトについて行い、各URLの応答を記録して監査できるようにします。
クロールでは通常、URLごとにステータスコード、レスポンスヘッダー、タイトルとメタディスクリプション、canonical、robotsディレクティブ、内部と外部へのリンク、開始ページからのクリック数を記録します。Googleは自社のクローラーとフェッチャーの仕組みをGoogleのクローラーの概要で説明しています。
クロールの前に:許可、robots.txt、範囲
開始ボタンを押す前に答えておくべき3つの質問:
- 自分のサイトか、許可を得ているか?自分のサイトやクライアントのサイトのクロールはごく普通のことです。それ以外のサイトでは、robots.txtを守り、速度を低く保って丁寧にクロールしてください。
- robots.txtには何と書かれているか?/robots.txtを開いて読んでください。クローラーが取得してはいけないものが書かれており、たいていXMLサイトマップも記載されています。ルールはRFC 9309に従い、Googleはrobots.txtの概要でその読み方を説明しています。SEO ProCheckのrobots.txt完全リファレンスでは1行ずつ解説しています。
- どこまで必要か?サイト全体、1つのセクション、またはテンプレートごとのサンプル。テンプレートに関する疑問のほとんどはサンプルで数分で答えが出ます。リンク切れや孤立ページを調べるにはフルクロールが必要です。
Webサイトをクロールする手順
- 正しい開始URLを見つける。httpとhttps、wwwありとなしでリクエストします。1つが200を返し、ほかはそこへリダイレクトするはずです。そこから始めます。
- モードを選ぶ。スパイダーモードは開始URLからリンクをたどります。リストモードは指定したURLだけをクロールするので、移行後に古いURLの一覧を確認するのに便利です。
- XMLサイトマップを追加する。リンクされたページの後にサイトマップのURLをクロールすると、サイトが記載しているのにどこからもリンクしていないページがわかります。
- 上限を設定する。URL数の上限、深さの上限、クエリパラメータのルールで、フィルターがクロールを暴走させないようにします。SEO ProCheckのファセットナビゲーションのSEOガイドで、どのフィルターのURLをクロールすべきかを紹介しています。
- 不要なものを除外する。管理画面、カートや購入手続きのURL、サイト内検索の結果。含める・除外するパターンを使い、開始前にURLをパターンに当ててテストしてください。
- ユーザーエージェントを選ぶ。クローラー自身の名前が誠実な初期設定です。GooglebotとしてクロールするとGoogleに返される内容がわかりますが、偽のGooglebotを攻撃とみなすサーバーもあります。
- 開始したら、最初の数分を見守る。新しいURLの数がサイトの規模よりずっと速く増えるなら、どこから来ているかを見てください。よくある原因はカレンダーと際限のないフィルターです。
- チェック項目を実行させる。クロールが終わったら、インデックス可能なページに最も多く関わる問題から始めます。

WebサイトのすべてのURLをクロールする方法
リンクをたどって見つかるのは、リンクが届くページだけです。WebサイトのすべてのURLをクロールするには、複数の情報源を組み合わせます。
| 出典 | リンクされたページ | リンクされていないページ | 入手元 |
|---|---|---|---|
| リンクのクロール | ✓ | – | 開始URL |
| XMLサイトマップ | ◐ | ✓ | robots.txtまたは/sitemap.xml |
| シードURL | ◐ | ✓ | 自分で用意したリスト |
| サーバーログ | ◐ | ✓ | サーバーまたはCDN |
| Search Console | ◐ | ✓ | 自分のGoogleのプロパティ |
これがどれほど重要か、私たち自身のサイトでわかりました。2026年10月17日のNeovaによるseoprocheck.comのフルクロールでは:
| 指標 | seoprocheck.com |
|---|---|
| 取得したURL | 10,222 |
| 時間 | 61分 |
| 200を返すHTMLページ | 4,561 |
| XMLサイトマップ内のURL | 1,835 |
| リンクで到達、サイトマップには未記載 | 2,727 |
| サイトマップにあり、どのリンクからも到達しない | 1 |
| 完了率 | 99.98% |
| ページ本文 | 生データ1.66 GB、保存時340 MB |
サイトマップだけの監査なら2,727 URLを見落とし、リンクだけのクロールなら1つの孤立ページを見落としていたことになります。サイトマップ、ログ、Search Consoleからしか出てこないページは孤立ページです。検索トラフィックのあるインデックス可能な孤立ページには、たいてい内部リンクが必要です。ここで知っておきたいチェック項目:孤立URLが200を返し、インデックス可能、インデックス可能なURLがどのXMLサイトマップにもない、XMLサイトマップを取得または解析できない。
ブロックされずにWebサイトをクロールする方法
ブロックのほとんどは、速すぎるクロールか、サーバーが信頼しないボットに見えることが原因です。サイトの所有者が望むようにクロールしてください。
- 速度を低く保つ。ほとんどの監査では1秒あたり2〜3 URLで十分です。速くするのは自分のサイトだけにします。
- 名乗る。クローラーについてのページへのリンクを含む明確なユーザーエージェントのほうが、偽のブラウザの文字列より許可されやすくなります。
- robots.txtを守る。それはサイトが表明した意思であり、他人のサイトでそれを無視するのは、最も早くブロックされる方法です。
- 許可を求める。ファイアウォールやボット対策の内側にあるクライアントのサイトでは、ITチームにクローラーを許可してもらいます。たとえば、自分のクローラーだけが送る秘密のヘッダーで許可する方法です。
そのうえで応答を読みます。ステータスコードごとに意味が違います。
| Answer | 意味 | やること |
|---|---|---|
| 429 | リクエストが多すぎる | 速度を半分にし、Retry-Afterに従う |
| 503 | サーバーが混雑しているか停止している | 速度を落とし、後で再試行 |
| 403 | 拒否された | 止めて問い合わせる |
| 401 | ログインが必要 | アクセス権を求める |
| 5xxが続く | サーバーが苦しんでいる | クロールを一時停止 |
Googlebot自身が429や5xxの応答をどう扱うかは、GoogleのHTTPステータスコードとネットワークエラーのページで説明されています。
JavaScriptのWebサイトをクロールする
サイトがReact、Vue、Angularなどのフレームワークで作られている場合、サーバーが送るHTMLはほとんど空で、コンテンツはスクリプトで追加されることがあります。普通のクロールでは、リンクもテキストもあまり見つかりません。各ページをヘッドレスブラウザで読み込むJavaScriptレンダリングをオンにし、レンダリング後のページを生のHTMLと比べてください。重要なのは、レンダリング前に何が欠けているかです。スクリプトの実行後にしか現れない本文、リンク、タイトル、canonicalです。レンダリングは遅いので、まずテンプレートごとのサンプルをレンダリングしてください。
Neovaで自分のWebサイトをクロールする
Neovaで自分のWebサイトをクロールするには、アプリをダウンロードし、「クロール」から「新規クロール」を選び、アドレスを入力して「クロールを開始」をクリックします。はじめてのクロールのページで各画面を紹介しています。
| 設定 | 初期設定 |
|---|---|
| 対応環境 | |
| ユーザーエージェント | NeovaBot |
| 速度 | 1秒あたり3 URL |
| 429や503のとき | 速度を半分にし、Retry-Afterに従う |
| robots.txt | 守る |
| CAPTCHA | 解かない |
| 無料プラン | 1回のクロールで1,000 URL |
- 開始URLのチェックは、200を返すサイトのバージョン(httpかhttpsか、wwwありかなしか)を選び、ほかのバージョンが何をしているかを示します。
- モードと範囲:スパイダーかリスト、サイト全体、特定のフォルダ、ページグループごとのサンプル。加えてXMLサイトマップ、シードURL、含める・除外するルール。
- 自分のサイト:自分のサイトだと確認すれば、Neovaはより速くクロールし、robots.txtを無視できます。「許可リスト用ヘッダー」は、そのサイトにだけ送る秘密のヘッダーを作り、ITチームに渡すルールも用意します。
- ブロックされたクロールの説明:サイトがクロールを拒否すると、Neovaはその理由(レート制限、ファイアウォールによるブロック、アクセス禁止)と次にすべきことを示します。
- ディスカバリーとURLの内訳:実行中、見つかったすべてのURLが1つの区分に振り分けられ、クロールトラップの形にはフラグが立ち、その場でスキップや除外を選べます。
- 一時停止、停止、再開:好きなときに止めて、クロール済みの分でチェック項目を実行するか、後で止まったところから再開できます。
サイトの所有者は、クローラーがどう名乗るか、どうブロックするかをNeovaBotのページで確認できます。
クロール結果をどう使うか
クロールはスナップショットです。価値は何を直すかにあります。検出結果をインデックス可能なページにどれだけ関わるかで並べ替え、テンプレートの問題はページごとではなく一度で直し、再クロールして確認します。たいてい効果がある、最初の短い確認:
- 4xxや5xxのURLへの内部リンク。内部URLが4xx、5xxを返すか応答しないをご覧ください。
- 内部URL間のリダイレクトチェーン。内部URLがリダイレクトチェーンの中にあるをご覧ください。
- robots.txtでブロックされたインデックス可能なページ。内部URLがrobots.txtでDisallowされているをご覧ください。
- 取得できないrobots.txt。robots.txtにアクセスできないか大きすぎるをご覧ください。
- XMLサイトマップに載っていないページと、リダイレクトするページやnoindexのページを載せているサイトマップ。
- ホームページから3クリックより深い重要なページ。
テクニカルSEO監査チェックリストで、確認全体を順序立てて整理しています。
よくある質問
WebサイトのすべてのURLをクロールするには?
リンクのクロールとXMLサイトマップを組み合わせ、Google Search ConsoleとサーバーログからもURLを加えます。それらの情報源でしか見つからず、どの内部リンクも届かないページは、確認する価値のある孤立ページです。
ブロックされずにWebサイトをクロールするには?
ゆっくりクロールし、誠実なユーザーエージェントを使い、robots.txtを守り、サーバーが429や503を返したら速度を落とします。ファイアウォールの内側にあるクライアントのサイトでは、ブロックを回避しようとせず、ITチームにクローラーを許可してもらいます。
Webサイトのクロールは合法ですか?
公開ページのクロールは一般的に行われていますが、ルールは国やサイトの利用規約によって異なります。自分やクライアントのサイトは自由にクロールし、どこでもrobots.txtを守り、迷ったらサイトの利用規約を読んでください。これは法的な助言ではありません。
Webサイトのクロールにはどのくらい時間がかかりますか?
おおよそ、URL数を速度で割った時間です。2026年10月17日のseoprocheck.comのフルクロールでは、10,222 URLを61分で取得しました。1秒あたり約2.8 URLです。1秒あたり3 URLなら、レンダリングなしで1,000 URLは約6分、100,000 URLは約9時間です。テンプレートごとのサンプリングならずっと速く済みます。
自分のWebサイトを無料でクロールできますか?
はい。NeovaのFreeプランは、Mac、Windows、Linuxで、すべてのチェック項目で1回のクロールにつき最大1,000 URLまでクロールします。より大きなプランは料金をご覧ください。