クロールバジェットとは:確認方法と無駄をなくす方法
クロールバジェットとは、Googlebotがあなたのサイトで取得できる、かつ取得したいURLの量です。ほとんどのサイトは気にする必要がありません。大規模なサイトや更新の多いサイトは気にする必要があり、対策はたいてい同じです。重要でないURLにGooglebotが時間を使わないようにすることです。
クロールバジェットとは?
Googleはクロールバジェットを、Googlebotがサイト上でクロールできる、かつクロールしたいURLの集合と定義しています。クロールバジェットの管理に関するガイドでは、これを2つに分けています。
- クロール能力の上限。サーバーに過負荷をかけずにGooglebotが取得できる量です。サイトが速く応答すれば上限は上がります。遅くなったりサーバーエラーを返したりすると、Googlebotは控えめになります。
- クロールの必要性。Googleがどれだけクロールしたいかです。人気のあるURLや変更されるURLはよくクロールされます。古いURLや価値の低いURLはあまりクロールされません。
まとめると、SEOにおけるクロールバジェットは、サーバーが処理できる量と、Googleが取得する価値があると考える量が交わるところです。お金で増やすことはできません。できるのは、与えられた分をうまく使うことです。
クロールバジェットはあなたのサイトに関係あるか?
Googleによると、クロールバジェットが主に問題になるのは3種類のサイトです。クロールバジェットのガイドより:
| サイト | 固有のページ数 | コンテンツの更新 | 問題になる |
|---|---|---|---|
| 大規模 | 1,000,000+ | 毎週 | ✓ |
| 中規模以上 | 10,000+ | 毎日 | ✓ |
| 「検出 - インデックス未登録」のページが多い | 台数制限なし | 台数制限なし | ✓ |
| その他のほとんどのサイト | 数千 | 台数制限なし | – |
新しいページが1〜2日以内にクロールされるなら、クロールバジェットは問題ではありません。代わりにコンテンツの品質、内部リンク、インデックス可能性を見てください。SEO ProCheckの「検出 - インデックス未登録」のガイドで、このステータスと原因を解説しています。
きれいなURL、少ないリダイレクト、クロールトラップをなくすといった、クロールバジェットを節約する習慣は、どのサイトにも役立ちます。自分のクロールも速くなり、監査結果も読みやすくなります。
クロールバジェットの確認方法
クロールバジェットを示す単一の数値はありません。3つの場所から読み取ります。
1. Search Consoleのクロールの統計情報レポート
「設定」から「クロールの統計情報」を開きます。直近90日間の合計クロールリクエスト数、合計ダウンロードサイズ、平均応答時間が、レスポンスコード、ファイル形式、目的(検出または更新)、Googlebotの種類ごとに表示されます。ホストのステータスでは、robots.txtの取得、DNS、サーバー接続に問題があったかどうかがわかります。
見るべき点:3xxと4xxのレスポンスの割合が増えている、応答時間が伸びている、新しいページが待っているのにリクエストの大半が更新に向かっている。
2. サーバーログ
クロールの統計情報は要約です。ログにはすべてのリクエストが記録されるので、GooglebotがどのURLをどれくらいの頻度で取得し、どれにまったく触れていないかが正確にわかります。接続せずにインポートに、Neovaが読み込めるログ形式と、各ホスティングでの保存場所をまとめています。
3. 自分でクロールする
クローラーは、リンクとサイトマップが公開しているURLを示します。その数を、実際にインデックスさせたいページ数と比べてください。私たちも自分たちのサイトで試しました。
| seoprocheck.com、2026年10月17日 | URL |
|---|---|
| フルクロールで取得 | 10,222 |
| 200を返すHTMLページ | 4,561 |
| XMLサイトマップに記載 | 1,835 |
| リンクで到達、サイトマップには未記載 | 2,727 |
つまり、取得したURLのうち200を返すHTMLページは半分未満で、残りはファイル、リダイレクト、その他の応答でした。ボットはこれらにもリクエストを使います。そして2,727のリンクされたURLがどのサイトマップにも入っておらず、Googleのせいにする前に確認する価値があります。20,000商品のサイトが400,000のクロール可能なURLを生み出しているなら、それがクロールバジェットの無駄です。
クロールバジェットの無駄はどこから生まれるか
| 出典 | 見え方 | 一般的な対処 |
|---|---|---|
| ファセットナビゲーション | フィルターの組み合わせごとにURL | 価値の低い組み合わせをブロック |
| パラメータ | トラッキング、セッション、並べ替え | 内部リンクから取り除く |
| クロールトラップ | カレンダー、繰り返すフォルダ | 上限を設ける、ブロックする、リンクを直す |
| リダイレクトチェーン | 2ホップ以上 | 最終URLにリンクする |
| ソフト404 | 見つからないのに200を返す | 404または410を返す |
| 重複URL | 大文字小文字、スラッシュ、パラメータの順序 | 1つのバージョンにリダイレクト |
| 汚れたサイトマップ | リダイレクト、noindex、エラー | インデックス可能な200のURLのみ |
| 遅い応答 | 応答時間が伸びている | サーバーを高速化する |
ほとんどのネットショップでは、ファセットナビゲーションが最大の発生源です。SEO ProCheckのクロールバジェットの解説で、それぞれの発生源がどんなときに問題になるかを説明しています。
クロールバジェットの最適化:手順
- インデックスさせるべき数を数える。Googleに載せたいページ数を書き出します。それを超える分はすべて無駄の候補です。
- サイトをクロールしてURLを分類する。きれいなページURLを、パラメータ違い、不正な形式のURL、クロールトラップ、リソースと分けます。
- パターンを見つける。無駄がランダムなことはまれです。1つのフィルター、1つのカレンダー、1つの壊れた相対リンクが何千回も繰り返されています。
- クロールの必要がないものをブロックする。サイト内検索の結果や並べ替え順など、検索上の価値がないURLパターンにはrobots.txtを使います。公開前に、クロールしたURLに対してルールをテストしてください。
- 無駄を生んでいるリンクを直す。ブロックはURLを隠すだけです。リンクを直せば、そもそもURLが作られなくなります。
- XMLサイトマップを整理する。200を返すインデックス可能なURLだけを載せ、lastmodの日付はページが変わったときに更新します。
- 正しいステータスコードを返す。なくなったページには、「見つかりません」というメッセージ付きの200ではなく、404または410を返します。
- リダイレクトチェーンを短くし、内部リンクを最終URLに向けて更新します。
- 数週間ログとクロールの統計情報を見て、Googlebotが重要なページに移ったことを確認します。
やってはいけないこと
よく聞くクロールバジェットのコツの中には、期待どおりに機能しないものがあります。Googleのクロールバジェットのガイドとクロール頻度を下げるページより:
| コツ | バジェットの節約 | 理由 |
|---|---|---|
| noindexを追加する | – | ページは引き続き取得される |
| 一時的にページをブロックする | – | Googleは推奨していない |
| robots.txtのCrawl-delay | – | Googlebotは無視する |
| 503または429を返す | ◐ | 緊急時のみ、1〜2日 |
| サイトマップにURLを記載する | ◐ | 指示ではなくヒント |
| robots.txtで恒久的にブロックする | ✓ | URLは一切取得されない |
noindexはインデックスには効きますが、クロールには効きません。robots.txtでは、絶対にクロールさせたくないURLだけをブロックし、それを生むリンクを直してください。
Neovaがクロールバジェットに役立つ点
NeovaはGooglebotではなくクローラーなので、Google自身のバジェットは表示できません。表示するのは、サイトがGooglebotに余計な仕事をさせている箇所です。
- ディスカバリーはクロール中に動作します。1分ごとに新しいURLがどこから来ているかをパターン別に示し、カレンダー、繰り返すフォルダ、セッションID、多数のパラメータ、非常に深いURLといったクロールトラップの形にフラグを立て、その場で「クロールを続ける」「スキップ」「除外」を選べます。
- URLの内訳は、すべてのURLを1つの区分に振り分けます。きれいなページURL、パラメータ違い、不正な形式のURL、クロールトラップ、リソースです。件数の内訳は常に説明されます。
- robots.txtテスターはすべての行を説明し、下書きテストでは、変更によって新たにブロックまたは許可されるURLを公開前に一覧表示します。
- サーバーログ(デスクトップアプリ)は、ログの期間中にGooglebotが一度も訪れなかったHTMLページと、クロールが把握していないのにボットが要求しているURLを一覧表示します。
- チェック項目の例:検索やフィルターのパラメータを含むインデックス可能なURL、順序だけが違う同じパラメータ、ソフト404の文言、XMLサイトマップ内のリダイレクトするURL、Googlebotの再クロール間隔が50%以上伸びた。

Neovaも丁寧にクロールします。初期設定では1秒あたり3 URLで、サーバーが遅くなったり429や503を返したりすると速度を半分に落とします。機能を見るか、Neovaをダウンロードしてお試しください。
クロールバジェットのチェックリスト
| シグナル | 健全な状態 | 保存場所 |
|---|---|---|
| 応答時間 | 横ばいまたは低下 | クロールの統計情報 |
| 3xxと4xxの割合 | 増えていない | クロールの統計情報、ログ |
| クロール可能なURLと必要なページの比 | 1対1に近い | 自分のクロール |
| クロールトラップ | 0 | 自分のクロール |
| リダイレクトのホップ数 | 最大1 | 自分のクロール |
| 削除したページ | 404または410 | 自分のクロール |
| サイトマップの項目 | インデックス可能な200のみ | 自分のクロール |
| サイトマップファイルあたりのURL数 | 最大50,000 | 自分のクロール |
| 読み込んだログの日数 | 30日以上 | サーバーログ |
| 新しい重要ページ | Googlebotが訪問済み | サーバーログ |
よくある質問
SEOにおけるクロールバジェットとは?
一定の時間内に、検索エンジンがあなたのサイトでクロールできる、かつクロールしたいURLの数です。Googleはこれを、クロール能力とクロールの必要性の組み合わせと説明しています。
小規模なサイトでもクロールバジェットは重要ですか?
通常は重要ではありません。Googleによると、主に問題になるのは非常に大規模なサイト、毎日更新されるサイト、検出されたもののインデックスされていないページが多いサイトです。小規模なサイトは、コンテンツと内部リンクを改善するほうが効果があります。
クロールバジェットを増やすには?
サーバーを速く安定させ、Googleにクロールする理由を与えます。人がリンクし訪れるページや、更新されるコンテンツです。そのうえで、パラメータ、リダイレクト、重複に今あるバジェットを無駄遣いしないようにします。
noindexでクロールバジェットは節約できますか?
いいえ。Googleはnoindexを読むためにページをクロールする必要があります。URLパターンからGooglebotを恒久的に遠ざけたい場合は、robots.txtでブロックし、それを生むリンクを直してください。
Googlebotはcrawl-delayに従いますか?
いいえ。Googleはrobots.txtのcrawl-delayをサポートしていません。Bingはサポートを明記しています。Neovaはすべてのユーザーエージェントに設定されたcrawl-delayにフラグを立てるので、まだ必要かどうかを判断できます。