Neova高機能SEOプラットフォーム

クロールバジェットとは:確認方法と無駄をなくす方法

クロールバジェットとは、Googlebotがあなたのサイトで取得できる、かつ取得したいURLの量です。ほとんどのサイトは気にする必要がありません。大規模なサイトや更新の多いサイトは気にする必要があり、対策はたいてい同じです。重要でないURLにGooglebotが時間を使わないようにすることです。

クロールとインデックスクロールバジェット2026年11月21日更新Neovaチーム

クロールバジェットとは?

Googleはクロールバジェットを、Googlebotがサイト上でクロールできる、かつクロールしたいURLの集合と定義しています。クロールバジェットの管理に関するガイドでは、これを2つに分けています。

  • クロール能力の上限。サーバーに過負荷をかけずにGooglebotが取得できる量です。サイトが速く応答すれば上限は上がります。遅くなったりサーバーエラーを返したりすると、Googlebotは控えめになります。
  • クロールの必要性。Googleがどれだけクロールしたいかです。人気のあるURLや変更されるURLはよくクロールされます。古いURLや価値の低いURLはあまりクロールされません。

まとめると、SEOにおけるクロールバジェットは、サーバーが処理できる量と、Googleが取得する価値があると考える量が交わるところです。お金で増やすことはできません。できるのは、与えられた分をうまく使うことです。

クロールバジェットはあなたのサイトに関係あるか?

Googleによると、クロールバジェットが主に問題になるのは3種類のサイトです。クロールバジェットのガイドより:

サイト固有のページ数コンテンツの更新問題になる
大規模1,000,000+毎週✓
中規模以上10,000+毎日✓
「検出 - インデックス未登録」のページが多い台数制限なし台数制限なし✓
その他のほとんどのサイト数千台数制限なし–

新しいページが1〜2日以内にクロールされるなら、クロールバジェットは問題ではありません。代わりにコンテンツの品質、内部リンク、インデックス可能性を見てください。SEO ProCheckの「検出 - インデックス未登録」のガイドで、このステータスと原因を解説しています。

きれいなURL、少ないリダイレクト、クロールトラップをなくすといった、クロールバジェットを節約する習慣は、どのサイトにも役立ちます。自分のクロールも速くなり、監査結果も読みやすくなります。

クロールバジェットの確認方法

クロールバジェットを示す単一の数値はありません。3つの場所から読み取ります。

1. Search Consoleのクロールの統計情報レポート

「設定」から「クロールの統計情報」を開きます。直近90日間の合計クロールリクエスト数、合計ダウンロードサイズ、平均応答時間が、レスポンスコード、ファイル形式、目的(検出または更新)、Googlebotの種類ごとに表示されます。ホストのステータスでは、robots.txtの取得、DNS、サーバー接続に問題があったかどうかがわかります。

見るべき点:3xxと4xxのレスポンスの割合が増えている、応答時間が伸びている、新しいページが待っているのにリクエストの大半が更新に向かっている。

2. サーバーログ

クロールの統計情報は要約です。ログにはすべてのリクエストが記録されるので、GooglebotがどのURLをどれくらいの頻度で取得し、どれにまったく触れていないかが正確にわかります。接続せずにインポートに、Neovaが読み込めるログ形式と、各ホスティングでの保存場所をまとめています。

3. 自分でクロールする

クローラーは、リンクとサイトマップが公開しているURLを示します。その数を、実際にインデックスさせたいページ数と比べてください。私たちも自分たちのサイトで試しました。

seoprocheck.com、2026年10月17日URL
フルクロールで取得10,222
200を返すHTMLページ4,561
XMLサイトマップに記載1,835
リンクで到達、サイトマップには未記載2,727

つまり、取得したURLのうち200を返すHTMLページは半分未満で、残りはファイル、リダイレクト、その他の応答でした。ボットはこれらにもリクエストを使います。そして2,727のリンクされたURLがどのサイトマップにも入っておらず、Googleのせいにする前に確認する価値があります。20,000商品のサイトが400,000のクロール可能なURLを生み出しているなら、それがクロールバジェットの無駄です。

クロールバジェットの無駄はどこから生まれるか

出典見え方一般的な対処
ファセットナビゲーションフィルターの組み合わせごとにURL価値の低い組み合わせをブロック
パラメータトラッキング、セッション、並べ替え内部リンクから取り除く
クロールトラップカレンダー、繰り返すフォルダ上限を設ける、ブロックする、リンクを直す
リダイレクトチェーン2ホップ以上最終URLにリンクする
ソフト404見つからないのに200を返す404または410を返す
重複URL大文字小文字、スラッシュ、パラメータの順序1つのバージョンにリダイレクト
汚れたサイトマップリダイレクト、noindex、エラーインデックス可能な200のURLのみ
遅い応答応答時間が伸びているサーバーを高速化する

ほとんどのネットショップでは、ファセットナビゲーションが最大の発生源です。SEO ProCheckのクロールバジェットの解説で、それぞれの発生源がどんなときに問題になるかを説明しています。

クロールバジェットの最適化:手順

  1. インデックスさせるべき数を数える。Googleに載せたいページ数を書き出します。それを超える分はすべて無駄の候補です。
  2. サイトをクロールしてURLを分類する。きれいなページURLを、パラメータ違い、不正な形式のURL、クロールトラップ、リソースと分けます。
  3. パターンを見つける。無駄がランダムなことはまれです。1つのフィルター、1つのカレンダー、1つの壊れた相対リンクが何千回も繰り返されています。
  4. クロールの必要がないものをブロックする。サイト内検索の結果や並べ替え順など、検索上の価値がないURLパターンにはrobots.txtを使います。公開前に、クロールしたURLに対してルールをテストしてください。
  5. 無駄を生んでいるリンクを直す。ブロックはURLを隠すだけです。リンクを直せば、そもそもURLが作られなくなります。
  6. XMLサイトマップを整理する。200を返すインデックス可能なURLだけを載せ、lastmodの日付はページが変わったときに更新します。
  7. 正しいステータスコードを返す。なくなったページには、「見つかりません」というメッセージ付きの200ではなく、404または410を返します。
  8. リダイレクトチェーンを短くし、内部リンクを最終URLに向けて更新します。
  9. 数週間ログとクロールの統計情報を見て、Googlebotが重要なページに移ったことを確認します。

やってはいけないこと

よく聞くクロールバジェットのコツの中には、期待どおりに機能しないものがあります。Googleのクロールバジェットのガイドとクロール頻度を下げるページより:

コツバジェットの節約理由
noindexを追加する–ページは引き続き取得される
一時的にページをブロックする–Googleは推奨していない
robots.txtのCrawl-delay–Googlebotは無視する
503または429を返す◐緊急時のみ、1〜2日
サイトマップにURLを記載する◐指示ではなくヒント
robots.txtで恒久的にブロックする✓URLは一切取得されない

noindexはインデックスには効きますが、クロールには効きません。robots.txtでは、絶対にクロールさせたくないURLだけをブロックし、それを生むリンクを直してください。

Neovaがクロールバジェットに役立つ点

NeovaはGooglebotではなくクローラーなので、Google自身のバジェットは表示できません。表示するのは、サイトがGooglebotに余計な仕事をさせている箇所です。

  • ディスカバリーはクロール中に動作します。1分ごとに新しいURLがどこから来ているかをパターン別に示し、カレンダー、繰り返すフォルダ、セッションID、多数のパラメータ、非常に深いURLといったクロールトラップの形にフラグを立て、その場で「クロールを続ける」「スキップ」「除外」を選べます。
  • URLの内訳は、すべてのURLを1つの区分に振り分けます。きれいなページURL、パラメータ違い、不正な形式のURL、クロールトラップ、リソースです。件数の内訳は常に説明されます。
  • robots.txtテスターはすべての行を説明し、下書きテストでは、変更によって新たにブロックまたは許可されるURLを公開前に一覧表示します。
  • サーバーログ(デスクトップアプリ)は、ログの期間中にGooglebotが一度も訪れなかったHTMLページと、クロールが把握していないのにボットが要求しているURLを一覧表示します。
  • チェック項目の例:検索やフィルターのパラメータを含むインデックス可能なURL、順序だけが違う同じパラメータ、ソフト404の文言、XMLサイトマップ内のリダイレクトするURL、Googlebotの再クロール間隔が50%以上伸びた。
実行中のクロール:見つかったURLのうち取得済みの数、速度の上限、URLの内訳、ディスカバリー、開始URLからのクリック数で表したライブクロールマップ
実行中のクロール:見つかったURLのうち取得済みの数、速度の上限、URLの内訳、ディスカバリー、開始URLからのクリック数で表したライブクロールマップ

Neovaも丁寧にクロールします。初期設定では1秒あたり3 URLで、サーバーが遅くなったり429や503を返したりすると速度を半分に落とします。機能を見るか、Neovaをダウンロードしてお試しください。

クロールバジェットのチェックリスト

シグナル健全な状態保存場所
応答時間横ばいまたは低下クロールの統計情報
3xxと4xxの割合増えていないクロールの統計情報、ログ
クロール可能なURLと必要なページの比1対1に近い自分のクロール
クロールトラップ0自分のクロール
リダイレクトのホップ数最大1自分のクロール
削除したページ404または410自分のクロール
サイトマップの項目インデックス可能な200のみ自分のクロール
サイトマップファイルあたりのURL数最大50,000自分のクロール
読み込んだログの日数30日以上サーバーログ
新しい重要ページGooglebotが訪問済みサーバーログ

よくある質問

SEOにおけるクロールバジェットとは?

一定の時間内に、検索エンジンがあなたのサイトでクロールできる、かつクロールしたいURLの数です。Googleはこれを、クロール能力とクロールの必要性の組み合わせと説明しています。

小規模なサイトでもクロールバジェットは重要ですか?

通常は重要ではありません。Googleによると、主に問題になるのは非常に大規模なサイト、毎日更新されるサイト、検出されたもののインデックスされていないページが多いサイトです。小規模なサイトは、コンテンツと内部リンクを改善するほうが効果があります。

クロールバジェットを増やすには?

サーバーを速く安定させ、Googleにクロールする理由を与えます。人がリンクし訪れるページや、更新されるコンテンツです。そのうえで、パラメータ、リダイレクト、重複に今あるバジェットを無駄遣いしないようにします。

noindexでクロールバジェットは節約できますか?

いいえ。Googleはnoindexを読むためにページをクロールする必要があります。URLパターンからGooglebotを恒久的に遠ざけたい場合は、robots.txtでブロックし、それを生むリンクを直してください。

Googlebotはcrawl-delayに従いますか?

いいえ。Googleはrobots.txtのcrawl-delayをサポートしていません。Bingはサポートを明記しています。Neovaはすべてのユーザーエージェントに設定されたcrawl-delayにフラグを立てるので、まだ必要かどうかを判断できます。

このページを活用する

アシスタントのリンクを開くと、このページについての質問が入力された状態で始まります。

NeovaでサイトをクロールFreeプランはMac、Windows、Linuxですべてのチェック項目を実行します。クレジットカードは不要です。

関連ガイド