SEOのためのログファイル分析:Googlebotの実際の動きを読み解く
クローラーでわかるのは、検索エンジンが取得できたものです。サーバーログでわかるのは、実際に取得したものです。SEOのためのログファイル分析とは、そのログを読み、Googlebot、Bingbot、AIクローラーがどこに時間を使い、どこに一度も行かないかを確かめる習慣です。
ログファイル分析とは?
Webサーバーは、応答したリクエストごとに1行を書き込みます。誰が、どのURLを、いつ求め、サーバーが何を返したか。その行がアクセスログに入ります。ログファイル分析とは、通常は検索エンジンとAIクローラーに絞ってそのログを読み、答えに変えることです。
SEOでの問いはシンプルです。Googlebotはどのページを、どのくらいの頻度で訪れるか。一度も訪れないページはどれか。どこでリダイレクトやエラーに当たっているか。存在すべきでないURLにリクエストを無駄遣いしていないか。
これほど詳しく答えられる情報源はほかにありません。Search Consoleのクロールの統計情報レポートは概要を示します。クロールはリンクから見えるものを示します。実際のリクエストを1件ずつ示すのはログだけです。
| 出典 | リクエストごと | すべてのボット | URLごと |
|---|---|---|---|
| サーバーログ | ✓ | ✓ | ✓ |
| クロールの統計情報 | – | ◐ | ◐ |
| 自分のクロール | – | – | ✓ |
クロールの統計情報が対象にするのはGooglebotだけで、期間は90日、URLはサンプルです。方法をより詳しく知るには、SEO ProCheckのSEOのためのログファイル分析をご覧ください。
ログファイル分析がSEOで重要な理由
- Googlebotが無視するページを見つける。リンクされ、インデックス可能で、サイトマップにもあるのに一度もリクエストされないページは、Googleが訪れる価値がないと考えているページです。
- クロールバジェットの無駄を見つける。パラメータ、ファセットのURL、古いリダイレクトは、忘れた後もずっとログに現れます。
- Googlebotから見えるエラーを見つける。負荷がかかったときだけ起こる5xxや、ファイアウォールが返す429は、自分のクロールでは一度も見えないことがあります。
- 孤立ページを見つける。ボットがリクエストしているのに内部リンクのないURLは、まだ注目を集めている古いページであることが多いです。
- AIクローラーを見る。GPTBot、ClaudeBot、PerplexityBotなども行を残すので、何を取得し、何を拒否されているかがわかります。
- 移行を確認する。移転の後、Googlebotがリダイレクトをたどって新しいURLに到達しているかがログでわかります。
サーバーログの1行に含まれるもの
最も一般的な形式はApacheのcombinedログ形式で、Nginxの初期設定でもあります。1行は次のようになります:
66.249.66.1 - - [10/Nov/2026:13:55:36 -0600] "GET /shoes/ HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
| フィールド | 例 | 重要な理由 |
|---|---|---|
| クライアントIP | 66.249.66.1 | ボットが本物かを検証できる唯一の手段 |
| 時間 | 10/Nov/2026:13:55:36 | クロール頻度と再クロールの間隔 |
| リクエスト | GET /shoes/ | 取得されたURL |
| ステータス | 200 | 成功、リダイレクト、エラー |
| バイト数 | 2326 | レスポンスのサイズ |
| ユーザーエージェント | Googlebot/2.1 | 名乗っているクローラー |
IISは、列名を示す#Fields:行のあるW3C拡張形式で書き込みます。Cloudflare、CloudFront、AWSのロードバランサー、Google Cloud、Akamai、FastlyなどのCDNやロードバランサーは独自のレイアウトで、JSONのことも多いです。Apacheの通常のcommon形式にはユーザーエージェントがないため、ボットを見分けられません。combined形式を依頼しましょう。
サーバーログの入手方法
| ホスト | ログの場所 |
|---|---|
| cPanel | Metrics、Raw Access(.gz) |
| Plesk | Logs、Manage Log Files |
| Amazon | ログ記録を有効にした後のS3バケット |
| Google Cloud | 有効にした後のCloud Logging |
| Cloudflare | Logpush、またはご自身のアカウント |
| そのほか | IT部門かホスティング会社に依頼 |
AmazonとGoogle Cloudでは、アクセスログは有効にするまでオフです。ログを依頼するときは、小さく、承認しやすい内容にしましょう:
| 依頼する内容 | 値 |
|---|---|
| 日数 | 30日以上 |
| 行 | クローラーのみ |
| 項目 | 時刻、URL、ステータス、ユーザーエージェント、IP |
| 形式 | commonではなくcombined |
一般の訪問者を除けば依頼に個人データが含まれず、セキュリティチームにも喜ばれます。30日未満だと、クロール頻度の低いページは一度も訪問されていないように見えます。
行を信頼する前にGooglebotを検証する
ユーザーエージェントの文字列にGooglebotと書くことは誰にでもできます。スクレイパーはいつもそうしています。リクエストを数える前に、名乗っている企業から来たものかを確認しましょう:
| ボット | 逆引きDNSの末尾 | 公開されているIPリスト |
|---|---|---|
| Googlebot | googlebot.com、google.com、googleusercontent.com | ✓ |
| Bingbot | search.msn.com | ✓ |
| GPTBot、OAI-SearchBot、ChatGPT-User | IPリストを使う | ✓ |
| PerplexityBot、Perplexity-User | IPリストを使う | ✓ |
DNSで確認するには、IPを逆引きして名前を確認し、さらに正引きして同じIPに戻ることを確かめます。ボットを名乗っていても確認に通らないリクエストは、そのボットではありません。別に数えましょう。AIクローラーを名乗る未検証のリクエストに200を返しているなら、誰かが借りた名前でコンテンツを集めています。Neovaはこれを検証されていないAIクローラーのリクエストに2xxを返したとしてフラグを立て、検証に通るリクエストが1件もない場合はAIクローラーの名前が、検証されていないリクエストにしか現れないとしてフラグを立てます。
何を見るか:ログ分析のチェックリスト
ログはクロールと突き合わせて読みます。2026年10月17日のseoprocheck.comのフルクロールでは、200を返すHTMLページが4,561件見つかりました。このサイトのログは、このリストとページごとに比べます。読む価値のあるシグナルと、該当するものはNeovaのログのチェック項目が使うしきい値です:
| シグナル | 健全な状態 | 注意すべきとき |
|---|---|---|
| ボットごとの3xx、4xx、5xxの割合 | 低く横ばい | 1%超で倍増 |
| ボットへの429と403 | 0 | 台数制限なし |
| 一度も訪問されない重要ページ | 0 | 台数制限なし |
| Googlebotの再クロール間隔 | 横ばい | 50%以上の増加 |
| 1日あたりの初めて見るURL | 横ばい | 1日10件以上で倍増 |
| 取得されたCSSとJS | 200を返す | エラーが1件でもある |
ボットごとに1日あたりの検証済みリクエストも数え、クロールで見つからなかったのにボットがリクエストしているURLも見ます。孤立ページ、古いページ、パラメータ、ほかのサイトからのリンクなどです。初めて見るURLが急に増えたら、クロールトラップや壊れたテンプレートが公開されたことが多いです。
Neovaでのログファイル分析
Neovaのデスクトップアプリには、ログをクロールと結びつけるサーバーログツールがあり、URLごとに、クロールで見つかったものとボットの行動の両方を表示します。
- 8種類のログソースを行の内容から判別します:ApacheとNginxのcombined、IIS W3C、Amazon CloudFront、Amazonのロードバランサー、Cloudflare Logpush、Google Cloudの負荷分散、Akamai DataStream、そして一般的な項目名を使うFastlyなどのJSONやCSVのログ。通常のファイル、.gz、複数ファイルをまとめた.zipに対応します。
- 検証済みのボットのみ。Googlebot、Bingbot、AIクローラーとして数えるのは、アドレスが運営会社の公開リストにあるリクエストだけです。GoogleとMicrosoftについては逆引きDNSもオンにできます。
- 未訪問と孤立ページ:ログの期間中にGooglebotが一度も訪れなかったHTMLページと、クロールでは知られていないのにボットが求めたURL。
- 拒否:各ボットが受けた429と403の応答。
- Cloudflare:Cloudflareの背後にあるサイトなら、Neovaはクローラーのリクエストをご自身のCloudflareアカウントに集められます。サーバーへのアクセスは不要です。
- Ask for the Logは、IT部門に送る依頼文を作成します。クローラーの行だけで、インストールするものはありません。
- 自分のパソコンで読み込む。ファイルが外に出ることはなく、IPアドレスはどこにも書き込まれません。
ログのチェック項目には、検索エンジンのボットへの3xx、4xx、5xxレスポンスの割合の増加、50%以上延びたGooglebotの再クロール間隔、倍増した初めて見るURLへのボットのリクエスト、ログから見つかったインデックス可能な孤立ページがあります。手順は接続の代わりに読み込むに、サーバーログを含むプランは料金にあります。
よくある間違い
- ユーザーエージェントを信じる。IPを検証しないと、偽のGooglebotがすべての数値を水増しします。
- 1週間分のログを使う。それより低い頻度でしかクロールされないページは多くあります。30日以上を使いましょう。
- リクエストではなくヒット数を分析する。ログの要約は概要としては十分ですが、詳細は生の行にあります。生の行を依頼しましょう。
- CDNを忘れる。CDNがキャッシュから応答すると、オリジンサーバーのログにはそのリクエストが残りません。CDNのログを使いましょう。
- クロールなしでログを読む。ログだけでは、ボットがどのページを飛ばしたかはわかりません。比べるための、存在するページのリストが必要です。
次に出てくる疑問には、SEO ProCheckのログファイル分析FAQが答えています。
よくある質問
SEOのログファイル分析とは何ですか?
サーバーのアクセスログを読み、検索エンジンとAIクローラーがどのURLを、どのくらいの頻度でリクエストし、サーバーが何を返したかを確かめることです。クローラーが到達できる範囲ではなく、実際のクロールの動きがわかります。
ログは何日分必要ですか?
30日以上です。期間が短いと、Googlebotが数週間おきに訪れるページが、一度もクロールされていないように見えます。
サーバーにアクセスできなくてもログファイル分析はできますか?
多くの場合できます。CloudflareやCloudFrontのようなCDNの背後にあるサイトなら、そのログにクローラーのリクエストが残っています。Neovaは、サーバーへのアクセスなしで、ご自身のCloudflareアカウントにクローラーのリクエストを集められます。
Search Consoleのクロールの統計情報はサーバーログの代わりになりますか?
いいえ。クロールの統計情報が示すのはGooglebotの合計とサンプルです。ログはすべてのボットのすべてのリクエストをURLごとに示すので、クロールと突き合わせられます。
サーバーログには個人データが含まれますか?
訪問者のIPアドレスが含まれるので、慎重に扱いましょう。依頼するのはクローラーの行だけにします。Neovaはログを自分のパソコンで読み込み、IPアドレスはどこにも書き込みません。