AI SEOクローラー:AIが監査に役立つ場面と、AI検索向けの監査方法
「AI SEOクローラー」には2つの意味があります。AIを使うクローラーと、AI検索からサイトがどう見えるかを確認するクローラーです。役に立つものは両方を行い、モデルによる指摘とルールによる指摘を分けて扱います。
AI SEOクローラーの2つの意味
AIを使うSEOクローラーを探している人が求めているのは、次のどちらかです。
- 監査にAIを使うクローラー。言語モデルがページを読み、ルールでは判断できないこと、つまりページが見出しに答えているか、主張に裏づけがあるかを判断します。
- AI検索のために監査するクローラー。GPTBot、ClaudeBot、PerplexityBotなどのAIクローラーが取得できるもの、サーバーが実際に渡しているもの、AIの回答でページが引用されているかを確認します。
前者は監査のやり方に、後者は監査の対象に関わります。片方が得意で、もう片方が弱いツールもあります。
SEO監査でAIが役立つ場面と、役立たない場面
テクニカル監査の大部分は、数えて比べる作業です。ルールなら、毎回同じように正確に行えます。そこでモデルが加えるものはなく、数字を間違えることさえあります。AIが本領を発揮するのは、読むことが必要な問いです。
| 作業 | ルール | モデル |
|---|---|---|
| ステータスコードとリダイレクト | ✓ | – |
| canonicalとhreflang | ✓ | – |
| titleとdescriptionの文字数 | ✓ | – |
| クローラーごとのrobots.txt | ✓ | – |
| 本文が見出しに答えているか | – | ✓ |
| 裏づけの数字がない主張 | – | ✓ |
| 検索意図と主要なエンティティ | – | ✓ |
| メタディスクリプションの下書き | – | ✓ |
AIを備えたSEO監査ツールで確認すべきことは2つあります。モデルの指摘はルールに基づく指摘と分けられていて、推測でエラー件数が膨らまないか。そしてページのテキストはどこに送られるのか。クラウドのモデルか、ご自身のパソコン上のモデルか。
AIクローラーとrobots.txtのトークン
AI企業はそれぞれ複数のエージェントを運用しており、それぞれが自分用のrobots.txtのグループに従います。学習用クローラーをブロックしても、検索用はブロックされません。
| robots.txtのトークン | 会社 | ジョブ |
|---|---|---|
| GPTBot | OpenAI | 学習 |
| OAI-SearchBot | OpenAI | 検索 |
| ChatGPT-User | OpenAI | ユーザーのための取得 |
| ClaudeBot | Anthropic | 学習 |
| Claude-SearchBot | Anthropic | 検索 |
| Claude-User | Anthropic | ユーザーのための取得 |
| PerplexityBot | Perplexity | 検索 |
| Perplexity-User | Perplexity | ユーザーのための取得 |
| Google-Extended | トークンのみ、クローラーなし |
出典:OpenAIのクローラーのページ、Perplexityのボットのページ、Googleのクローラーの一覧。Googleの一覧では、Google-Extendedには独自のユーザーエージェントがなく、Googleの既存のクローラーが読むrobots.txtのトークンだと説明しています。SEO ProCheckではAI bot user agents explainedでより詳しい一覧をまとめています。
AI検索での見え方を左右するもの
AIアシスタントは、独自のクローラー、ユーザー操作による取得、BingやGoogleなどの検索インデックスを通じてページを見つけます。サイトはその各ステップでつまずく可能性があります。
| ステップ | 起こりうる問題 | Neovaのチェック項目 |
|---|---|---|
| robots.txt | 広すぎるルールがAIクローラーをブロック | robots.txtのAIクローラーのルールが文書化した方針と異なる |
| ファイアウォールとCDN | 403またはチャレンジページ | AI検索クローラーのユーザーエージェントのリクエストがブロックされる |
| レンダリング | テキストにJavaScriptが必要 | 本文の大部分がレンダリング後のHTMLにのみ存在 |
| ページ内の順序 | 本文が5,000文字より後から始まる | メインコンテンツが本文の最初の5,000文字より後から始まる |
| スニペットの制御 | 重要なページにnosnippet | 重要なHTMLページがスニペットを制限している、またはAI検索クローラーをブロックしている |
| 引用されたURL | 引用されたページが404を返す | AIアシスタントが404や410を返すURLを引用している |
robots.txtの問題は私たち自身のサイトでも見つかりました。2026年11月20日のneova.appのSEOチェックでは、許可するまでrobots.txtが1,320ページで/cdn-cgi/以下にあるCloudflareのメール用スクリプトをブロックしていました。またファビコンのファイルがDisallow: /の対象になっていたため、Googleはロゴの代わりに文字だけを表示していました。広すぎるルールは、意図した以上のものをブロックします。これがどれほどよくあることかは、SEO ProCheckが400サイトでAIクローラーのアクセスを測定しています。
GoogleはAI機能がコンテンツをどう使うかをAI機能とウェブサイトで説明しています。
AIクローラーに見えるものの確認方法
- robots.txtをクローラーごとに読む。専用のグループを持つクローラーは、*グループのルールを無視します。
- 重要なページを各AIのユーザーエージェントでリクエストする。ステータスコードとレスポンスのサイズを、ブラウザが受け取るものと比べます。403や極端に小さいレスポンスは、サイトの手前にある何かがブロックしていることを示します。
- 生のHTMLとレンダリング後のHTMLを比べる。本文、リンク、titleがJavaScriptの実行後にしか現れないなら、サーバーのHTMLで直してください。
- llms.txtを公開しているなら確認する。任意のものですが、壊れたllms.txtはないよりも悪い状態です。llms.txtの形式が不正、またはサーバーエラーを返すと、SEO ProCheckのAIは実際にllms.txtを使うのかをご覧ください。
- サーバーログを読む。URLごとの確認済みのAIクローラーの訪問から、取得しているものと、受け取った403や429の応答がわかります。クローラー名を名乗っているだけのリクエストには未確認のAIクローラーのリクエストに2xxを返したでフラグが立ちます。
AI検索での見え方を測る
アクセスは自分で管理できる部分です。引用されるかどうかは結果であり、それを見るには外部のデータが必要です。
| 出典 | わかること | Neovaで |
|---|---|---|
| Bing Webmaster Tools | BingのAIの回答での引用 | ✓ |
| Google Analytics 4 | AIアシスタントからのセッション | ✓ |
| Microsoft Clarity | 引用されたページ、AIボットのリクエスト | ✓ |
| プロンプトのテスト | ChatGPT、Perplexityでのブランド | ご自身のDataForSEOアカウント |
| AI Overviews | 表示の有無と引用の有無 | ご自身のDataForSEOアカウント |
| サーバーログ | 確認済みのAIクローラーの訪問 | ✓ |
これらは正確な件数ではなく、傾向として扱ってください。回答は実行のたびに変わります。接続の仕組みはClarityのページで説明しています。
NeovaのAIの使い方と、AI検索向けの監査
Neovaは2つの意味を分けて扱います。
| 機能 | 対応環境 | ページのテキストがパソコンの外に出るか |
|---|---|---|
| AIレビュー、44のチェック項目 | Ollama、ご自身のパソコン | – |
| 質問する | Ollama、ご自身のパソコン | – |
| AIプロンプト | Ollamaまたはご自身のキー | 選んだプロバイダーにのみ |
| MCPサーバー | ご自身のパソコン | – |
- AIレビューのフラグは、要修正と要確認の件数に含まれません。
- AIプロンプトは、Ollama、またはご自身のAnthropic、OpenAI、Google Geminiのキーで、独自のプロンプトをページごとに実行します。
- 質問するは、ウィンドウにすでに表示されている内容から答えを選ぶため、数字をでっち上げることはありません。
- AI検索のカテゴリには、AIクローラーが取得できるもの、各アシスタントに提供される内容、llms.txt、エージェント用ファイルについての45のチェック項目があります。
- 各アシスタントに提供される内容:10のAIエージェントとしてサンプルのページにリクエストするか、GPTBot、ClaudeBot、PerplexityBotなどとしてサイト全体をクロールします。
AIレビューはDesktopプラン以上のデスクトップアプリで動作します。料金をご覧ください。
AI検索向けクロールのチェックリスト
- 各AIクローラーに対するrobots.txtのルールが、社内で決めた方針と一致している。
- 重要なページが、AIクローラーのユーザーエージェントに403やチャレンジではなく200を返す。
- ユーザー操作による取得が、ファイアウォールやCDNでブロックされていない。
- 本文、title、リンクがサーバーのHTMLにある。
- メインコンテンツが本文の最初の5,000文字以内で始まる。
- 引用されたいページに、うっかりnosnippetが付いていない。
- llms.txtを公開しているなら、有効である。
- AIの回答が引用するページが、壊れていたりリダイレクトしたりしていない。
よくある質問
AI SEOクローラーとは何ですか?
AIを使ってページを判断するクローラー、またはAI検索からサイトがどう見えるか(AIクローラーが取得できるもの、返される内容、AIの回答で引用されているか)を確認するクローラーのことです。良いものは両方を行い、どの指摘がモデルによるものかを明示します。
AIクローラーはJavaScriptをレンダリングしますか?
多くはレンダリングすることが知られていません。JavaScriptの実行後にしか現れないコンテンツは届かない可能性があるため、本文、title、リンクはサーバーのHTMLに置いてください。
GPTBotやほかのAIクローラーはブロックすべきですか?
それはSEOの既定値ではなく、ビジネス上の判断です。学習用と検索用のクローラーはトークンが異なるため、一方を許可し、もう一方をブロックできます。どう決めた場合も、robots.txtとファイアウォールの内容が一致していることを確認してください。
Google-ExtendedをブロックするとGoogle検索から外れますか?
いいえ。Googleによると、Google-Extendedは独自のクローラーを持たないrobots.txtのトークンで、Google検索への掲載には影響しません。
llms.txtは必須ですか?
いいえ。任意のもので、llms.txtがないサイトにNeovaはフラグを立てません。公開するなら、有効で最新の状態に保ってください。
NeovaはページをAIプロバイダーに送りますか?
AIレビューと質問するでは送りません。どちらもOllamaを通じてパソコン上のモデルを使います。AIプロンプトではご自身のAnthropic、OpenAI、Geminiのキーを使えます。その場合、ページのテキストが選んだプロバイダーに送られることをNeovaが明示します。