Neova高機能SEOプラットフォーム

AI SEOクローラー:AIが監査に役立つ場面と、AI検索向けの監査方法

「AI SEOクローラー」には2つの意味があります。AIを使うクローラーと、AI検索からサイトがどう見えるかを確認するクローラーです。役に立つものは両方を行い、モデルによる指摘とルールによる指摘を分けて扱います。

クローラーの選び方AI SEOクローラー2026年11月21日更新Neovaチーム

AI SEOクローラーの2つの意味

AIを使うSEOクローラーを探している人が求めているのは、次のどちらかです。

  • 監査にAIを使うクローラー。言語モデルがページを読み、ルールでは判断できないこと、つまりページが見出しに答えているか、主張に裏づけがあるかを判断します。
  • AI検索のために監査するクローラー。GPTBot、ClaudeBot、PerplexityBotなどのAIクローラーが取得できるもの、サーバーが実際に渡しているもの、AIの回答でページが引用されているかを確認します。

前者は監査のやり方に、後者は監査の対象に関わります。片方が得意で、もう片方が弱いツールもあります。

SEO監査でAIが役立つ場面と、役立たない場面

テクニカル監査の大部分は、数えて比べる作業です。ルールなら、毎回同じように正確に行えます。そこでモデルが加えるものはなく、数字を間違えることさえあります。AIが本領を発揮するのは、読むことが必要な問いです。

作業ルールモデル
ステータスコードとリダイレクト✓–
canonicalとhreflang✓–
titleとdescriptionの文字数✓–
クローラーごとのrobots.txt✓–
本文が見出しに答えているか–✓
裏づけの数字がない主張–✓
検索意図と主要なエンティティ–✓
メタディスクリプションの下書き–✓

AIを備えたSEO監査ツールで確認すべきことは2つあります。モデルの指摘はルールに基づく指摘と分けられていて、推測でエラー件数が膨らまないか。そしてページのテキストはどこに送られるのか。クラウドのモデルか、ご自身のパソコン上のモデルか。

AIクローラーとrobots.txtのトークン

AI企業はそれぞれ複数のエージェントを運用しており、それぞれが自分用のrobots.txtのグループに従います。学習用クローラーをブロックしても、検索用はブロックされません。

robots.txtのトークン会社ジョブ
GPTBotOpenAI学習
OAI-SearchBotOpenAI検索
ChatGPT-UserOpenAIユーザーのための取得
ClaudeBotAnthropic学習
Claude-SearchBotAnthropic検索
Claude-UserAnthropicユーザーのための取得
PerplexityBotPerplexity検索
Perplexity-UserPerplexityユーザーのための取得
Google-ExtendedGoogleトークンのみ、クローラーなし

出典:OpenAIのクローラーのページ、Perplexityのボットのページ、Googleのクローラーの一覧。Googleの一覧では、Google-Extendedには独自のユーザーエージェントがなく、Googleの既存のクローラーが読むrobots.txtのトークンだと説明しています。SEO ProCheckではAI bot user agents explainedでより詳しい一覧をまとめています。

AI検索での見え方を左右するもの

AIアシスタントは、独自のクローラー、ユーザー操作による取得、BingやGoogleなどの検索インデックスを通じてページを見つけます。サイトはその各ステップでつまずく可能性があります。

ステップ起こりうる問題Neovaのチェック項目
robots.txt広すぎるルールがAIクローラーをブロックrobots.txtのAIクローラーのルールが文書化した方針と異なる
ファイアウォールとCDN403またはチャレンジページAI検索クローラーのユーザーエージェントのリクエストがブロックされる
レンダリングテキストにJavaScriptが必要本文の大部分がレンダリング後のHTMLにのみ存在
ページ内の順序本文が5,000文字より後から始まるメインコンテンツが本文の最初の5,000文字より後から始まる
スニペットの制御重要なページにnosnippet重要なHTMLページがスニペットを制限している、またはAI検索クローラーをブロックしている
引用されたURL引用されたページが404を返すAIアシスタントが404や410を返すURLを引用している

robots.txtの問題は私たち自身のサイトでも見つかりました。2026年11月20日のneova.appのSEOチェックでは、許可するまでrobots.txtが1,320ページで/cdn-cgi/以下にあるCloudflareのメール用スクリプトをブロックしていました。またファビコンのファイルがDisallow: /の対象になっていたため、Googleはロゴの代わりに文字だけを表示していました。広すぎるルールは、意図した以上のものをブロックします。これがどれほどよくあることかは、SEO ProCheckが400サイトでAIクローラーのアクセスを測定しています。

GoogleはAI機能がコンテンツをどう使うかをAI機能とウェブサイトで説明しています。

AIクローラーに見えるものの確認方法

  1. robots.txtをクローラーごとに読む。専用のグループを持つクローラーは、*グループのルールを無視します。
  2. 重要なページを各AIのユーザーエージェントでリクエストする。ステータスコードとレスポンスのサイズを、ブラウザが受け取るものと比べます。403や極端に小さいレスポンスは、サイトの手前にある何かがブロックしていることを示します。
  3. 生のHTMLとレンダリング後のHTMLを比べる。本文、リンク、titleがJavaScriptの実行後にしか現れないなら、サーバーのHTMLで直してください。
  4. llms.txtを公開しているなら確認する。任意のものですが、壊れたllms.txtはないよりも悪い状態です。llms.txtの形式が不正、またはサーバーエラーを返すと、SEO ProCheckのAIは実際にllms.txtを使うのかをご覧ください。
  5. サーバーログを読む。URLごとの確認済みのAIクローラーの訪問から、取得しているものと、受け取った403や429の応答がわかります。クローラー名を名乗っているだけのリクエストには未確認のAIクローラーのリクエストに2xxを返したでフラグが立ちます。

AI検索での見え方を測る

アクセスは自分で管理できる部分です。引用されるかどうかは結果であり、それを見るには外部のデータが必要です。

出典わかることNeovaで
Bing Webmaster ToolsBingのAIの回答での引用✓
Google Analytics 4AIアシスタントからのセッション✓
Microsoft Clarity引用されたページ、AIボットのリクエスト✓
プロンプトのテストChatGPT、Perplexityでのブランドご自身のDataForSEOアカウント
AI Overviews表示の有無と引用の有無ご自身のDataForSEOアカウント
サーバーログ確認済みのAIクローラーの訪問✓

これらは正確な件数ではなく、傾向として扱ってください。回答は実行のたびに変わります。接続の仕組みはClarityのページで説明しています。

Neovaは2つの意味を分けて扱います。

機能対応環境ページのテキストがパソコンの外に出るか
AIレビュー、44のチェック項目Ollama、ご自身のパソコン–
質問するOllama、ご自身のパソコン–
AIプロンプトOllamaまたはご自身のキー選んだプロバイダーにのみ
MCPサーバーご自身のパソコン–
  • AIレビューのフラグは、要修正と要確認の件数に含まれません。
  • AIプロンプトは、Ollama、またはご自身のAnthropic、OpenAI、Google Geminiのキーで、独自のプロンプトをページごとに実行します。
  • 質問するは、ウィンドウにすでに表示されている内容から答えを選ぶため、数字をでっち上げることはありません。
  • AI検索のカテゴリには、AIクローラーが取得できるもの、各アシスタントに提供される内容、llms.txt、エージェント用ファイルについての45のチェック項目があります。
  • 各アシスタントに提供される内容:10のAIエージェントとしてサンプルのページにリクエストするか、GPTBot、ClaudeBot、PerplexityBotなどとしてサイト全体をクロールします。

AIレビューはDesktopプラン以上のデスクトップアプリで動作します。料金をご覧ください。

AI検索向けクロールのチェックリスト

  • 各AIクローラーに対するrobots.txtのルールが、社内で決めた方針と一致している。
  • 重要なページが、AIクローラーのユーザーエージェントに403やチャレンジではなく200を返す。
  • ユーザー操作による取得が、ファイアウォールやCDNでブロックされていない。
  • 本文、title、リンクがサーバーのHTMLにある。
  • メインコンテンツが本文の最初の5,000文字以内で始まる。
  • 引用されたいページに、うっかりnosnippetが付いていない。
  • llms.txtを公開しているなら、有効である。
  • AIの回答が引用するページが、壊れていたりリダイレクトしたりしていない。

よくある質問

AI SEOクローラーとは何ですか?

AIを使ってページを判断するクローラー、またはAI検索からサイトがどう見えるか(AIクローラーが取得できるもの、返される内容、AIの回答で引用されているか)を確認するクローラーのことです。良いものは両方を行い、どの指摘がモデルによるものかを明示します。

AIクローラーはJavaScriptをレンダリングしますか?

多くはレンダリングすることが知られていません。JavaScriptの実行後にしか現れないコンテンツは届かない可能性があるため、本文、title、リンクはサーバーのHTMLに置いてください。

GPTBotやほかのAIクローラーはブロックすべきですか?

それはSEOの既定値ではなく、ビジネス上の判断です。学習用と検索用のクローラーはトークンが異なるため、一方を許可し、もう一方をブロックできます。どう決めた場合も、robots.txtとファイアウォールの内容が一致していることを確認してください。

Google-ExtendedをブロックするとGoogle検索から外れますか?

いいえ。Googleによると、Google-Extendedは独自のクローラーを持たないrobots.txtのトークンで、Google検索への掲載には影響しません。

llms.txtは必須ですか?

いいえ。任意のもので、llms.txtがないサイトにNeovaはフラグを立てません。公開するなら、有効で最新の状態に保ってください。

NeovaはページをAIプロバイダーに送りますか?

AIレビューと質問するでは送りません。どちらもOllamaを通じてパソコン上のモデルを使います。AIプロンプトではご自身のAnthropic、OpenAI、Geminiのキーを使えます。その場合、ページのテキストが選んだプロバイダーに送られることをNeovaが明示します。

このページを活用する

アシスタントのリンクを開くと、このページについての質問が入力された状態で始まります。

NeovaでサイトをクロールFreeプランはMac、Windows、Linuxですべてのチェック項目を実行します。クレジットカードは不要です。

関連ガイド