AIクローラー:GPTBot、ClaudeBot、PerplexityBotの役割と制御方法
AIクローラーは、言語モデルの学習、AI検索のインデックス作成、あるいは1人の質問にその場で答えるためにページを取得します。種類ごとにrobots.txtでの名前が異なるため、一部を許可し、ほかをブロックできます。それぞれが誰で、何をしているか、そして実際に何を受け取っているかの確認方法を紹介します。
AIクローラーとは?
AIクローラーはLLMクローラーとも呼ばれ、AI企業が運用するボットです。すべてが同じではなく、1つのグループとして扱うとrobots.txtのルールを誤ります。種類は3つあります。
- 学習用クローラーは、将来のモデルの学習に使われる可能性のあるページを集めます。GPTBotとClaudeBotが最もよく知られています。
- 検索用クローラーは、AIアシスタントが出典やリンクつきで回答するときに検索するインデックスを作ります。OAI-SearchBot、Claude-SearchBot、PerplexityBotがこのグループです。
- ユーザー操作による取得は、たとえばURLを貼り付けるなど、人がそのページについてアシスタントに尋ねたときにページを読み込みます。ChatGPT-User、Claude-User、Perplexity-Userがこの方式です。
学習用クローラーをブロックすると、ページは将来の学習データから外れます。検索用クローラーをブロックすると、引用つきのAIの回答から外れることがあり、多くの企業にとっては望むことの逆です。
主なAIクローラーとrobots.txtのトークン
各ベンダーは自社のボットをドキュメントで公開しています。robots.txtで使う名前と、ベンダー自身のページへのリンクです。
| トークン | 会社 | 種類 | 独自のボット |
|---|---|---|---|
| GPTBot | OpenAI | 学習 | ✓ |
| OAI-SearchBot | OpenAI | AI検索 | ✓ |
| ChatGPT-User | OpenAI | ユーザーのリクエスト | ✓ |
| ClaudeBot | Anthropic | 学習 | ✓ |
| Claude-SearchBot | Anthropic | AI検索 | ✓ |
| Claude-User | Anthropic | ユーザーのリクエスト | ✓ |
| PerplexityBot | Perplexity | AI検索 | ✓ |
| Perplexity-User | Perplexity | ユーザーのリクエスト | ✓ |
| Google-Extended | Geminiでのコンテンツ利用 | – | |
| Applebot-Extended | Apple | Appleのモデル学習 | – |
| CCBot | Common Crawl | オープンなWebアーカイブ | ✓ |
Google-ExtendedとApplebot-Extendedは別のボットではなくトークンです。GooglebotやApplebotがすでにクロールしたコンテンツをどう使ってよいかを制御します。Googleによると、Google-ExtendedはGoogle検索への掲載や順位に影響しません。Google自身の検索のAI機能でのコンテンツの表示を制限するには、nosnippetなどのスニペット制御を使うようGoogleは案内しています。すべてのボットとその目的をまとめた詳しいリストは、SEO ProCheckのAIクローラーマップをご覧ください。
LLMクローラーはブロックすべきか
唯一の正解はありません。コンテンツの目的によって変わります。robots.txtの観点では、ほとんどのサイトは次の3つの方針のどれかに当てはまります。
| 方針 | 学習 | AI検索 | ユーザーのリクエスト |
|---|---|---|---|
| すべてに公開 | ✓ | ✓ | ✓ |
| 引用はOK、学習はNG | – | ✓ | ✓ |
| AIには非公開 | – | – | ◐ |
- ChatGPT検索、Claude、Perplexityで引用・リンクされたいなら検索用クローラーを許可してください。ほとんどの企業にとって、これは欲しい露出です。
- ニュース、調査、講座、有料データなど、コンテンツそのものが商品なら学習用クローラーのブロックを検討してください。ブロックで止まるのは今後の収集で、すでに集められたものは削除されません。
- ユーザー操作による取得のブロックは慎重に。ページについて尋ねた人の代わりに動くもので、ベンダーによってはクローラーと同じようにはrobots.txtに従わない場合があるとしています。上の表で「一部」としているのはそのためです。
決めたことを書き残してください。どのボットを許可し、どれをブロックし、その理由は何か。そのうえでrobots.txtをそれに合わせます。方針が文書になっていれば、将来の開発者がリニューアル中にすべてをブロックしてしまうのを防げます。
AIボット向けのrobots.txt:例
よくある設定は、AI検索を許可し、学習をブロックするものです。
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
複数のUser-agent行で1つのルールのグループを共有できます。1つの落とし穴に注意してください。robots.txtの標準であるRFC 9309では、クローラーは自分を指定している最も具体的なグループにのみ従います。GPTBot用のグループを追加すると、GPTBotは*のグループを、Disallow: /search/も含めてすべて無視します。上の検索用グループで共通の2つのルールを繰り返しているのはそのためです。名前を指定したグループで禁止していないものは、すべて許可されます。
サイト全体ではなく、1つのフォルダだけを学習からブロックするには:
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
ユーザー操作による取得については、robots.txtに頼る前に各ベンダーのページを読んでください。
公開する前に、すべてのルールを実際のURLでテストしてください。2026年11月20日、neova.appで意図より多くをブロックしていたルールが2つ見つかりました。
| 該当したルール | 影響 | 影響範囲 |
|---|---|---|
| /cdn-cgi/をブロック | Cloudflareのメール用スクリプトがブロックされた | 1,320ページ |
| ファビコンにかかるDisallow: / | Googleでロゴの代わりに文字だけが表示された | すべての検索結果 |
どちらもパスを許可して直しました。1つのボットや1つのフォルダのために書いたDisallowは、その下のすべてのファイルに及び、スクリプトやアイコンも含まれます。
robots.txtだけでは足りない:ファイアウォール、CDN、検証
robots.txtはお願いであって、鍵ではありません。上に挙げたAI企業は自社のクローラーがrobots.txtをどう扱うかを公開していますが、ほかのボットは無視することがあります。
- ファイアウォールも確認してください。CDNやWAFには、AIクローラーをブロックする設定があり、デフォルトで有効なこともあります。robots.txtでGPTBotを許可していても、403を返していることがあります。各クローラーが実際に何を受け取っているかをテストしてください。
- 信頼する前に検証を。OpenAIとPerplexityは自社ボットのIPリストを公開しており、GoogleとMicrosoftも同様です。ボット名を名乗っていても、その会社のリストにないアドレスからのリクエストは、そのボットではありません。
- 悪質なボットはエッジでブロック。robots.txtを無視するスクレイパーには、CDNやサーバーのルールしか効きません。
実際にどれほど問題が起きているか:SEO ProCheckはCan AI Crawlers Actually Read Your Site? 400 Sites Measuredで、400サイトでAIクローラーが実際に受け取る内容をテストしました。
AIクローラーが読めるページにする
クローラーを許可するのは、AIクローラー向けSEOの半分にすぎません。残りの半分は、取得した内容をきちんと読めるようにすることです。
- メインコンテンツはHTMLに。すべてのクローラーがJavaScriptを実行するわけではありません。スクリプトの実行後にしかテキストが表示されないなら、一部のAIクローラーにはまったく見えていないと考えてください。
- 要点は早めに。本文の前に長いメニューや定型文があると、答えがページの下へ押しやられます。
- 重要な情報を画像、PDF、ウィジェットに隠さない。価格、仕様、連絡先はHTMLのテキストで書きます。
- 正しいステータスコードを返す。AIの回答が引用したページが壊れていたりリダイレクトしたりすると、読者はエラーにたどり着きます。
- HTMLは軽く。GooglebotはHTMLファイルの最初の2 MBを読みます。Neovaはそれを超えるページにHTMLが2 MBを超えている、またはCore Web Vitalsが「良好」の範囲外でフラグを立てます。
- llms.txtは任意です。提案中の形式であり、Webの標準ではありません。公開するなら、有効で最新の状態に保ってください。
AIクローラーに見えているものの確認方法
Neovaでは、デスクトップアプリとNeova Onlineで、各AIクローラーに何が許可され、実際に何が返されているかがわかります。
- 各AIアシスタントに提供される内容は、ChatGPT、Claude、Perplexityとそのクローラー、Meta AI、Google-Extended、Common Crawlを含む10のAIエージェントとしてサンプルのページにリクエストし、完全にアクセスできるのは誰か、robots.txtが何を許可しているかを表示します。
- AIクローラーとしてクロール。GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBotなどのAIのユーザーエージェントで、サイト全体をクロールします。
- robots.txtテスターは、Googlebot、Bingbot、AIクローラーがそれぞれ取得できるものと、ブロックされるURLを表示し、クローラー専用のグループによって
*グループのルールが外れる場合も知らせます。 - レンダリングの画面では、JavaScriptが必要なページの数と、各AIクローラーに返される内容がわかります。
- デスクトップアプリのサーバーログは、確認済みのAIクローラーの訪問と拒否をURLごとに表示します。
- AIでの引用:接続すると、Bing Webmaster ToolsとMicrosoft ClarityのAI Visibilityから取得します。Microsoft Clarityをご覧ください。
まず試したいチェック項目:AI検索クローラーのユーザーエージェントのリクエストがブロックされる、robots.txtのAIクローラーのルールが文書化した方針と異なる、ユーザー操作によるAIの取得がブロックされる、重要なページがスニペットを制限している、またはAI検索クローラーをブロックしている、AIボットがエラーを返すURLをリクエストしている。FreeプランにはAI検索の画面が含まれます。料金をご覧になるか、Neovaをダウンロードしてください。
AIクローラー向けSEOチェックリスト
| 項目 | 完了の条件 |
|---|---|
| 文書化した方針 | AIボットごとに許可かブロックか |
| robots.txt | 方針と一致 |
| 名前つきのグループ | 共通のルールを繰り返す |
| AI検索クローラー | 引用されたいページで許可 |
| ファイアウォールとCDN | 方針と同じ |
| 各クローラーが受け取るもの | 200とページ全体 |
| メインコンテンツ | HTML内の早い位置に |
| 重要な情報 | 画像ではなくテキストで |
| ログ | 確認済みの訪問、偽物は別にカウント |
| 引用されたページ | 200を返す |
よくある質問
GPTBotとは何ですか?
GPTBotは、OpenAIのモデルの学習に使われる可能性のあるコンテンツを集めるクローラーです。ChatGPT検索のためにページを見つけるOAI-SearchBotとは別物です。OpenAIのクローラーのページをご覧ください。
GPTBotをブロックすると、ChatGPT検索からサイトが消えますか?
いいえ。OpenAIは別々のボットを使い、それぞれが自分用のrobots.txtのルールを読みます。ChatGPT検索はOAI-SearchBotに頼っているため、GPTBotをブロックしてもOAI-SearchBotは許可したままにできます。
Google-ExtendedはGoogleの順位に影響しますか?
Googleによると、Google検索への掲載には影響せず、ランキングのシグナルでもありません。コンテンツをGeminiのモデルに使ってよいかどうかを制御するものです。
LLMクローラーをブロックするには?
robots.txtに、GPTBot、ClaudeBot、CCBotなど各クローラーの名前を指定したグループを追加し、Disallow: /と書きます。robots.txtを無視するボットには、ファイアウォールやCDNにルールを追加してください。
AIクローラーがサイトを訪問しているかどうかを知るには?
サーバーやCDNのログを読み、各リクエストをその会社が公開しているIPリストと照合します。NeovaのサーバーログツールはこれをURLごとに行います。ログの形式は接続の代わりにインポートをご覧ください。