Neova高機能SEOプラットフォーム

robots.txtテスター:間違ったページをブロックする前にrobots.txtのルールをテストする方法

robots.txtは短いテキストファイルですが、大きな力を持っています。たった1行で、隠したいフォルダだけでなく、上位表示させたいサイト全体まで検索エンジンから遠ざけてしまうこともあります。robots.txtテスターは、各クローラーが何を取得してよいかをURLごとに教えてくれるので、Googlebotより先に問題に気づけます。

クロールとインデックスrobots.txtテスター2026年11月21日更新Neovaチーム

robots.txtテスターがすること

robots.txtテスターは、robots.txtファイルとURLを受け取り、指定したユーザーエージェントに適用されるルールのグループを選び、そのURLが許可されているかブロックされているか、そしてどの行で決まったかを教えてくれます。良いテスターは、パーサーが読めない行、無視されるフィールド、互いに打ち消し合うルールも指摘します。

URLを1つずつテストするのは、ちょっとした確認に役立ちます。クロールの全URLをテストすると、思わぬ問題が見つかります。1つのフォルダ向けに書いたルールが商品のフィルターにも一致していたり、ワイルドカードがページのレンダリングに必要なCSSをブロックしていたりします。

Googleのrobots.txtテスターは提供終了

長年、Search Consoleにはファイルを編集してURLをテストできるrobots.txtテスターがありました。Googleは2023年後半にこれを廃止し、robots.txtレポートに置き換えました。このレポートでは、プロパティの上位20ホストについてGoogleが見つけたrobots.txtファイル、それぞれの最終クロール日時、警告やエラーを確認できます。急ぎの修正の後に、ファイルの再クロールをリクエストすることもできます。

このレポートでわかるのは、公開中のファイルをGoogleがどう読んだかです。まだ公開していないルールはテストできず、URLのリスト全体をファイルに照らして確認することもできません。それには別のテスターが必要です。Googleは自社のオープンソースのrobots.txtパーサーを公開しており、Bing Webmaster Toolsにも、Bingbotがファイルをどう読むかを確認するのに便利なrobots.txtテスターがあります。

robots.txtのルールの仕組み

ファイルはホストのルート、たとえばhttps://www.example.com/robots.txtに置きます。ルールはRobots Exclusion ProtocolであるRFC 9309で定められており、Googleがそれをどう読むかはGoogleによるrobots.txtの仕様の解釈に記載されています。ファイルはグループで構成されます。各グループは1行以上のUser-agent行で始まり、その後にAllowとDisallowのルールが続きます:

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

テスターが確認する点を、Googleのドキュメントに沿ってまとめます。すべてのフィールドはSEO ProCheckのrobots.txt完全リファレンスで解説しています。

  • 1つのクローラーに1つのグループ。クローラーは、自分の名前に一致する最も具体的なグループだけに従います。Googlebot専用のグループがあれば、*のグループは完全に無視されます。
  • 最も長く一致したものが優先。AllowとDisallowの両方がURLに一致する場合、パスの長いほうのルールが適用されます。同じ長さなら、Googleは制限の最も弱いルールを使います。
  • 2つのワイルドカード。*は任意の文字列に一致し、$はURLの末尾を示します。
  • パスは大文字と小文字を区別します。Disallow: /Adminは/adminをブロックしません。
  • 1つのホストに1つのファイル。ルールは、ファイルを配信しているプロトコル、ホスト、ポートにだけ適用されます。サブドメインには独自のファイルが必要です。

robots.txtにできないこと

robots.txtが制御するのはクロールで、インデックス登録ではありません。Googleのrobots.txtの概要でも、ブロックしたURLもほかのページからリンクされていればインデックスに登録されることがあり、通常は説明なしで表示されると明記しています。ページを検索結果から外したいなら、クロールを許可し、代わりにnoindexを使いましょう。Googleが取得できないページでは、そのnoindexも読まれません。

ほかにも知っておきたい制限があります:

  • noindexは書けない。Googleは2019年に、robots.txtのnofollowやcrawl-delayのルールとあわせて、robots.txtでのnoindexのサポートを終了しました。
  • Googleはcrawl-delayを読まない。GooglebotはCrawl-delayを無視します。読み取るクローラーもあるため、すべてのユーザーエージェント向けに設定した値で、それらのクローラーが大幅に遅くなることがあります。
  • セキュリティ対策にはならない。ファイルは公開されており、行儀のよいクローラーが任意で従っているだけです。非公開にしたいものにはログインが必要です。

robots.txtテスターで見つかるよくある間違い

間違い影響修正
ステージングから残ったDisallow: /サイト全体がブロックされるその行を削除する
共通ルールのない名前付きグループそのボットでは*のルールが無視される共通ルールをコピーして入れる
CSS、JavaScript、画像のブロックページをレンダリングできないファイルを許可する
ワイルドカードが広すぎる/*?がフィルターやページをブロックパターンを絞る
User-agentより前のルール、入力ミス行が読み飛ばされる構文を直す
インデックス削除のためのDisallownoindexが読まれない許可してからnoindex
wwwと非wwwで違うホストによってルールが違う1つのファイルを配信する

XMLサイトマップに載せているURLをブロックすると、矛盾したシグナルになります。その側面はXMLサイトマップチェッカーのガイドで扱っています。

サーバーエラーとファイルサイズ

ファイルの配信のされ方は、中身と同じくらい重要です。Googleはそれぞれのケースを文書化しています:

ケースGoogleの扱い期間
4xx(429以外)ファイルがないものとしてクロール直るまで
5xxまたは429サイトのクロールを停止最初の12時間
まだ失敗している最後に正常だったコピーを使う最長30日
500 KiBを超えるファイル残りを無視500 KiBより後
あらゆる変更キャッシュしたコピーを使う最長24時間

robots.txtレポートの再クロールのリクエストは、急ぎの修正のためのものです。間の悪いときにタイムアウトしたrobots.txtは、サイト全体のクロールを止めてしまうことがあります。それが大規模サイトで特に重要な理由はクロールバジェットのガイドで説明しています。

自社のrobots.txtでわかったこと

2026年11月20日のneova.appのSEOチェックで、意図した以上にブロックしていたルールが2つ見つかりました:

ブロックされていたもの影響したページGoogleに見えていたもの修正
/cdn-cgi/ 以下のCloudflareのメール用スクリプト1,320取得できないスクリプトそのスクリプトを許可
/favicon と /apple-touch-icon.pngすべての検索結果ロゴではなく文字だけ両方のファイルを許可

ファビコンのファイルはDisallow: /ルールでブロックされていました。Googleのファビコンのガイドラインでは、Googlebot-Imageがファイルをクロールできる必要があるため、検索結果ではneova.appの横にロゴではなく文字が表示されていました。どちらのルールも、ファイル上では間違っているようには見えませんでした。ページが読み込むすべてのURLとファイルに対してルールをテストして初めて見つかったのです。

robots.txtを安全にテストする方法

  1. サイトをクロールし、覚えている一部のURLだけでなく、実際のURLの完全なリストを用意します。
  2. 公開中のファイルをテストします。重要なクローラーごとに、そのリストに対して行います:Googlebot、Googlebot-Image、Bingbot、AIクローラーです。
  3. 変更を下書きとして書き、同じリストに対して下書きをテストします。新たにブロックされるURLと新たに許可されるURLを確認します。
  4. リソースを確認します。インデックス可能なページが、スクリプト、スタイルシート、画像を失わないようにします。
  5. 公開してから確認します。Search Consoleのrobots.txtレポートで、Googleが新しいバージョンをエラーなしで取得したことを確かめます。
  6. もう一度クロールして比べ、後から誤って変更されたときに気づけるようにします。

AIクローラーに何を取得させるかを決めるなら、AIクローラーのガイドに名前とそれぞれの役割の一覧があります。ブロックされたページはインデックス可能性チェッカーのガイドでも扱っています。

Neovaでrobots.txtをテストする

Neovaのrobots.txt Testerは、公開中のファイルや下書きのすべての行を、Googleの文書とRFC 9309の定義に沿ってわかりやすい言葉で説明し、各ルールに一致するクロール済みのURLを示します。すべてのクローラーのビューでは、Googlebot、Bingbot、AIクローラーが何を取得でき、それぞれどのURLがブロックされているかを表示します。クローラー専用のグループで*のグループのルールが無視される場合もそれを示し、下書きのテストでは、変更によって新たにブロックまたは許可されるクロールのすべてのURLを一覧にします。その後、下書きに従ってクロールし、影響の全体を確認できます。その元になるチェック項目:

Neovaはクロールで読んだrobots.txtのバージョンをすべて保存するので、いつルールが変わったかがわかります。ユーザーエージェントの設定で、Googlebot、Bingbot、AIクローラー、または独自の文字列としてクロールできます。機能をご覧になるか、Neovaをダウンロードしてください。

よくある質問

Googleにはまだrobots.txtテスターがありますか?

いいえ。Googleは2023年にSearch Consoleのrobots.txtテスターを廃止し、公開中のファイルをGoogleがどう読んだかとエラーを示すrobots.txtレポートに置き換えました。公開前に変更をテストするには、別のrobots.txtテスターを使いましょう。

URLがrobots.txtでブロックされているかはどうテストしますか?

クローラーのユーザーエージェントに一致するグループを見つけ、次にURLに一致する最も長いAllowまたはDisallowのパスを探します。そのルールで決まります。robots.txtテスターなら、1つのURLでもクロールの全URLでも、これを代わりに行って該当する行を示してくれます。特殊なケースにはSEO ProCheckのrobots.txt FAQが答えています。

robots.txtでページのインデックスを止められますか?

いいえ。止めるのはクロールです。ブロックしたURLも、ほかのページからリンクされていればインデックスに登録されることがあります。検索結果から外したいなら、Googleがクロールできるページでnoindexを使いましょう。

GooglebotがUser-agent: * のルールを無視するのはなぜですか?

ファイルにGooglebot用のグループがあるからです。クローラーは自分に一致する最も具体的なグループだけに従うので、共通のルールをGooglebotのグループにもコピーしましょう。

robots.txtの変更が反映されるまでどのくらいかかりますか?

Googleは通常、robots.txtを最長24時間キャッシュします。急ぎの修正の後は、Search Consoleのrobots.txtレポートで再クロールをリクエストできます。

このページを活用する

アシスタントのリンクを開くと、このページについての質問が入力された状態で始まります。

NeovaでサイトをクロールFreeプランはMac、Windows、Linuxですべてのチェック項目を実行します。クレジットカードは不要です。

関連ガイド