robots.txtテスター:間違ったページをブロックする前にrobots.txtのルールをテストする方法
robots.txtは短いテキストファイルですが、大きな力を持っています。たった1行で、隠したいフォルダだけでなく、上位表示させたいサイト全体まで検索エンジンから遠ざけてしまうこともあります。robots.txtテスターは、各クローラーが何を取得してよいかをURLごとに教えてくれるので、Googlebotより先に問題に気づけます。
robots.txtテスターがすること
robots.txtテスターは、robots.txtファイルとURLを受け取り、指定したユーザーエージェントに適用されるルールのグループを選び、そのURLが許可されているかブロックされているか、そしてどの行で決まったかを教えてくれます。良いテスターは、パーサーが読めない行、無視されるフィールド、互いに打ち消し合うルールも指摘します。
URLを1つずつテストするのは、ちょっとした確認に役立ちます。クロールの全URLをテストすると、思わぬ問題が見つかります。1つのフォルダ向けに書いたルールが商品のフィルターにも一致していたり、ワイルドカードがページのレンダリングに必要なCSSをブロックしていたりします。
Googleのrobots.txtテスターは提供終了
長年、Search Consoleにはファイルを編集してURLをテストできるrobots.txtテスターがありました。Googleは2023年後半にこれを廃止し、robots.txtレポートに置き換えました。このレポートでは、プロパティの上位20ホストについてGoogleが見つけたrobots.txtファイル、それぞれの最終クロール日時、警告やエラーを確認できます。急ぎの修正の後に、ファイルの再クロールをリクエストすることもできます。
このレポートでわかるのは、公開中のファイルをGoogleがどう読んだかです。まだ公開していないルールはテストできず、URLのリスト全体をファイルに照らして確認することもできません。それには別のテスターが必要です。Googleは自社のオープンソースのrobots.txtパーサーを公開しており、Bing Webmaster Toolsにも、Bingbotがファイルをどう読むかを確認するのに便利なrobots.txtテスターがあります。
robots.txtのルールの仕組み
ファイルはホストのルート、たとえばhttps://www.example.com/robots.txtに置きます。ルールはRobots Exclusion ProtocolであるRFC 9309で定められており、Googleがそれをどう読むかはGoogleによるrobots.txtの仕様の解釈に記載されています。ファイルはグループで構成されます。各グループは1行以上のUser-agent行で始まり、その後にAllowとDisallowのルールが続きます:
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
テスターが確認する点を、Googleのドキュメントに沿ってまとめます。すべてのフィールドはSEO ProCheckのrobots.txt完全リファレンスで解説しています。
- 1つのクローラーに1つのグループ。クローラーは、自分の名前に一致する最も具体的なグループだけに従います。Googlebot専用のグループがあれば、
*のグループは完全に無視されます。 - 最も長く一致したものが優先。AllowとDisallowの両方がURLに一致する場合、パスの長いほうのルールが適用されます。同じ長さなら、Googleは制限の最も弱いルールを使います。
- 2つのワイルドカード。
*は任意の文字列に一致し、$はURLの末尾を示します。 - パスは大文字と小文字を区別します。
Disallow: /Adminは/adminをブロックしません。 - 1つのホストに1つのファイル。ルールは、ファイルを配信しているプロトコル、ホスト、ポートにだけ適用されます。サブドメインには独自のファイルが必要です。
robots.txtにできないこと
robots.txtが制御するのはクロールで、インデックス登録ではありません。Googleのrobots.txtの概要でも、ブロックしたURLもほかのページからリンクされていればインデックスに登録されることがあり、通常は説明なしで表示されると明記しています。ページを検索結果から外したいなら、クロールを許可し、代わりにnoindexを使いましょう。Googleが取得できないページでは、そのnoindexも読まれません。
ほかにも知っておきたい制限があります:
- noindexは書けない。Googleは2019年に、robots.txtのnofollowやcrawl-delayのルールとあわせて、robots.txtでのnoindexのサポートを終了しました。
- Googleはcrawl-delayを読まない。Googlebotは
Crawl-delayを無視します。読み取るクローラーもあるため、すべてのユーザーエージェント向けに設定した値で、それらのクローラーが大幅に遅くなることがあります。 - セキュリティ対策にはならない。ファイルは公開されており、行儀のよいクローラーが任意で従っているだけです。非公開にしたいものにはログインが必要です。
robots.txtテスターで見つかるよくある間違い
| 間違い | 影響 | 修正 |
|---|---|---|
ステージングから残ったDisallow: / | サイト全体がブロックされる | その行を削除する |
| 共通ルールのない名前付きグループ | そのボットでは*のルールが無視される | 共通ルールをコピーして入れる |
| CSS、JavaScript、画像のブロック | ページをレンダリングできない | ファイルを許可する |
| ワイルドカードが広すぎる | /*?がフィルターやページをブロック | パターンを絞る |
| User-agentより前のルール、入力ミス | 行が読み飛ばされる | 構文を直す |
| インデックス削除のためのDisallow | noindexが読まれない | 許可してからnoindex |
| wwwと非wwwで違う | ホストによってルールが違う | 1つのファイルを配信する |
XMLサイトマップに載せているURLをブロックすると、矛盾したシグナルになります。その側面はXMLサイトマップチェッカーのガイドで扱っています。
サーバーエラーとファイルサイズ
ファイルの配信のされ方は、中身と同じくらい重要です。Googleはそれぞれのケースを文書化しています:
| ケース | Googleの扱い | 期間 |
|---|---|---|
| 4xx(429以外) | ファイルがないものとしてクロール | 直るまで |
| 5xxまたは429 | サイトのクロールを停止 | 最初の12時間 |
| まだ失敗している | 最後に正常だったコピーを使う | 最長30日 |
| 500 KiBを超えるファイル | 残りを無視 | 500 KiBより後 |
| あらゆる変更 | キャッシュしたコピーを使う | 最長24時間 |
robots.txtレポートの再クロールのリクエストは、急ぎの修正のためのものです。間の悪いときにタイムアウトしたrobots.txtは、サイト全体のクロールを止めてしまうことがあります。それが大規模サイトで特に重要な理由はクロールバジェットのガイドで説明しています。
自社のrobots.txtでわかったこと
2026年11月20日のneova.appのSEOチェックで、意図した以上にブロックしていたルールが2つ見つかりました:
| ブロックされていたもの | 影響したページ | Googleに見えていたもの | 修正 |
|---|---|---|---|
| /cdn-cgi/ 以下のCloudflareのメール用スクリプト | 1,320 | 取得できないスクリプト | そのスクリプトを許可 |
| /favicon と /apple-touch-icon.png | すべての検索結果 | ロゴではなく文字だけ | 両方のファイルを許可 |
ファビコンのファイルはDisallow: /ルールでブロックされていました。Googleのファビコンのガイドラインでは、Googlebot-Imageがファイルをクロールできる必要があるため、検索結果ではneova.appの横にロゴではなく文字が表示されていました。どちらのルールも、ファイル上では間違っているようには見えませんでした。ページが読み込むすべてのURLとファイルに対してルールをテストして初めて見つかったのです。
robots.txtを安全にテストする方法
- サイトをクロールし、覚えている一部のURLだけでなく、実際のURLの完全なリストを用意します。
- 公開中のファイルをテストします。重要なクローラーごとに、そのリストに対して行います:Googlebot、Googlebot-Image、Bingbot、AIクローラーです。
- 変更を下書きとして書き、同じリストに対して下書きをテストします。新たにブロックされるURLと新たに許可されるURLを確認します。
- リソースを確認します。インデックス可能なページが、スクリプト、スタイルシート、画像を失わないようにします。
- 公開してから確認します。Search Consoleのrobots.txtレポートで、Googleが新しいバージョンをエラーなしで取得したことを確かめます。
- もう一度クロールして比べ、後から誤って変更されたときに気づけるようにします。
AIクローラーに何を取得させるかを決めるなら、AIクローラーのガイドに名前とそれぞれの役割の一覧があります。ブロックされたページはインデックス可能性チェッカーのガイドでも扱っています。
Neovaでrobots.txtをテストする
Neovaのrobots.txt Testerは、公開中のファイルや下書きのすべての行を、Googleの文書とRFC 9309の定義に沿ってわかりやすい言葉で説明し、各ルールに一致するクロール済みのURLを示します。すべてのクローラーのビューでは、Googlebot、Bingbot、AIクローラーが何を取得でき、それぞれどのURLがブロックされているかを表示します。クローラー専用のグループで*のグループのルールが無視される場合もそれを示し、下書きのテストでは、変更によって新たにブロックまたは許可されるクロールのすべてのURLを一覧にします。その後、下書きに従ってクロールし、影響の全体を確認できます。その元になるチェック項目:
- robots.txtに無効な構文や不明なフィールドがある
- robots.txtにアクセスできない、またはサイズが大きすぎる:5xx、429、応答なし、500 KiB超の場合
- 内部URLがrobots.txtでDisallowされている
- HTMLページでrobots.txtによりDisallowされたJavaScriptファイルが使われている、スタイルシート、画像
- robots.txtですべてのユーザーエージェントにCrawl-delayが設定されている
- ホストのバリエーションのrobots.txtがcanonicalホストと異なる
- robots.txtのルールが前回のクロールから変更されている
- ファビコンがない、壊れている、またはブロックされている:Googlebot-ImageにDisallowされたファビコンも含みます
- Disallow対象のURLがXMLサイトマップに掲載されている
Neovaはクロールで読んだrobots.txtのバージョンをすべて保存するので、いつルールが変わったかがわかります。ユーザーエージェントの設定で、Googlebot、Bingbot、AIクローラー、または独自の文字列としてクロールできます。機能をご覧になるか、Neovaをダウンロードしてください。
よくある質問
Googleにはまだrobots.txtテスターがありますか?
いいえ。Googleは2023年にSearch Consoleのrobots.txtテスターを廃止し、公開中のファイルをGoogleがどう読んだかとエラーを示すrobots.txtレポートに置き換えました。公開前に変更をテストするには、別のrobots.txtテスターを使いましょう。
URLがrobots.txtでブロックされているかはどうテストしますか?
クローラーのユーザーエージェントに一致するグループを見つけ、次にURLに一致する最も長いAllowまたはDisallowのパスを探します。そのルールで決まります。robots.txtテスターなら、1つのURLでもクロールの全URLでも、これを代わりに行って該当する行を示してくれます。特殊なケースにはSEO ProCheckのrobots.txt FAQが答えています。
robots.txtでページのインデックスを止められますか?
いいえ。止めるのはクロールです。ブロックしたURLも、ほかのページからリンクされていればインデックスに登録されることがあります。検索結果から外したいなら、Googleがクロールできるページでnoindexを使いましょう。
GooglebotがUser-agent: * のルールを無視するのはなぜですか?
ファイルにGooglebot用のグループがあるからです。クローラーは自分に一致する最も具体的なグループだけに従うので、共通のルールをGooglebotのグループにもコピーしましょう。
robots.txtの変更が反映されるまでどのくらいかかりますか?
Googleは通常、robots.txtを最長24時間キャッシュします。急ぎの修正の後は、Search Consoleのrobots.txtレポートで再クロールをリクエストできます。