テクニカルSEOクローラー:できることと選び方
テクニカルSEOクローラーは、検索エンジンと同じようにサイトを読み、何が妨げになっているかを教えてくれます。何をチェックすべきか、各チェックの背後にある数値、私たち自身のサイトのフルクロールで見つかったもの、ツールの選び方を紹介します。
テクニカルSEOクローラーの役割
テクニカルSEOクローラーは1つのURLから始め、それを取得し、リンクを読んでたどります。Googlebotが繰り返すのと同じループです。URLごとに、ステータスコード、ヘッダー、HTML、canonical、robotsの指示、内外のリンクを記録します。
クロールは仕事の半分です。残りの半分は、ページ同士を比べ、検索エンジンが公開しているルールと比べることです。リンク切れが1つあるのはすぐにわかります。しかし3,000の商品ページでcanonicalがリダイレクトを指していることには、なかなか気づけません。そこでこそクローラーが真価を発揮します。
ほとんどのクローラーはXMLサイトマップとrobots.txtも読むので、サイトがどのページを重要だとしているか、どのページをブロックしているか、両者がどこで食い違っているかがわかります。
テクニカルSEO監査ツールがチェックすべきこと
本格的なサイト監査クローラーは、どれも同じ中核の領域をカバーしています。目指すべき目標と、外れたときにフラグを付けるNeovaのチェック項目とともに紹介します。
| 分野 | 目標 | Neovaのチェック項目 |
|---|---|---|
| ステータスコード | 4xxや5xxへの内部リンクが0件 | 内部URLが4xx、5xxを返すか応答しない |
| リダイレクト | 1ホップ、チェーンなし | 内部URLがリダイレクトチェーンの中にある |
| canonical | 200を返すURLを指す | canonicalがリダイレクトするURLを指している |
| XMLサイトマップのサイズ | 1ファイルあたり50,000 URL、50 MB | XMLサイトマップのエントリが50,000件を超えている |
| XMLサイトマップのカバー率 | すべてのインデックス可能なページを掲載 | インデックス可能なURLがどのXMLサイトマップにもない |
| robots.txt | Googleが読むのは500 KiBまで | robots.txtにアクセスできない、またはサイズが大きすぎる |
| クロール深度 | 3クリック以内 | インデックス可能なURLのクロール深度が4以上 |
| title | 60文字(一般的な既定値) | titleタグが60文字を超えている |
| meta description | 155文字(一般的な既定値) | メタディスクリプションが155文字を超えている |
| hreflang | すべての指定先にリターンリンク | hreflangのリターンリンクがない |
厳密な上限は出典に基づいています。1ファイルあたり50,000 URLと50 MBはsitemaps.orgのプロトコル、500 KiBはGoogleのrobots.txtの仕様、リターンリンクはGoogleのhreflangのガイドです。titleとdescriptionの長さは表示上の既定値であり、ルールではありません。Googleはピクセル幅で切り詰めるので、要修正ではなく要確認として扱いましょう。
各領域をより詳しく見るには、SEO ProCheckのテクニカルSEO監査チェックリストをご覧ください。
私たち自身のサイトのフルクロールで見つかったもの
2026年10月17日、私たち自身のサイトseoprocheck.comをNeovaで、XMLサイトマップも含めてフルクロールしました。その数値です。
| 指標 | seoprocheck.com、2026年10月17日 |
|---|---|
| 取得したURL | 10,222 |
| 時間 | 61分 |
| 200を返すHTMLページ | 4,561 |
| XMLサイトマップ内のURL | 1,835 |
| リンクで到達、サイトマップには未記載 | 2,727 |
| サイトマップにあり、どのリンクからも到達しない | 1 |
| 完了率 | 99.98% |
| ページ本文 | 生データ1.66 GB、保存時340 MB |
| フラグ | URL |
|---|---|
| メタディスクリプションが155文字を超えている | 582 |
| titleタグが60文字を超えている | 557 |
| HTMLページ間でtitleが重複 | 56 |
| canonicalが別の内部URLを指している | 5 |
| 画像にaltテキストがない | 2 |
教訓は2つあります。1つ目に、サイトマップが示していたのは全体の半分でした。2,727 URLはリンクからたどれるのにどこにも掲載されておらず、これはリンクをたどりサイトマップも読むクロールでしかわかりません。2つ目に、最も件数が多かったのは長さのフラグで、これは判断が分かれるものです。canonicalの5件とaltの欠落2件は数は少ないものの、すぐに片付きます。件数の大きさではなく、フラグが何に影響するかで並べ替えましょう。
テクニカルSEOクロールの実行方法
- 開始URLを選ぶ。200を返すホームページのバージョンを使います。httpやもう一方のホストも200を返すなら、それが最初の指摘事項です。
- 範囲を決める。サイト全体、いくつかのフォルダ、またはテンプレートごとのサンプル。大規模なサイトでは、テンプレートごとのサンプルのほうが早くパターンが見つかります。
- XMLサイトマップをオンにする。リンクの後にサイトマップをクロールすると、サイトマップには載っているのにリンクからたどれないページがわかります。
- JavaScriptレンダリングの有無を決める。フレームワークを使ったサイトでは、サンプルをレンダリングして元のHTMLと比較します。
- サーバーに負荷をかけない速度にする。毎秒数URLで十分です。速くするのは自分が所有するサイトだけにしましょう。
- 最初の数分を見守る。URLの数が想定よりはるかに速く増えていくなら、カレンダー、ファセットのフィルター、セッションIDなどのクロールトラップが見つかったということです。それを除外して続けます。
- まずサマリーを読む。最も多くのインデックス可能なページに関わる問題から始めます。
初めてですか?最初のクロールで、Neovaでの手順を順に紹介しています。
結果に溺れずに読む方法
中規模サイトの完全な監査では、数千件のフラグが出ることがあります。そのほとんどはいくつかの原因、たいていはテンプレートから来ています。
- テンプレートごとにまとめる。商品ページの90%に同じフラグがあるなら、それは4,000枚のチケットではなく1つの修正です。
- トラフィックで重み付けする。検索からのクリックがある壊れたページは、誰も訪れないページより重要です。Google Search Consoleのデータをクロールと結び付けましょう。
- 要修正と要確認を分ける。重要なページの5xxは要修正です。上限を数文字超えるtitleは判断次第です。
- 出典を確認する。開発者からなぜそのルールがあるのかと聞かれたら、GoogleやW3Cのドキュメントで答えます。各ステータスコードの意味は、SEO ProCheckのHTTPステータスコードのリファレンスで解説しています。
- 修正後に再クロールする。2つのクロールを比べることだけが、修正が反映され、ほかに何も壊れていないことの証明になります。

自分に合ったSEOクローラーの選び方
唯一の最良のSEOクローラーはありません。小規模なサイトを監査するフリーランスと、100万URLを抱える社内チームとでは、必要なものが違います。次の質問で整理しましょう。
| 質問 | 確認すること | Neova |
|---|---|---|
| どこで動くか? | 自分のパソコン、またはブラウザ | |
| クロールはどこまで大きくできるか? | URLの上限、ディスクへの保存 | 最大500万URL |
| JavaScriptをレンダリングできるか? | 元のHTMLとレンダリング後を並べて | ✓ |
| チェック項目は説明されているか? | ルール、意味、直し方、出典 | 694のチェック項目 |
| クロールを比較できるか? | 新規、修正済み、変更されたURL | ✓ |
| その後に何ができるか? | エクスポート、チケット、アラート | ✓ |
| 無料で試せるか? | プランまたはトライアル | 1,000 URL、全チェック項目 |
500万という数字はDesktopプランのもので、お使いのパソコンによって変わります。比較ページでは、各社の公式ドキュメントをもとに、NeovaをScreaming Frog、Sitebulbなどと1行ずつ並べています。
NeovaのテクニカルSEOクロール
Neovaは、Mac(Appleシリコン)、Windows、Linux向けのデスクトップSEOクローラーで、同じアカウントでブラウザのNeova Onlineも使えます。開始URL、そのリンク、XMLサイトマップからクロールし、694のチェック項目を実行します。各チェック項目には、いつフラグが付くか、通常何を意味するか、何ができるかが書かれ、出典へのリンクがあります。
- 範囲:フルクロール、フォルダ、ページグループごとのサンプル、URLのリスト。
- デフォルトでサーバーに負荷をかけない速度:毎秒3 URLで、サーバーが429や503を返すと自動で速度を落とします。
- すべてのURLを把握:見つかった各URLは1つの区分に振り分けられ、ディスカバリーが停止せずにクロールトラップの除外を提案します。
- レンダリング:オプションでChromeによるJavaScriptレンダリングを行い、元のHTMLと比較します。
- クロールの後:要修正と要確認のフラグ、チェック項目とページグループごとのチケット、アクションプラン、クロールを比較、CSVからブランド入りPDFまでのエクスポート。
全リストは機能のページに、ほかのクローラーとの比較は比較にあります。
テクニカルSEOクロールの簡易チェックリスト
- 200を返すホームページのバージョンは1つで、ほかはそこにリダイレクトしている。
- 4xxや5xxのURLへの内部リンクがない。
- 内部URL間にリダイレクトチェーンやループがない。
- canonicalが200を返すインデックス可能なURLを指している。
- すべてのインデックス可能なページがXMLサイトマップにあり、それ以外はない。
- ホームページから3クリックより深い重要なページがない。
- 「見つかりません」と表示しながら200を返すページがない。titleまたはH1にソフト404を示す語句があるをご覧ください。
- title、リンク、本文が元のHTMLにある。
- robots.txtがブロックすべきものだけをブロックしている。
作業中は、Googleのcanonical URLのガイドを開いておき、クライアントからの質問にはSEO ProCheckのSEO監査FAQを参照しましょう。
よくある質問
テクニカルSEOクローラーとは何ですか?
検索エンジンと同じようにリンクをたどってサイトをページごとに取得し、ステータスコード、指示、canonical、リンクを記録するプログラムです。そのうえで、そのデータを検索エンジンのルールと照らし合わせ、クロールやインデックスの妨げになるものにフラグを付けます。
おすすめのSEOクローラーは?
扱うサイトに合ったものです。どこで動くか、クロールをどこまで大きくできるか、JavaScriptをレンダリングするか、各指摘事項がどれだけわかりやすく説明されているか、クロールを比較できるかを比べましょう。決める前に自分のサイトで試してください。
サイト監査クローラーはGoogle Search Consoleと同じですか?
いいえ。Search ConsoleはGoogleが何を見て何をしたかを示します。クローラーは、たどれるすべてのURLで、サイトが今何を返しているかを示します。両者は組み合わせると最も効果的で、だからこそ多くのクローラーがSearch Consoleのデータをクロールと結び付けています。
テクニカルSEOクロールにはどのくらい時間がかかりますか?
サイトの規模と設定した速度によります。2026年10月17日の私たち自身のseoprocheck.comのフルクロールでは、61分で10,222 URLを取得しました。テンプレートごとのサンプルなら数分です。
テクニカルSEOクロールはどのくらいの頻度で行うべきですか?
大きなリリースのたびに、変化の多いサイトでは毎週行います。変化が目立つように、各クロールを前回のものと比較しましょう。
Neovaは無料で試せますか?
はい。Freeプランでは、すべてのチェック項目を使って1回のクロールで最大1,000 URLまでクロールでき、Desktopプランにはカード不要の14日間トライアルがあります。料金をご覧になるか、Neovaをダウンロードしてください。