Neova高機能SEOプラットフォーム

テクニカルSEOクローラー:できることと選び方

テクニカルSEOクローラーは、検索エンジンと同じようにサイトを読み、何が妨げになっているかを教えてくれます。何をチェックすべきか、各チェックの背後にある数値、私たち自身のサイトのフルクロールで見つかったもの、ツールの選び方を紹介します。

クローラーの選び方テクニカルSEO クローラー2026年11月21日更新Neovaチーム

テクニカルSEOクローラーの役割

テクニカルSEOクローラーは1つのURLから始め、それを取得し、リンクを読んでたどります。Googlebotが繰り返すのと同じループです。URLごとに、ステータスコード、ヘッダー、HTML、canonical、robotsの指示、内外のリンクを記録します。

クロールは仕事の半分です。残りの半分は、ページ同士を比べ、検索エンジンが公開しているルールと比べることです。リンク切れが1つあるのはすぐにわかります。しかし3,000の商品ページでcanonicalがリダイレクトを指していることには、なかなか気づけません。そこでこそクローラーが真価を発揮します。

ほとんどのクローラーはXMLサイトマップとrobots.txtも読むので、サイトがどのページを重要だとしているか、どのページをブロックしているか、両者がどこで食い違っているかがわかります。

テクニカルSEO監査ツールがチェックすべきこと

本格的なサイト監査クローラーは、どれも同じ中核の領域をカバーしています。目指すべき目標と、外れたときにフラグを付けるNeovaのチェック項目とともに紹介します。

分野目標Neovaのチェック項目
ステータスコード4xxや5xxへの内部リンクが0件内部URLが4xx、5xxを返すか応答しない
リダイレクト1ホップ、チェーンなし内部URLがリダイレクトチェーンの中にある
canonical200を返すURLを指すcanonicalがリダイレクトするURLを指している
XMLサイトマップのサイズ1ファイルあたり50,000 URL、50 MBXMLサイトマップのエントリが50,000件を超えている
XMLサイトマップのカバー率すべてのインデックス可能なページを掲載インデックス可能なURLがどのXMLサイトマップにもない
robots.txtGoogleが読むのは500 KiBまでrobots.txtにアクセスできない、またはサイズが大きすぎる
クロール深度3クリック以内インデックス可能なURLのクロール深度が4以上
title60文字(一般的な既定値)titleタグが60文字を超えている
meta description155文字(一般的な既定値)メタディスクリプションが155文字を超えている
hreflangすべての指定先にリターンリンクhreflangのリターンリンクがない

厳密な上限は出典に基づいています。1ファイルあたり50,000 URLと50 MBはsitemaps.orgのプロトコル、500 KiBはGoogleのrobots.txtの仕様、リターンリンクはGoogleのhreflangのガイドです。titleとdescriptionの長さは表示上の既定値であり、ルールではありません。Googleはピクセル幅で切り詰めるので、要修正ではなく要確認として扱いましょう。

各領域をより詳しく見るには、SEO ProCheckのテクニカルSEO監査チェックリストをご覧ください。

私たち自身のサイトのフルクロールで見つかったもの

2026年10月17日、私たち自身のサイトseoprocheck.comをNeovaで、XMLサイトマップも含めてフルクロールしました。その数値です。

指標seoprocheck.com、2026年10月17日
取得したURL10,222
時間61分
200を返すHTMLページ4,561
XMLサイトマップ内のURL1,835
リンクで到達、サイトマップには未記載2,727
サイトマップにあり、どのリンクからも到達しない1
完了率99.98%
ページ本文生データ1.66 GB、保存時340 MB
フラグURL
メタディスクリプションが155文字を超えている582
titleタグが60文字を超えている557
HTMLページ間でtitleが重複56
canonicalが別の内部URLを指している5
画像にaltテキストがない2

教訓は2つあります。1つ目に、サイトマップが示していたのは全体の半分でした。2,727 URLはリンクからたどれるのにどこにも掲載されておらず、これはリンクをたどりサイトマップも読むクロールでしかわかりません。2つ目に、最も件数が多かったのは長さのフラグで、これは判断が分かれるものです。canonicalの5件とaltの欠落2件は数は少ないものの、すぐに片付きます。件数の大きさではなく、フラグが何に影響するかで並べ替えましょう。

テクニカルSEOクロールの実行方法

  1. 開始URLを選ぶ。200を返すホームページのバージョンを使います。httpやもう一方のホストも200を返すなら、それが最初の指摘事項です。
  2. 範囲を決める。サイト全体、いくつかのフォルダ、またはテンプレートごとのサンプル。大規模なサイトでは、テンプレートごとのサンプルのほうが早くパターンが見つかります。
  3. XMLサイトマップをオンにする。リンクの後にサイトマップをクロールすると、サイトマップには載っているのにリンクからたどれないページがわかります。
  4. JavaScriptレンダリングの有無を決める。フレームワークを使ったサイトでは、サンプルをレンダリングして元のHTMLと比較します。
  5. サーバーに負荷をかけない速度にする。毎秒数URLで十分です。速くするのは自分が所有するサイトだけにしましょう。
  6. 最初の数分を見守る。URLの数が想定よりはるかに速く増えていくなら、カレンダー、ファセットのフィルター、セッションIDなどのクロールトラップが見つかったということです。それを除外して続けます。
  7. まずサマリーを読む。最も多くのインデックス可能なページに関わる問題から始めます。

初めてですか?最初のクロールで、Neovaでの手順を順に紹介しています。

結果に溺れずに読む方法

中規模サイトの完全な監査では、数千件のフラグが出ることがあります。そのほとんどはいくつかの原因、たいていはテンプレートから来ています。

  • テンプレートごとにまとめる。商品ページの90%に同じフラグがあるなら、それは4,000枚のチケットではなく1つの修正です。
  • トラフィックで重み付けする。検索からのクリックがある壊れたページは、誰も訪れないページより重要です。Google Search Consoleのデータをクロールと結び付けましょう。
  • 要修正と要確認を分ける。重要なページの5xxは要修正です。上限を数文字超えるtitleは判断次第です。
  • 出典を確認する。開発者からなぜそのルールがあるのかと聞かれたら、GoogleやW3Cのドキュメントで答えます。各ステータスコードの意味は、SEO ProCheckのHTTPステータスコードのリファレンスで解説しています。
  • 修正後に再クロールする。2つのクロールを比べることだけが、修正が反映され、ほかに何も壊れていないことの証明になります。
Neovaのすべてのフラグ:デモのクロールで要修正のチェック項目12件と要確認30件。それぞれにフラグが立つ条件、通常考えられること、できること
Neovaのすべてのフラグ:デモのクロールで要修正のチェック項目12件と要確認30件。それぞれにフラグが立つ条件、通常考えられること、できること

自分に合ったSEOクローラーの選び方

唯一の最良のSEOクローラーはありません。小規模なサイトを監査するフリーランスと、100万URLを抱える社内チームとでは、必要なものが違います。次の質問で整理しましょう。

質問確認することNeova
どこで動くか?自分のパソコン、またはブラウザ
クロールはどこまで大きくできるか?URLの上限、ディスクへの保存最大500万URL
JavaScriptをレンダリングできるか?元のHTMLとレンダリング後を並べて✓
チェック項目は説明されているか?ルール、意味、直し方、出典694のチェック項目
クロールを比較できるか?新規、修正済み、変更されたURL✓
その後に何ができるか?エクスポート、チケット、アラート✓
無料で試せるか?プランまたはトライアル1,000 URL、全チェック項目

500万という数字はDesktopプランのもので、お使いのパソコンによって変わります。比較ページでは、各社の公式ドキュメントをもとに、NeovaをScreaming Frog、Sitebulbなどと1行ずつ並べています。

NeovaのテクニカルSEOクロール

Neovaは、Mac(Appleシリコン)、Windows、Linux向けのデスクトップSEOクローラーで、同じアカウントでブラウザのNeova Onlineも使えます。開始URL、そのリンク、XMLサイトマップからクロールし、694のチェック項目を実行します。各チェック項目には、いつフラグが付くか、通常何を意味するか、何ができるかが書かれ、出典へのリンクがあります。

  • 範囲:フルクロール、フォルダ、ページグループごとのサンプル、URLのリスト。
  • デフォルトでサーバーに負荷をかけない速度:毎秒3 URLで、サーバーが429や503を返すと自動で速度を落とします。
  • すべてのURLを把握:見つかった各URLは1つの区分に振り分けられ、ディスカバリーが停止せずにクロールトラップの除外を提案します。
  • レンダリング:オプションでChromeによるJavaScriptレンダリングを行い、元のHTMLと比較します。
  • クロールの後:要修正と要確認のフラグ、チェック項目とページグループごとのチケット、アクションプラン、クロールを比較、CSVからブランド入りPDFまでのエクスポート。

全リストは機能のページに、ほかのクローラーとの比較は比較にあります。

テクニカルSEOクロールの簡易チェックリスト

  • 200を返すホームページのバージョンは1つで、ほかはそこにリダイレクトしている。
  • 4xxや5xxのURLへの内部リンクがない。
  • 内部URL間にリダイレクトチェーンやループがない。
  • canonicalが200を返すインデックス可能なURLを指している。
  • すべてのインデックス可能なページがXMLサイトマップにあり、それ以外はない。
  • ホームページから3クリックより深い重要なページがない。
  • 「見つかりません」と表示しながら200を返すページがない。titleまたはH1にソフト404を示す語句があるをご覧ください。
  • title、リンク、本文が元のHTMLにある。
  • robots.txtがブロックすべきものだけをブロックしている。

作業中は、Googleのcanonical URLのガイドを開いておき、クライアントからの質問にはSEO ProCheckのSEO監査FAQを参照しましょう。

よくある質問

テクニカルSEOクローラーとは何ですか?

検索エンジンと同じようにリンクをたどってサイトをページごとに取得し、ステータスコード、指示、canonical、リンクを記録するプログラムです。そのうえで、そのデータを検索エンジンのルールと照らし合わせ、クロールやインデックスの妨げになるものにフラグを付けます。

おすすめのSEOクローラーは?

扱うサイトに合ったものです。どこで動くか、クロールをどこまで大きくできるか、JavaScriptをレンダリングするか、各指摘事項がどれだけわかりやすく説明されているか、クロールを比較できるかを比べましょう。決める前に自分のサイトで試してください。

サイト監査クローラーはGoogle Search Consoleと同じですか?

いいえ。Search ConsoleはGoogleが何を見て何をしたかを示します。クローラーは、たどれるすべてのURLで、サイトが今何を返しているかを示します。両者は組み合わせると最も効果的で、だからこそ多くのクローラーがSearch Consoleのデータをクロールと結び付けています。

テクニカルSEOクロールにはどのくらい時間がかかりますか?

サイトの規模と設定した速度によります。2026年10月17日の私たち自身のseoprocheck.comのフルクロールでは、61分で10,222 URLを取得しました。テンプレートごとのサンプルなら数分です。

テクニカルSEOクロールはどのくらいの頻度で行うべきですか?

大きなリリースのたびに、変化の多いサイトでは毎週行います。変化が目立つように、各クロールを前回のものと比較しましょう。

Neovaは無料で試せますか?

はい。Freeプランでは、すべてのチェック項目を使って1回のクロールで最大1,000 URLまでクロールでき、Desktopプランにはカード不要の14日間トライアルがあります。料金をご覧になるか、Neovaをダウンロードしてください。

このページを活用する

アシスタントのリンクを開くと、このページについての質問が入力された状態で始まります。

NeovaでサイトをクロールFreeプランはMac、Windows、Linuxですべてのチェック項目を実行します。クレジットカードは不要です。

関連ガイド