JavaScript SEOクローラー:JavaScriptサイトをクロールする方法
React、Vue、Angular、Next.jsで作ったサイトは、ブラウザでは完璧に見えても、クローラーにはほとんど空のページを渡していることがあります。JavaScript SEOクローラーは、サーバーが送るHTMLとスクリプト実行後のページの両方を示し、どこが食い違うかを教えてくれます。
JavaScriptサイトに別のクロールが必要な理由
GoogleはJavaScriptのページを3つの段階で処理します。クロールし、リソースに余裕があるときにヘッドレスChromiumでレンダリングし、そしてインデックスに登録します。クロールとレンダリングの間の待ち行列については、GoogleのJavaScript SEOの基本で説明されています。レンダリングされるまで、Googleは生のHTMLを使います。
ほかのクローラーは一度もレンダリングしないことがあります。多くのAIクローラーや一部の検索エンジンは、サーバーが送るHTMLしか読みません。本当に問うべきは、レンダリング前に何が欠けているか、そして途中で何かが変わるかどうかです。
通常のHTMLクローラーが見るのは生のレスポンスだけです。JavaScript SEOクローラーは各ページを実際のブラウザで読み込み、表示が落ち着くのを待ち、両方のバージョンを並べて保持します。SEO ProCheckでは、検索エンジンとAIクローラーがページをどうレンダリングするかを順を追って解説しています。
クライアントサイド、サーバーサイド、静的、ハイドレーションのページ
サイトがページをどう組み立てるかで、生のHTMLに含まれるべき内容が決まります。
| ページの組み立て方 | 生のHTMLの中身 | JavaScriptなしのテキスト | よくある構成 |
|---|---|---|---|
| クライアントサイドレンダリング | ルートのdivとscriptタグ | – | React、Vue、Angularのアプリ |
| サーバーサイドレンダリング | ページ全体 | ✓ | Next.js、Nuxt、Angular SSR |
| 静的生成 | ページ全体(事前生成) | ✓ | 静的エクスポート、サイトジェネレーター |
| ハイドレーション | ページ全体、その後にスクリプト | ✓ | ほとんどのフレームワークのサイト |
| 混在 | テンプレートによる | ◐ | ほとんどの実際のサイト |
Next.jsのサイトでは、商品ページをサーバーから配信し、検索結果やアカウントのページをブラウザで組み立てることがあります。だからテンプレートごとに確認します。クライアントでレンダリングされるテンプレートが1つあるだけで、数千のURLが隠れることがあります。
レンダリング後のHTMLと生のHTML:何を比べるか
要素ごとに比べます。それぞれについて、そもそも生のHTMLにあるか、そしてJavaScriptで変わるかを確認します。
| 要素 | レンダリング後にしかない場合のリスク | Neovaのチェック項目 |
|---|---|---|
| title | ページに名前がない | titleがレンダリング後のHTMLにのみ存在 |
| meta description | スニペットの元がない | meta descriptionがレンダリング後のHTMLにだけある |
| H1 | トピックが見えない | H1がレンダリング後のHTMLにだけある |
| canonical | 2つの異なるシグナル | canonicalがJavaScriptで変更または削除されている |
| noindex | Googleがレンダリングを省くことがある | noindexディレクティブがJavaScriptで削除される |
| 内部リンク | 発見が遅れる、または発見されない | 内部リンクがレンダリング後のHTMLにのみ存在 |
| 本文 | 中身の薄い生のページ | 本文の大部分がレンダリング後のHTMLにのみ存在 |
構造化データやhreflangもスクリプトで挿入できます。両方のバージョンにあり、内容が同じかを確認しましょう。最も安全なのは地味なやり方です。検索に関わるものはすべてサーバーのHTMLに入れ、JavaScriptは操作性を加えるだけにします。
JavaScriptサイトで重要な数値
| 上限 | 値 | 出典 |
|---|---|---|
| Googlebotが1ファイルあたりに取得するHTML | 最初の15 MB | |
| フラグが立つレンダリング時間 | 4秒超 | JavaScriptのレンダリングに4秒を超える時間がかかる |
| 本文がレンダリング後のHTMLにしかない | 半分超、50語以上 | ページグループの本文やナビゲーションがJavaScriptのレンダリングに依存している |
| ナビゲーションのリンクがレンダリング後にしかない | 半分以上 | ページグループの本文やナビゲーションがJavaScriptのレンダリングに依存している |
| サーバーに送られるハッシュのルート | # より後ろは何も送られない | RFC 3986 |
4秒と本文の半分という基準はNeovaのしきい値で、各チェック項目のルールに明記しています。15 MBとフラグメントの規則は、GoogleとURIの標準に基づきます。
JavaScript SEOクロールの設定方法
- まずはレンダリングせずにクロールします。高速な生のクロールで、サーバーが何を送っているかがわかります。見つかるページがごく少ない場合、ナビゲーションにJavaScriptが必要だと考えられます。
- テンプレートごとにサンプルをレンダリングします。ページグループごとに数ページを見れば、どのテンプレートがスクリプトに依存しているかがわかります。サイト全体のレンダリングは、依存している部分だけで十分です。
- ページが落ち着くのを待ちます。通信が静かになり、ページの変化が止まるまで待ちます。
- スクリプトをブロックしないでください。HTMLページでrobots.txtによりDisallowされたJavaScriptファイルが使われているをご覧ください。
- 速度は控えめに。1ページのレンダリングで、スクリプト、スタイル、API呼び出しのリクエストが数十件になることがあります。
- 失敗も確認します。JavaScript のレンダリングが失敗またはタイムアウトをご覧ください。

範囲、速度、許可についてはWebサイトのクロール方法のガイドで説明しています。
クローラーで見つかるJavaScript SEOのよくある問題
- リンクに見えてリンクでないもの。Googleがたどるのは、
hrefのあるa要素です。クリックハンドラーのついたボタンはリンクではありません。Googleのクロール可能なリンクのガイドをご覧ください。 - ハッシュの後ろのルート。
/#/productsは1つのページに見えます。ハッシュより後ろはサーバーに届かないからです。History APIと実際のパスを使いましょう。 - ソフト404。シングルページアプリは、どのルートにも200を返し、ブラウザ上で「見つかりません」と表示することがよくあります。
- クリックやスクロールを待つコンテンツ。クローラーはタブをクリックしません。インデックスされるように読み込む方法は、Googleの遅延読み込みコンテンツの解説にあります。
- 最初のルートのまま変わらないメタデータ。ルーターが更新しない限り、titleとcanonicalは最初のページの値のままです。
- JavaScriptによるリダイレクト。サーバーのリダイレクトより認識が遅く、まったく気づかないクローラーもあります。
- コンテンツを消してしまうエラー。API呼び出しが1つ失敗するだけで、ページのtitleや本文がなくなることがあります。JavaScriptのエラーでレンダリング時にtitle、canonical、本文が消えるをご覧ください。
詳しくはSEO ProCheckのJavaScript SEO FAQをご覧ください。
React、Next.js、シングルページアプリのサイトをクロールする
シングルページアプリ。生のHTMLはほぼ空で、生のクロールで見つかるページも少ないと考えてください。ルートの種類ごとにサンプルをレンダリングし、どのルートにも固有のURL、title、canonicalがあるか、存在しないページが本当に404ステータスを返すかを確認します。サーバーレンダリングや静的生成にすれば、すべてのクローラーに一度に効果があります。
Next.jsやNuxtのサイト。ほとんどのページはすでに生のHTMLにあります。例外を探しましょう。ブラウザで組み立てられるルート、クライアントコンポーネントで設定されるメタデータ、ハイドレーション後にしか表示されないメニューです。
混在。URLをテンプレートごとにまとめ、グループごとに、コンテンツが生のHTMLにあるページの割合を見ます。ほかより大きく低いグループがあれば、たいてい直すべきテンプレートは1つです。リリースのたびにテストしましょう。小さなコンポーネントの変更で、titleやリンクがサーバーからブラウザに移ることがあります。
Googleの先へ:AIクローラーと生のHTML
AIアシスタントは質問に答えるためにページを取得し、そのクローラーの多くは届いたままのHTMLを読みます。本文にJavaScriptが必要なページは、Googleには問題なくインデックスされていても、AIクローラーにはほとんど空に見えることがあります。SEO ProCheckではSSRとCSR、そしてAIでの可視性を解説しています。
そのため、JavaScript SEOのクロールでは、各AIクローラーに何が返されているかも確認すべきです。トークンとrobots.txtのルールについてはAIクローラーのガイドで説明しています。
NeovaがJavaScriptサイトをクロールする仕組み
NeovaはMac(Appleシリコン)、Windows、Linuxで動作し、ブラウザ版のNeova Onlineもあります。JavaScriptレンダリングはFreeプランを含むすべてのプランで使えます。
| 機能 | 機能 |
|---|---|
| Chromeでのレンダリング | 全ページ、またはグループごとに数ページ |
| レンダリングの待ち時間 | ページが落ち着くまで待つ |
| レンダリング列 | Server-Rendered、Hydrated、Needs JavaScript |
| ソース、元のHTMLとレンダリング後 | 両方のHTMLを並べて表示 |
| レンダリング画面 | 各AIクローラーに返される内容 |
| Crawled Without Renderingバッジ | スキップしたチェック項目、ワンクリックで再クロール |
| Chromeで取得 | ボット対策のあるサイト向け |
最初のクロールが速く終わるように、レンダリングは初期設定でオフです。Chromeで取得はデスクトップアプリにあります。そのほかの機能は機能ページに、ほかのクローラーのレンダリングの扱いは比較に、大規模なレンダリングは高度なSEOクローラーのガイドにまとめています。
よくある質問
JavaScript SEOクローラーとは何ですか?
ページを実際のブラウザで読み込み、スクリプトを実行し、レンダリング後のページを、サーバーが送った生のHTMLと並べて保持するクローラーです。両者を比べると、JavaScriptの実行後にしか存在しないtitle、リンク、canonical、テキストがわかります。
GoogleはJavaScriptをレンダリングしますか?
はい。GoogleはURLをクロールし、ヘッドレスChromiumでのレンダリング待ちに入れ、レンダリング後のページをインデックスに登録します。レンダリングはクロールより遅れることがあり、多くのAIクローラーは生のHTMLしか読みません。
生のHTMLとレンダリング後のHTMLの違いは何ですか?
生のHTMLは、スクリプトが実行される前にサーバーが送るものです。レンダリング後のHTMLは、ブラウザがJavaScriptを実行した後のページです。サーバーレンダリングのサイトでは両者はほぼ同じですが、クライアントでレンダリングするアプリでは、生のHTMLがほとんど空のこともあります。
JavaScriptサイトは全ページをレンダリングする必要がありますか?
通常は不要です。まずテンプレートごとに数ページをレンダリングします。サーバーのHTMLに内容がすべてあるテンプレートは全ページのレンダリングは不要で、JavaScriptに依存するテンプレートには必要です。
ReactやNext.jsのサイトを無料でクロールできますか?
はい。NeovaのFreeプランにはChromeでのJavaScriptレンダリングが含まれ、1回のクロールにつき1,000 URLまで、すべてのチェック項目を使えます。料金をご覧になるか、Neovaをダウンロードしてください。