SEOクローラーガイド
10のカテゴリーに66のガイド:クローラーの選び方、クロールとインデックス、リンク、コンテンツ、構造化データ、Core Web Vitals、海外SEO、AI検索、監査とログ。Neovaを開発しているチームが書いています。
クローラーに何をしてほしいか、どのパソコンで、いくらで使うか、そしてAIで仕事がどう変わるか。
テクニカルSEO クローラーテクニカルSEOクローラー:できることと選び方テクニカルSEOクローラーの役割、良いサイト監査で確認すべき項目、担当するサイトに合った最適なSEOクローラーの選び方。AI SEO クローラーAI SEOクローラー:AIが監査に役立つ場面と、AI検索向けの監査方法AI SEOクローラーに求められること:判断が必要な場面でAIを使い、AIクローラーが取得できる内容、返される内容、AIの回答で引用されているかを確認します。高度なSEOクローラー高度なSEOクローラー:JavaScript、大規模サイト、クロール比較、モニタリング高度なSEOクローラーで加わる機能:JavaScriptレンダリングの差分、大規模・エンタープライズのクロール、クロール比較、モニタリング、移行、自動化。JavaScript SEO クローラーJavaScript SEOクローラー:JavaScriptサイトをクロールする方法JavaScript SEOクローラーがReact、Next.js、SPAのサイトをどう扱い、生のHTMLとレンダリング後のHTMLを比べて、検索エンジンが見落としかねない部分を見つけるか。無料 SEOクローラー無料SEOクローラー:無料でどこまでできるか無料SEOクローラーの選択肢。Screaming Frogの無料500 URLからNeovaのFreeプランまで、有料プランで一般的に増える機能と、合ったものの選び方。SEO SpiderSEOスパイダーとは:仕組みと選び方SEO Spiderとは何か、サイトをどのような手順でクロールするか、信頼する前に試すべきこと、そして試す価値のある無料・有料のSEO Spiderツール。SEOクローラー MacMac向けSEOクローラー(WindowsとLinuxにも対応)Mac用SEOクローラーの選び方:デスクトップのSEO Spiderに求められること、プラットフォーム別の選択肢、ノートパソコンで長時間のクロールを止めずに続ける方法。SEOクローラー WindowsWindows向けSEOクローラー:選び方と安定してクロールさせるコツWindows用SEOクローラーの選び方と使い方:確認すべき点、選択肢、SmartScreenが出る初回起動、PCで長時間のクロールを続ける方法。SEOクローラー MCPSEOクローラーのMCP:クロールをChatGPT、Claude、PerplexityにつなぐSEOクローラーのMCPサーバーとは何か、ChatGPT、Claude、Perplexityがどうやってクロール結果を読むのか、そして数クリックでNeovaを接続する方法。
Screaming Frog、Sitebulbなどは優れたツールです。それぞれの得意分野と、その横でNeovaがどう役立つかを紹介します。
Screaming Frog 代替Screaming Frogの代替:選び方と乗り換え方Screaming Frogの代替ツールをお探しですか。SEO Spiderの得意分野、似たクローラーとの比較、クロールデータの引き継ぎ方を紹介します。Sitebulb 代替Sitebulbの代替:率直な比較と無料の選択肢Sitebulbの代替ツールを探している方へ、公平な視点で:Sitebulbの得意分野、Neovaとの違い、無料の選択肢、監査データの引き継ぎ方。Screaming Frog MacMac版Screaming Frog:できることと準備しておくことMac版Screaming Frog:macOSでSEO Spiderができること、メモリとストレージモードで準備すべき点、Neovaを含むほかのMac用クローラー。Lumar 代替Lumarの代替:選び方と乗り換え方Lumarの代替ツールをお探しですか。かつてDeepcrawlと呼ばれたクラウドクローラーの得意分野、競合との違い、クロールデータの引き継ぎ方。JetOctopus 代替JetOctopusの代替:選び方と乗り換え方JetOctopusの代替ツールを検討中ですか。ログ分析を備えたクラウドクローラーの得意分野、ほかのクローラーのログの扱い方、クロールデータの引き継ぎ方。Ahrefs サイト監査 代替Ahrefs Site Auditの代替:得意分野とデスクトップクローラーの使いどころAhrefs Site Auditの代替を検討中ですか。Ahrefs内でSite Auditが得意なこと、その横でデスクトップクローラーが役立つ場面、クロールデータの引き継ぎ方。
検索エンジンはページにたどり着けるか、そしてインデックスに残すか。それを決めるすべてのシグナルを、サイト全体で確認します。
サイト クロール 方法SEOのためにWebサイトをクロールする方法:手順SEOのためのサイトのクロール方法:範囲を決め、すべてのURLを見つけ、ブロックされずにクロールし、JavaScriptに対応し、クロール結果を修正につなげます。インデックス可否 チェッカーインデックス可能性チェッカー:検索エンジンがインデックスできないページを見つける方法インデックス可否チェッカーの仕組み:ステータスコード、robots.txt、noindex、canonical、レンダリング、そしてSearch ConsoleのURL検査での確認方法。robots.txt テスターrobots.txtテスター:間違ったページをブロックする前にrobots.txtのルールをテストする方法robots.txtテスターがGoogleとRFC 9309と同じ読み方でルールを確認する方法、うっかりページをブロックしてしまう間違い、下書きを安全にテストする方法。XMLサイトマップ チェッカーXMLサイトマップチェッカー:サイトマップを検証し、記載内容を修正する方法XMLサイトマップチェッカーが確認すること:50,000 URLと50MBの上限、リダイレクト・エラー・noindexのURL、正確なlastmod、記載漏れのページ。canonical タグ チェッカーcanonicalタグチェッカー:サイト全体のcanonicalタグを監査するcanonicalタグチェッカーが探すもの:リダイレクトする、チェーンになる、ループする、noindexや404ページを指す、JavaScriptで書き換えられるcanonical。noindex チェッカーnoindexチェッカー:トラフィックを失う前にnoindexのページを見つける方法noindexチェッカーがmeta robotsとX-Robots-Tagのnoindexを見つける方法、Googleからページを誤って隠してしまう間違い、サイト全体の確認方法。HTTPステータスコード チェッカーHTTPステータスコードチェッカー:各コードのSEO上の意味とまとめて確認する方法HTTPステータスコードチェッカーの仕組み、SEOで重要なコードとGoogleの扱いの一覧表、サイトの全URLを確認する方法。ソフト404ソフト404とは:意味、Googleが報告する理由、直し方ソフト404とは何か、200を返すページをGoogleがエラーとして報告する理由、よくある原因、サイト内のソフト404をすべて見つけて直す方法。クロールバジェットクロールバジェットとは:確認方法と無駄をなくす方法クロールバジェットとは何か、どんなときに重要か、Search Consoleとログでの確認方法、大規模サイトでクロールバジェットの無駄を止める方法。
ページ同士のリンクのつながり、リンクが切れる場所、リダイレクトのあるべき動作。
内部リンク ツール内部リンクツール:内部リンクを監査し、改善する方法内部リンクツールで見るべきこと:クロール可能なリンク、アンカーテキスト、クリック深度、リンクスコア、そして不足箇所を追加すべきリンクに変える方法。アンカーテキスト チェッカーアンカーテキストチェッカー:リンクに使われる言葉を監査するアンカーテキストチェッカーでリンクを監査する方法:Googleがアンカーテキストに求めること、種類とリスク、空や汎用的なアンカー、その直し方。リンク切れ チェッカーリンク切れチェッカー:Webサイトのリンク切れを見つけて直す方法リンク切れチェッカーでサイト内の内部リンク・外部リンクのリンク切れを見つけ、404の種類ごとに直し、新しいリンク切れを防ぐ方法。リダイレクトチェーンリダイレクトチェーン:見つけ方、直し方、新たに生まない方法リダイレクトチェーンとリダイレクトループとは何か、301と302の違い、クローラーやcurlでリダイレクトチェーンを見つける方法、根本的な直し方。301 302 リダイレクト 違い301と302リダイレクトの違い:恒久か一時か、307と308の位置づけ301と302リダイレクトの違い:それぞれがGoogleとブラウザに伝えること、307と308の違い、使い分け、リダイレクトの確認方法。孤立ページ孤立ページ:内部リンクのないページを見つけて直す方法孤立ページ(オーファンページ)とは何か、クロールだけでは見つからない理由、サイトマップ、Search Console、GA4、サーバーログで見つけて直す方法。
title、description、見出し、画像、そして本文そのものを、すべてのページで一度に確認します。
titleタグ チェッカーtitleタグチェッカー:すべてのページで欠落、長すぎ、重複したtitleを見つける方法titleタグチェッカーが確認すること、重要な文字数と重複のルール、Googleがtitleを書き換える仕組み、サイト内のすべてのtitleの直し方。メタディスクリプション チェッカーmeta descriptionチェッカー:欠落、長すぎ、重複したdescriptionの見つけ方メタディスクリプションチェッカーが検出すること、Googleに文字数制限はないがスニペットは切られる理由、未設定・長すぎ・重複のdescriptionをまとめて直す方法。h1タグ チェッカーH1タグチェッカー:H1見出しの欠落、空、重複を見つける方法h1タグチェッカーが検出すること、GoogleとW3CがH1と見出しの順序について述べていること、未設定・空・重複・JavaScriptのH1の直し方。画像 alt属性 チェッカー画像のaltテキストチェッカー:altテキストの欠落や不適切な記述を見つけて直す方法画像のaltテキストチェッカーが検出すること、altを空にすべき場面、GoogleとWCAGが求めること、サイト全体で未設定や不十分なaltテキストを直す方法。薄いコンテンツ薄いコンテンツとは:薄いページの見つけ方と対処法薄いコンテンツ(thin content)とは何か、Googleのポリシーと手動による対策が何と言っているか、文字数だけでは判断できない理由、薄いページの見つけ方と直し方。重複コンテンツ チェッカー重複コンテンツチェッカー:重複ページを見つけて直す方法重複コンテンツチェッカーが完全一致・ほぼ重複のページ、URLのバリエーション、繰り返されるtitleを見つける方法と、リダイレクトやcanonicalでの直し方。
検索エンジンとAIアシスタントが読める構造化データを、タイプ別に、Googleの必須要件とあわせて。
構造化データ テストツール構造化データの検証ツール:1ページでもサイト全体でも確認する方法スキーママークアップ検証ツールの仕組み、Schema.orgの検証ツールとGoogleのリッチリザルトテストそれぞれの得意分野、サイト全体の構造化データを確認する方法。FAQ 構造化データFAQ構造化データ:マークアップ、Googleの変更、今も追加する価値があるときFAQの構造化データを解説:2023年以降のGoogleのFAQリッチリザルトの変更、FAQPageのプロパティ、有効なJSON-LDの例、今もマークアップが役立つ理由。Product 構造化データProduct構造化データ:商品スニペットと販売者リスティングにGoogleが求めるものGoogle向けのProductの構造化データ:商品スニペットと販売者リスティングの必須・推奨プロパティ、有効なJSON-LDの例、よくあるエラー。Organization 構造化データOrganization構造化データ:サイトの運営者を検索エンジンに伝えるOrganizationの構造化データを解説:Googleが推奨するプロパティ、ロゴのルール、D-U-N-SとLEIの識別子、設置場所、有効なJSON-LDの例。パンくずリスト 構造化データパンくずリストの構造化データ:サイトに合ったBreadcrumbListマークアップGoogle向けのパンくずリストの構造化データ:BreadcrumbListとListItemのプロパティ、2025年からのデスクトップのみの表示、有効なJSON-LDの例、全ページの確認方法。Article 構造化データArticleの構造化データ:Googleが読める見出し、著者、日付、画像Articleの構造化データを解説:Googleの推奨プロパティ、著者と日付のルール、画像サイズ、ArticleとBlogPostingとNewsArticleの違い、JSON-LDの例。
LCP、INP、CLS:実際の訪問者が感じること、Googleが使うしきい値、遅いテンプレートの直し方。
Core Web Vitals チェックCore Web Vitalsチェッカー:サイト全体のLCP、INP、CLSを測定するCore Web VitalsチェッカーがLCP、INP、CLSを測る方法、フィールドデータとラボデータが異なる理由、サイトのすべてのテンプレートでCore Web Vitalsを確認する方法。LCP 改善Largest Contentful Paint(LCP):何を測るか、どう改善するかLargest Contentful Paintが測るもの、2.5秒の基準、対象になる要素、LCPを構成する4つの部分、よくある原因と改善策。INP 改善Interaction to Next Paint(INP):何を測るか、どう改善するかInteraction to Next Paintが測るもの、200ミリ秒の基準、インタラクションの3つのフェーズ、INPが遅くなるよくある原因と改善策。CLS 改善Cumulative Layout Shift(CLS):何を測るか、どう改善するかCumulative Layout Shiftが測るもの、0.1の基準、スコアの計算方法、レイアウトシフトのよくある原因と改善策。ページ速度 一括 テストページ速度の一括テスト:サイト全体のページ速度を確認する方法ページ速度を一括でテストする方法:多数のURLのフィールドデータとラボデータ、PageSpeed InsightsとCrUXのAPI、Lighthouseのループ実行、テンプレート単位のテスト。画像 最適化 SEOSEOのための画像最適化:ページを速くし、Googleが使える画像にする画像最適化のSEOをひとつのガイドで:Googleが対応する形式、ファイルサイズ、レスポンシブ画像、遅延読み込み、altテキスト、実行すべきチェック。Core Web Vitals モニタリングCore Web Vitals モニタリング:LCP、INP、CLSの推移を追うCore Web Vitals モニタリングの実践:フィールドデータ、CrUXの28日間の期間、ページグループごとの推移、LCP、INP、CLSの評価が変わったときのアラート。ページ速度モニタリングページ速度モニタリング:見るべき指標、しきい値、劣化の検出最初のテストの後のページ速度モニタリング:見るべき数値、意味のあるしきい値、リリース後の劣化を見つける方法。Lighthouse モニタリングLighthouse モニタリング:定期的なラボ計測、ばらつき、限界正しい Lighthouse モニタリング:定期的なラボ計測、スコアがばらつく理由、5回の中央値、Lighthouse が実際のユーザーについて教えてくれることとそうでないこと。
1つのサイトで複数の言語や国に対応する:構成の方法と、検索エンジンがバージョンを見分ける仕組み。
hreflang チェッカーhreflangチェッカー:hreflangタグを検証し、エラーを直す方法hreflangチェッカーがサイト全体のhreflangタグを検証する方法:相互リンク、自己参照、x-default、コードとリンク先、エラーごとの直し方。海外SEO チェックリスト海外SEOチェックリスト:多言語・多地域サイトのすべてのチェック項目順番に進められる海外SEOチェックリスト:市場、URL構成、hreflang、ローカライズしたコンテンツ、技術面の確認、クロールでの検証方法。多言語サイト URL構成海外向けサイトの構成:ccTLD、サブドメイン、サブフォルダの比較多言語サイトの構成を比較:ccTLD、サブドメイン、サブディレクトリを1つの表で、それぞれについてGoogleが述べていること、選び方と確認方法。
AIアシスタントがページを取得し、読み、引用する仕組みと、確認・変更できること。
AIクローラーAIクローラー:GPTBot、ClaudeBot、PerplexityBotの役割と制御方法AIクローラーを解説:GPTBot、ClaudeBot、PerplexityBotなど、それぞれの役割と、robots.txtでLLMクローラーを許可・ブロックする方法。llms.txtllms.txtとは:形式の仕組みと、必要かどうかllms.txtとは何か、llmstxt.orgの形式を1行ずつ、設置しているサイトの数、GoogleとAIアシスタントの見解、自サイトの確認方法。AI 可視性 チェッカーAI可視性チェッカー:ChatGPT、Perplexity、Bing、Googleでのブランドの測り方AI可視性チェッカーの仕組み:ChatGPTとPerplexityでのプロンプト、BingとGoogleのAIレポート、測定できること、数字の読み方。AI検索 最適化AI検索最適化:AIの回答でページが見つかり引用されるためにAI検索最適化をわかりやすく:ChatGPT、Perplexity、GoogleのAI機能が情報源を選ぶ仕組み、効果があること・ないこと、確認方法。ChatGPT SEOChatGPT SEO:ChatGPT検索がページを見つけ、順位づけし、引用する仕組みChatGPT SEOを解説:ChatGPT検索がページを見つけて引用する仕組み、OAI-SearchBotとGPTBotとChatGPT-Userの違い、robots.txtのルール、引用されやすいページの条件。AI Overviews SEOAI Overviews SEO:GoogleのAIによる概要とAIモードでページが引用される仕組みGoogle自身のドキュメントに基づくAI Overviews SEO:対象条件、特別なマークアップは不要、クエリファンアウト、スニペットの制御、Search Consoleでの除外、測定方法。
監査の実施、レポート作成、安全なサイト移行、ログの読み方、その後の監視。
テクニカルSEO 監査 チェックリストテクニカルSEO監査チェックリスト:クローラーで実行できる16のステップクローラーで実行するテクニカルSEO監査チェックリスト:robots.txt、インデックス可否、リダイレクト、canonical、hreflang、レンダリング、速度、ログ、AIクローラー。SEO 監査 レポートSEO監査レポート:良いレポートに含まれるもの良いSEO監査レポートに含まれるもの:クロールの数値、修正順に並べた課題とURL例、担当者、変化した点、クロールの実施条件。SEO監査 代理店代理店のためのSEO監査:すべてのクライアントに同じプロセスを代理店がSEO監査を行う方法:クライアントごとに1つの設定、フラグをチケットに、ブランド入りのPDF、Jira、多数のクライアントサイトをポートフォリオで分けて管理。サイト移行 チェックリストサイト移行チェックリスト:移行の前、最中、後順番どおりのサイト移行チェックリスト:全URLの棚卸し、リダイレクトマップの作成、ステージングと本番の比較テスト、公開、その後1年間の監視。ログ分析 SEOSEOのためのログファイル分析:Googlebotの実際の動きを読み解くSEOのためのログファイル分析を手順どおりに:サーバーログに含まれるもの、入手方法、Googlebotの確認方法、入手後に見るべき点。SEO モニタリングSEOモニタリング:定期クロール、アラート、変更の検出実践的なSEOモニタリング:定期クロール、変更の検出、明確なしきい値のアラート、Core Web Vitalsのスナップショット、アラートの通知先。
NeovaでサイトをクロールFreeプランはMac、Windows、Linuxですべてのチェック項目を実行します。クレジットカードは不要です。