NeovaPlatform SEO Tingkat Lanjut

Indexability Checker: Cara Menemukan Halaman yang Tidak Bisa Diindeks Mesin Pencari

Sebuah halaman bisa tampak sempurna di browser namun tetap tidak masuk Google karena satu header, satu meta tag, atau satu baris di robots.txt. Indexability checker membaca sinyal yang dibaca mesin pencari dan memberi tahu Anda, halaman demi halaman, apakah setiap URL bisa diindeks dan jika tidak, mengapa. Berikut sinyal-sinyal itu, cara mereka saling memengaruhi, dan cara memastikan hasilnya dengan alat Google sendiri.

Crawling dan Indexingindexability checkerDiperbarui 21 November 2026Oleh tim Neova

Bisa Di-crawl, Bisa Diindeks, dan Terindeks

Tiga istilah ini sering tertukar, dan indexability checker hanya menjawab salah satunya:

  • Bisa di-crawl: mesin pencari diizinkan mengambil URL. robots.txt yang menentukannya.
  • Bisa diindeks: setelah diambil, tidak ada apa pun di halaman atau header-nya yang meminta agar dikeluarkan dari indeks. Kode status, noindex, dan canonical yang menentukannya.
  • Terindeks: mesin pencari benar-benar menyimpannya dan bisa menampilkannya di hasil. Hanya mesin pencari yang tahu, jadi hanya alatnya sendiri yang bisa memastikannya.

Halaman bisa di-crawl tetapi tidak bisa diindeks (ada noindex), atau bisa diindeks tetapi tetap tidak terindeks (Google sudah meng-crawl-nya dan memilih tidak menyimpannya). Cara kerja Search dari Google menjelaskan tahap crawl, indeks, dan penyajian.

Lima Sinyal yang Menentukan Indexability

SinyalBisa diindeks jikaLokasinya
Kode status200Respons HTTP
robots.txtTidak ada Disallow yang cocok/robots.txt
Direktif robotsTanpa noindex, tanpa noneMeta robots, X-Robots-Tag
CanonicalDiri sendiri, atau tidak adaLink di head, header Link
RenderingTag sama setelah JavaScriptHalaman hasil render

Lolos kelimanya dan URL itu bisa diindeks. Gagal satu dan tidak bisa. Checker harus menyebutkan yang mana.

Di situs kami sendiri, crawl penuh Neova atas seoprocheck.com pada 17 Oktober 2026 mengambil 10.222 URL dalam 61 menit. 4.561 di antaranya halaman HTML yang menjawab 200. Hanya halaman itu yang bisa lolos sinyal pertama sebagai halaman web, jadi pada halaman-halaman itulah empat sinyal lainnya diuji.

Kode Status dan Soft 404

Hanya URL yang menjawab 200 yang bisa diindeks sebagai dirinya sendiri. Halaman Google tentang kode status HTTP membahas setiap kode.

StatusDiindeks sebagai dirinya sendiriYang dilakukan Google
200✓Membaca dan mungkin mengindeks
301, 308–Mengikuti ke target
302, 307–Mengikuti, sinyal canonical lebih lemah
404, 410–Menghapus URL
429, 5xx–Memperlambat, menghapus jika berlanjut
Soft 404 (200)–Diperlakukan sebagai halaman error

Soft 404 menjawab 200 tetapi menyatakan "tidak ditemukan" atau menampilkan hasil kosong. Kembalikan 404 atau 410 yang sebenarnya, dan periksa halaman 200 yang title atau H1-nya terbaca seperti error.

Kami menemukan kesalahan sebaliknya di situs kami sendiri. Pada 20 November 2026, alamat yang tidak dikenal di neova.app menjawab 503 dari halaman coming soon, bukan 404. 503 memberi tahu Google untuk kembali nanti, jadi URL mati tidak pernah keluar dari antreannya. Halaman 404 yang sebenarnya memperbaikinya. SEO ProCheck punya referensi SEO lengkap untuk kode status HTTP.

robots.txt Memblokir Crawling, Bukan Pengindeksan

Aturan Disallow menghentikan Google mengambil sebuah URL. Aturan itu tidak menghentikan Google mengindeks alamatnya: pengantar robots.txt dari Google menyatakan URL yang diblokir tetap bisa muncul di hasil, tanpa deskripsi, jika halaman lain menautkannya.

Ini juga berarti Google tidak pernah melihat apa pun di halaman itu, termasuk noindex. Kombinasi ini adalah kesalahan yang umum:

robots.txt:   Disallow: /old-offers/
page:         <meta name="robots" content="noindex">

Hasil: Google tidak bisa mengambil halaman, tidak pernah membaca noindex,
dan mungkin tetap mengindeks URL itu dari link.

Untuk menghapus halaman dari indeks, biarkan Google meng-crawl-nya dan sajikan noindex. Blokir di robots.txt hanya setelah halaman itu keluar dari indeks, jika memang perlu. Panduan robots.txt tester menunjukkan cara menguji aturan.

Noindex, X-Robots-Tag, dan Canonical

Dokumentasi noindex dari Google mencantumkan dua tempat untuk direktif ini:

<meta name="robots" content="noindex">
X-Robots-Tag: noindex

Header juga berfungsi untuk PDF dan gambar. Jika keduanya bertentangan, Google menerapkan yang lebih ketat, jadi noindex nyasar di salah satu tempat sudah cukup untuk mengeluarkan halaman. Plugin, pengaturan staging, dan aturan CDN adalah sumber umum noindex yang tidak pernah dimaksudkan untuk dirilis. Setiap nilai dan penerapannya ada di referensi meta robots dan X-Robots-Tag dari SEO ProCheck.

Canonical yang menyebut URL lain meminta Google mengindeks URL itu sebagai gantinya. Google memperlakukannya sebagai petunjuk kuat, bukan aturan, menurut panduannya tentang mengonsolidasikan URL duplikat. Ini tepat untuk duplikat sungguhan, dan salah untuk halaman dengan konten sendiri. Canonical yang mengarah ke redirect, error, atau halaman noindex mengirim sinyal yang membingungkan; panduan canonical tag checker membahas kasus-kasus itu.

Rendering Bisa Mengubah Jawabannya

Di situs yang dibangun dengan JavaScript, HTML mentah dan halaman hasil render bisa berbeda. Skrip bisa menambahkan noindex, menghapusnya, mengubah canonical, atau memuat teks utama hanya setelah rendering. Dasar-dasar JavaScript SEO dari Google mencatat bahwa jika HTML mentah memuat noindex, Google mungkin melewati rendering, jadi skrip yang menghapusnya mungkin tidak pernah berjalan.

Simpan meta tag robots dan canonical di HTML mentah, dengan nilai yang sama seperti hasil akhir halaman yang di-render. Indexability checker yang me-render halaman bisa membandingkan keduanya dan menandai perbedaannya.

Pastikan dengan Search Console

Crawler memberi tahu apakah sebuah halaman bisa diindeks. Google Search Console memberi tahu apakah halaman itu sudah diindeks:

  • Inspeksi URL menunjukkan, untuk satu URL, apakah URL itu ada di Google, canonical yang dipilih Google, crawl terakhir, dan apakah crawling serta pengindeksan diizinkan. Uji URL Langsung mengambilnya lagi sekarang.
  • Laporan Pengindeksan halaman mengelompokkan setiap URL yang dikenal menurut alasannya, seperti Dikecualikan oleh tag 'noindex', Diblokir oleh robots.txt, Halaman alternatif dengan tag kanonis yang tepat, Duplikat, Google memilih kanonis yang berbeda dari pengguna, Soft 404, Di-crawl - saat ini tidak diindeks, dan Ditemukan - saat ini tidak diindeks.

Bandingkan kedua tampilan itu. Halaman yang menurut crawl Anda bisa diindeks tetapi dilaporkan Google tidak diindeks adalah yang perlu dipelajari: biasanya konten tipis atau duplikat, internal link yang lemah, atau halaman yang belum sempat diproses Google. SEO ProCheck mencantumkan penyebab Crawled, currently not indexed dan perbaikannya. Halaman yang diindeks Google tetapi menurut crawl Anda noindex atau diberi canonical ke URL lain menunjukkan perbaikan yang belum ditangkap Google, atau sinyal yang terlewat oleh Anda. Internal link yang lemah dibahas di panduan internal linking tool, dan penemuan yang lambat di situs besar di crawl budget.

Periksa Indexability dengan Neova

Neova menandai setiap URL Indexable atau tidak, dan menjelaskan alasannya: status 200, tanpa noindex, dan canonical ke dirinya sendiri atau tidak ada. Kategori Indexability mengumpulkan kode status, noindex, canonical, robots.txt, dan HTML yang merusak head sebelum tag SEO. Dengan JavaScript Rendering aktif, setiap halaman hasil render dibandingkan dengan HTML mentahnya. Dengan Google Search Console terhubung, Neova membaca hasil Inspeksi URL Google untuk hingga 200 URL per crawl, yang paling banyak diklik lalu yang paling banyak ditautkan, dan menandai halaman yang bisa diindeks tetapi tidak diindeks Google atau yang canonical-nya dipilih lain oleh Google. Pemeriksaan di baliknya antara lain:

All URLs di Neova: kode status dan Indexable atau Non-Indexable untuk setiap URL dalam crawl
All URLs di Neova: kode status dan Indexable atau Non-Indexable untuk setiap URL dalam crawl

Indexability adalah langkah 3 dan 4 dari checklist audit SEO teknis. Lihat Fitur atau unduh Neova; paket Free meng-crawl hingga 1.000 URL dengan semua pemeriksaan.

Pertanyaan

Apa itu indexability checker?

Alat yang membaca sinyal yang dipakai mesin pencari, yaitu kode status, robots.txt, noindex, canonical, dan rendering, lalu melaporkan untuk setiap URL apakah bisa diindeks dan, jika tidak, sinyal mana yang menghalanginya.

Apa perbedaan bisa diindeks dan terindeks?

Bisa diindeks berarti tidak ada apa pun di halaman atau server yang mengeluarkannya dari indeks. Terindeks berarti Google benar-benar menyimpannya. Halaman bisa diindeks tetapi tetap tidak terindeks, dan hanya Search Console yang bisa memastikannya.

Apakah robots.txt menghentikan halaman agar tidak diindeks?

Tidak. robots.txt menghentikan crawling. Google tetap bisa mengindeks URL yang diblokir dari link, tanpa kontennya. Untuk mengeluarkan halaman dari indeks, izinkan crawling dan gunakan noindex.

Mengapa halaman saya yang bisa diindeks tidak terindeks?

Penyebab umumnya adalah konten tipis atau duplikat, sedikit internal link, Google memilih URL lain sebagai canonical, atau Google belum meng-crawl-nya. Inspeksi URL dan laporan Pengindeksan halaman memberikan alasan yang dicatat Google.

Bisakah saya memeriksa indexability untuk satu URL?

Bisa. Inspeksi URL di Search Console memeriksa satu URL di properti Anda sendiri. Crawler memeriksa setiap URL situs sekaligus, dan bisa meng-crawl daftar URL saja jika Anda hanya butuh beberapa.

Bawa panduan ini

Link asisten membuka pertanyaan tentang halaman ini yang sudah siap dikirim.

Crawl situs Anda dengan NeovaPaket Free menjalankan semua pemeriksaan di Mac, Windows, dan Linux. Tanpa kartu kredit.

Lanjut Membaca