Crawler SEO JavaScript: Cara Meng-crawl Situs JavaScript
Situs yang dibangun dengan React, Vue, Angular, atau Next.js bisa tampak sempurna di browser tetapi tetap memberi crawler halaman yang hampir kosong. JavaScript SEO crawler menunjukkan kedua versinya, HTML yang dikirim server dan halaman setelah script berjalan, serta di mana keduanya berbeda.
Mengapa Situs JavaScript Butuh Crawl yang Berbeda
Google menangani halaman JavaScript dalam tiga fase: crawl, render di Chromium headless saat sumber dayanya tersedia, lalu index. Dasar-dasar JavaScript SEO dari Google menjelaskan antrean antara crawl dan render. Sampai rendering terjadi, Google bekerja dengan HTML mentah.
Crawler lain mungkin tidak pernah me-render. Banyak crawler AI dan sebagian mesin pencari hanya membaca HTML yang dikirim server. Jadi pertanyaan sebenarnya adalah apa yang hilang sebelum rendering, dan apakah ada yang berubah di tengah jalan.
Crawler HTML biasa hanya melihat respons mentah. JavaScript SEO crawler memuat setiap halaman di browser sungguhan, menunggu halaman stabil, dan menyimpan kedua versi berdampingan. SEO ProCheck menjelaskan langkah demi langkah bagaimana mesin pencari dan crawler AI me-render halaman Anda.
Halaman Client-Side, Server-Side, Statis, dan Hydrated
Cara situs membangun halamannya menentukan apa yang seharusnya ada di HTML mentah.
| Cara halaman dibangun | Isi HTML mentah | Teks tanpa JavaScript | Setup umum |
|---|---|---|---|
| Client-side rendering | Div root, tag script | – | Aplikasi React, Vue, atau Angular |
| Server-side rendering | Halaman lengkap | ✓ | Next.js, Nuxt, Angular SSR |
| Static generation | Halaman lengkap, dibuat sebelumnya | ✓ | Static export, site generator |
| Hydration | Halaman lengkap, lalu script | ✓ | Sebagian besar situs framework |
| Campuran | Tergantung template | ◐ | Sebagian besar situs nyata |
Situs Next.js bisa menyajikan halaman produk dari server dan membangun hasil pencarian atau halaman akun di browser. Karena itu Anda mengecek per template: satu template yang di-render di client bisa menyembunyikan ribuan URL.
HTML Hasil Render vs HTML Mentah: Apa yang Dibandingkan
Bandingkan elemen demi elemen. Untuk setiap elemen: apakah ada di HTML mentah, dan apakah JavaScript mengubahnya?
| Elemen | Risiko jika hanya ada setelah render | Pemeriksaan Neova |
|---|---|---|
| Title | Halaman tidak punya nama | Title Hanya Muncul di HTML Hasil Render |
| Meta description | Tidak ada sumber snippet | Meta description hanya muncul di HTML hasil render |
| H1 | Tidak ada topik yang terlihat | H1 hanya muncul di HTML hasil render |
| Canonical | Dua sinyal yang berbeda | Canonical diubah atau dihapus oleh JavaScript |
| Noindex | Google mungkin melewatkan rendering | Direktif Noindex Dihapus oleh JavaScript |
| Internal link | Ditemukan terlambat, atau tidak pernah | Internal Link Hanya Muncul di HTML Hasil Render |
| Teks utama | Halaman mentah yang tipis | Sebagian Besar Teks Utama Hanya Muncul di HTML Hasil Render |
Structured data dan hreflang juga bisa disisipkan oleh script. Cek bahwa keduanya ada, dan identik, di kedua versi. Pola paling aman memang membosankan: semua yang penting untuk pencarian ada di HTML server, dan JavaScript hanya menambahkan interaksi.
Angka yang Penting di Situs JavaScript
| Batas | Nilai | Sumber |
|---|---|---|
| HTML yang diambil Googlebot per file | 15 MB pertama | |
| Waktu rendering yang ditandai | Lebih dari 4 detik | Render JavaScript memakan waktu lebih dari 4 detik |
| Teks utama hanya di HTML hasil render | Lebih dari separuh, 50+ kata | Grup halaman bergantung pada render JavaScript untuk teks utama atau navigasi |
| Link navigasi hanya setelah render | Separuh atau lebih | Grup halaman bergantung pada render JavaScript untuk teks utama atau navigasi |
| Route hash yang dikirim ke server | Tidak ada apa pun setelah # | RFC 3986 |
Batas 4 detik dan separuh teks adalah ambang Neova, yang dinyatakan di aturan setiap pemeriksaan. Batas 15 MB dan aturan fragment berasal dari Google dan standar URI.
Cara Menyiapkan Crawl JavaScript SEO
- Crawl tanpa rendering terlebih dulu. Crawl mentah yang cepat menunjukkan apa yang dikirim server. Jika hanya sedikit halaman yang ditemukan, navigasinya kemungkinan butuh JavaScript.
- Render sampel per template. Beberapa halaman per grup halaman menunjukkan template mana yang bergantung pada script. Render seluruh situs hanya di bagian yang memang bergantung.
- Biarkan halaman stabil. Tunggu sampai jaringan tenang dan halaman berhenti berubah.
- Jangan blokir script. Lihat Halaman HTML memakai file JavaScript yang di-disallow robots.txt.
- Jaga kecepatan tetap sopan. Satu halaman yang di-render bisa berarti puluhan permintaan untuk script, style, dan panggilan API.
- Baca juga kegagalannya. Lihat Rendering JavaScript gagal atau kehabisan waktu.

Panduan cara meng-crawl situs membahas cakupan, kecepatan, dan izin.
Masalah JavaScript SEO Umum yang Ditemukan Crawler
- Link yang bukan link. Google mengikuti elemen
adenganhref. Tombol dengan click handler bukan link. Lihat panduan Google tentang link yang dapat di-crawl. - Route di balik hash.
/#/productsterlihat seperti satu halaman, karena bagian setelah hash tidak pernah sampai ke server. Gunakan History API dan path sungguhan. - Soft 404. Single page app sering menjawab 200 untuk setiap route, lalu menampilkan pesan tidak ditemukan di browser.
- Konten yang menunggu klik atau scroll. Crawler tidak mengeklik tab. Catatan Google tentang konten lazy-load menunjukkan cara memuatnya agar terindeks.
- Metadata yang tertahan di route pertama. Title dan canonical tetap memakai nilai halaman pertama kecuali router memperbaruinya.
- Redirect di JavaScript. Lebih lambat terdeteksi dibanding redirect server, dan sebagian crawler tidak pernah melihatnya.
- Error yang menghapus konten. Satu panggilan API yang gagal bisa membuat halaman kehilangan title atau teks utamanya. Lihat Error JavaScript menghilangkan title, canonical, atau teks utama saat dirender.
Jawaban lain ada di FAQ JavaScript SEO dari SEO ProCheck.
Meng-crawl Situs React, Next.js, dan Single Page App
Single page app. Bersiaplah melihat HTML mentah yang hampir kosong dan crawl mentah yang kecil. Render sampel dari setiap tipe route dan cek bahwa setiap route punya URL, title, dan canonical sendiri, serta status 404 sungguhan untuk halaman yang tidak ada. Server rendering atau static generation adalah perbaikan yang membantu semua crawler sekaligus.
Situs Next.js atau Nuxt. Sebagian besar halaman sudah ada di HTML mentah. Cari pengecualiannya: route yang dibangun di browser, metadata yang diatur oleh client component, menu yang baru muncul setelah hydration.
Campuran. Kelompokkan URL per template dan lihat porsi halaman yang kontennya ada di HTML mentah, per grup. Satu grup yang jauh di bawah yang lain biasanya berarti satu template yang perlu diperbaiki. Uji setelah setiap rilis: perubahan kecil pada komponen bisa memindahkan title atau link dari server ke browser.
Di Luar Google: Crawler AI dan HTML Mentah
Asisten AI mengambil halaman untuk menjawab pertanyaan, dan banyak crawler-nya membaca HTML apa adanya saat diterima. Halaman yang butuh JavaScript untuk teks utamanya bisa hampir kosong bagi mereka, bahkan saat Google mengindeksnya dengan baik. SEO ProCheck menguraikan SSR vs CSR dan visibilitas AI.
Jadi crawl JavaScript SEO juga sebaiknya menunjukkan apa yang disajikan ke setiap crawler AI. Panduan crawler AI membahas token dan aturan robots.txt.
Cara Neova Meng-crawl Situs JavaScript
Neova berjalan di Mac (Apple silicon), Windows, dan Linux, dengan Neova Online di browser. Render JavaScript tersedia di setiap paket, termasuk paket Free.
| Fitur | Apa fungsinya |
|---|---|
| Merender di Chrome | Semua halaman, atau beberapa per grup |
| Waktu Tunggu Render | Menunggu sampai halaman stabil |
| Kolom Render | Dirender di server, Hydrated, Memerlukan JavaScript |
| Sumber, Mentah, dan Dirender | Kedua versi HTML, berdampingan |
| Layar Render | Apa yang disajikan ke setiap crawler AI |
| Badge Di-crawl tanpa render | Pemeriksaan yang dilewati, crawl ulang sekali klik |
| Ambil dengan Chrome | Untuk situs dengan proteksi bot |
Rendering nonaktif secara default, jadi crawl pertama tetap cepat. Ambil dengan Chrome ada di aplikasi desktop. Halaman fitur mencantumkan sisanya, Perbandingan menunjukkan cara crawler lain menangani rendering, dan panduan crawler SEO advanced membahas rendering dalam skala besar.
Pertanyaan
Apa itu JavaScript SEO crawler?
Crawler yang memuat halaman di browser sungguhan, menjalankan script-nya, dan menyimpan halaman hasil render di samping HTML mentah yang dikirim server. Membandingkan keduanya menunjukkan title, link, canonical, dan teks yang baru ada setelah JavaScript berjalan.
Apakah Google me-render JavaScript?
Ya. Google meng-crawl sebuah URL, memasukkannya ke antrean rendering di Chromium headless, lalu mengindeks halaman hasil render. Rendering bisa terjadi lebih lambat dari crawl, dan banyak crawler AI hanya membaca HTML mentah.
Apa perbedaan HTML mentah dan HTML hasil render?
HTML mentah adalah yang dikirim server sebelum script apa pun berjalan. HTML hasil render adalah halaman setelah browser menjalankan JavaScript-nya. Di situs yang di-render di server keduanya hampir sama; di aplikasi yang di-render di client, HTML mentah bisa hampir kosong.
Apakah saya perlu me-render setiap halaman situs JavaScript?
Biasanya tidak. Render beberapa halaman per template terlebih dulu. Template yang sepenuhnya ada di HTML server tidak butuh rendering penuh; template yang bergantung pada JavaScript butuh.
Bisakah saya meng-crawl situs React atau Next.js secara gratis?
Bisa. Paket Free Neova sudah termasuk render JavaScript di Chrome, hingga 1.000 URL per crawl, dengan semua pemeriksaan. Lihat harga atau unduh Neova.