NeovaPlatform SEO Tingkat Lanjut

Crawler SEO JavaScript: Cara Meng-crawl Situs JavaScript

Situs yang dibangun dengan React, Vue, Angular, atau Next.js bisa tampak sempurna di browser tetapi tetap memberi crawler halaman yang hampir kosong. JavaScript SEO crawler menunjukkan kedua versinya, HTML yang dikirim server dan halaman setelah script berjalan, serta di mana keduanya berbeda.

Memilih Crawlerjavascript seo crawlerDiperbarui 21 November 2026Oleh tim Neova

Mengapa Situs JavaScript Butuh Crawl yang Berbeda

Google menangani halaman JavaScript dalam tiga fase: crawl, render di Chromium headless saat sumber dayanya tersedia, lalu index. Dasar-dasar JavaScript SEO dari Google menjelaskan antrean antara crawl dan render. Sampai rendering terjadi, Google bekerja dengan HTML mentah.

Crawler lain mungkin tidak pernah me-render. Banyak crawler AI dan sebagian mesin pencari hanya membaca HTML yang dikirim server. Jadi pertanyaan sebenarnya adalah apa yang hilang sebelum rendering, dan apakah ada yang berubah di tengah jalan.

Crawler HTML biasa hanya melihat respons mentah. JavaScript SEO crawler memuat setiap halaman di browser sungguhan, menunggu halaman stabil, dan menyimpan kedua versi berdampingan. SEO ProCheck menjelaskan langkah demi langkah bagaimana mesin pencari dan crawler AI me-render halaman Anda.

Halaman Client-Side, Server-Side, Statis, dan Hydrated

Cara situs membangun halamannya menentukan apa yang seharusnya ada di HTML mentah.

Cara halaman dibangunIsi HTML mentahTeks tanpa JavaScriptSetup umum
Client-side renderingDiv root, tag script–Aplikasi React, Vue, atau Angular
Server-side renderingHalaman lengkap✓Next.js, Nuxt, Angular SSR
Static generationHalaman lengkap, dibuat sebelumnya✓Static export, site generator
HydrationHalaman lengkap, lalu script✓Sebagian besar situs framework
CampuranTergantung template◐Sebagian besar situs nyata

Situs Next.js bisa menyajikan halaman produk dari server dan membangun hasil pencarian atau halaman akun di browser. Karena itu Anda mengecek per template: satu template yang di-render di client bisa menyembunyikan ribuan URL.

HTML Hasil Render vs HTML Mentah: Apa yang Dibandingkan

Bandingkan elemen demi elemen. Untuk setiap elemen: apakah ada di HTML mentah, dan apakah JavaScript mengubahnya?

ElemenRisiko jika hanya ada setelah renderPemeriksaan Neova
TitleHalaman tidak punya namaTitle Hanya Muncul di HTML Hasil Render
Meta descriptionTidak ada sumber snippetMeta description hanya muncul di HTML hasil render
H1Tidak ada topik yang terlihatH1 hanya muncul di HTML hasil render
CanonicalDua sinyal yang berbedaCanonical diubah atau dihapus oleh JavaScript
NoindexGoogle mungkin melewatkan renderingDirektif Noindex Dihapus oleh JavaScript
Internal linkDitemukan terlambat, atau tidak pernahInternal Link Hanya Muncul di HTML Hasil Render
Teks utamaHalaman mentah yang tipisSebagian Besar Teks Utama Hanya Muncul di HTML Hasil Render

Structured data dan hreflang juga bisa disisipkan oleh script. Cek bahwa keduanya ada, dan identik, di kedua versi. Pola paling aman memang membosankan: semua yang penting untuk pencarian ada di HTML server, dan JavaScript hanya menambahkan interaksi.

Angka yang Penting di Situs JavaScript

BatasNilaiSumber
HTML yang diambil Googlebot per file15 MB pertamaGoogle
Waktu rendering yang ditandaiLebih dari 4 detikRender JavaScript memakan waktu lebih dari 4 detik
Teks utama hanya di HTML hasil renderLebih dari separuh, 50+ kataGrup halaman bergantung pada render JavaScript untuk teks utama atau navigasi
Link navigasi hanya setelah renderSeparuh atau lebihGrup halaman bergantung pada render JavaScript untuk teks utama atau navigasi
Route hash yang dikirim ke serverTidak ada apa pun setelah #RFC 3986

Batas 4 detik dan separuh teks adalah ambang Neova, yang dinyatakan di aturan setiap pemeriksaan. Batas 15 MB dan aturan fragment berasal dari Google dan standar URI.

Cara Menyiapkan Crawl JavaScript SEO

  1. Crawl tanpa rendering terlebih dulu. Crawl mentah yang cepat menunjukkan apa yang dikirim server. Jika hanya sedikit halaman yang ditemukan, navigasinya kemungkinan butuh JavaScript.
  2. Render sampel per template. Beberapa halaman per grup halaman menunjukkan template mana yang bergantung pada script. Render seluruh situs hanya di bagian yang memang bergantung.
  3. Biarkan halaman stabil. Tunggu sampai jaringan tenang dan halaman berhenti berubah.
  4. Jangan blokir script. Lihat Halaman HTML memakai file JavaScript yang di-disallow robots.txt.
  5. Jaga kecepatan tetap sopan. Satu halaman yang di-render bisa berarti puluhan permintaan untuk script, style, dan panggilan API.
  6. Baca juga kegagalannya. Lihat Rendering JavaScript gagal atau kehabisan waktu.
Crawl baru di Neova, Kecepatan dan render: Render JavaScript tetap Nonaktif sampai Anda mengaktifkannya, dan berjalan setelah crawl untuk dibandingkan dengan HTML mentah
Crawl baru di Neova, Kecepatan dan render: Render JavaScript tetap Nonaktif sampai Anda mengaktifkannya, dan berjalan setelah crawl untuk dibandingkan dengan HTML mentah

Panduan cara meng-crawl situs membahas cakupan, kecepatan, dan izin.

Masalah JavaScript SEO Umum yang Ditemukan Crawler

  • Link yang bukan link. Google mengikuti elemen a dengan href. Tombol dengan click handler bukan link. Lihat panduan Google tentang link yang dapat di-crawl.
  • Route di balik hash. /#/products terlihat seperti satu halaman, karena bagian setelah hash tidak pernah sampai ke server. Gunakan History API dan path sungguhan.
  • Soft 404. Single page app sering menjawab 200 untuk setiap route, lalu menampilkan pesan tidak ditemukan di browser.
  • Konten yang menunggu klik atau scroll. Crawler tidak mengeklik tab. Catatan Google tentang konten lazy-load menunjukkan cara memuatnya agar terindeks.
  • Metadata yang tertahan di route pertama. Title dan canonical tetap memakai nilai halaman pertama kecuali router memperbaruinya.
  • Redirect di JavaScript. Lebih lambat terdeteksi dibanding redirect server, dan sebagian crawler tidak pernah melihatnya.
  • Error yang menghapus konten. Satu panggilan API yang gagal bisa membuat halaman kehilangan title atau teks utamanya. Lihat Error JavaScript menghilangkan title, canonical, atau teks utama saat dirender.

Jawaban lain ada di FAQ JavaScript SEO dari SEO ProCheck.

Meng-crawl Situs React, Next.js, dan Single Page App

Single page app. Bersiaplah melihat HTML mentah yang hampir kosong dan crawl mentah yang kecil. Render sampel dari setiap tipe route dan cek bahwa setiap route punya URL, title, dan canonical sendiri, serta status 404 sungguhan untuk halaman yang tidak ada. Server rendering atau static generation adalah perbaikan yang membantu semua crawler sekaligus.

Situs Next.js atau Nuxt. Sebagian besar halaman sudah ada di HTML mentah. Cari pengecualiannya: route yang dibangun di browser, metadata yang diatur oleh client component, menu yang baru muncul setelah hydration.

Campuran. Kelompokkan URL per template dan lihat porsi halaman yang kontennya ada di HTML mentah, per grup. Satu grup yang jauh di bawah yang lain biasanya berarti satu template yang perlu diperbaiki. Uji setelah setiap rilis: perubahan kecil pada komponen bisa memindahkan title atau link dari server ke browser.

Di Luar Google: Crawler AI dan HTML Mentah

Asisten AI mengambil halaman untuk menjawab pertanyaan, dan banyak crawler-nya membaca HTML apa adanya saat diterima. Halaman yang butuh JavaScript untuk teks utamanya bisa hampir kosong bagi mereka, bahkan saat Google mengindeksnya dengan baik. SEO ProCheck menguraikan SSR vs CSR dan visibilitas AI.

Jadi crawl JavaScript SEO juga sebaiknya menunjukkan apa yang disajikan ke setiap crawler AI. Panduan crawler AI membahas token dan aturan robots.txt.

Cara Neova Meng-crawl Situs JavaScript

Neova berjalan di Mac (Apple silicon), Windows, dan Linux, dengan Neova Online di browser. Render JavaScript tersedia di setiap paket, termasuk paket Free.

FiturApa fungsinya
Merender di ChromeSemua halaman, atau beberapa per grup
Waktu Tunggu RenderMenunggu sampai halaman stabil
Kolom RenderDirender di server, Hydrated, Memerlukan JavaScript
Sumber, Mentah, dan DirenderKedua versi HTML, berdampingan
Layar RenderApa yang disajikan ke setiap crawler AI
Badge Di-crawl tanpa renderPemeriksaan yang dilewati, crawl ulang sekali klik
Ambil dengan ChromeUntuk situs dengan proteksi bot

Rendering nonaktif secara default, jadi crawl pertama tetap cepat. Ambil dengan Chrome ada di aplikasi desktop. Halaman fitur mencantumkan sisanya, Perbandingan menunjukkan cara crawler lain menangani rendering, dan panduan crawler SEO advanced membahas rendering dalam skala besar.

Pertanyaan

Apa itu JavaScript SEO crawler?

Crawler yang memuat halaman di browser sungguhan, menjalankan script-nya, dan menyimpan halaman hasil render di samping HTML mentah yang dikirim server. Membandingkan keduanya menunjukkan title, link, canonical, dan teks yang baru ada setelah JavaScript berjalan.

Apakah Google me-render JavaScript?

Ya. Google meng-crawl sebuah URL, memasukkannya ke antrean rendering di Chromium headless, lalu mengindeks halaman hasil render. Rendering bisa terjadi lebih lambat dari crawl, dan banyak crawler AI hanya membaca HTML mentah.

Apa perbedaan HTML mentah dan HTML hasil render?

HTML mentah adalah yang dikirim server sebelum script apa pun berjalan. HTML hasil render adalah halaman setelah browser menjalankan JavaScript-nya. Di situs yang di-render di server keduanya hampir sama; di aplikasi yang di-render di client, HTML mentah bisa hampir kosong.

Apakah saya perlu me-render setiap halaman situs JavaScript?

Biasanya tidak. Render beberapa halaman per template terlebih dulu. Template yang sepenuhnya ada di HTML server tidak butuh rendering penuh; template yang bergantung pada JavaScript butuh.

Bisakah saya meng-crawl situs React atau Next.js secara gratis?

Bisa. Paket Free Neova sudah termasuk render JavaScript di Chrome, hingga 1.000 URL per crawl, dengan semua pemeriksaan. Lihat harga atau unduh Neova.

Bawa panduan ini

Link asisten membuka pertanyaan tentang halaman ini yang sudah siap dikirim.

Crawl situs Anda dengan NeovaPaket Free menjalankan semua pemeriksaan di Mac, Windows, dan Linux. Tanpa kartu kredit.

Lanjut Membaca