Crawler SEO Tingkat Lanjut: JavaScript, Situs Besar, Perbandingan Crawl, dan Monitoring
Crawler apa pun bisa menemukan 404. Crawler SEO advanced menangani situs yang membuat crawler sederhana kewalahan: framework JavaScript, jutaan URL, faceted navigation, migrasi, dan situs yang berubah setiap hari.
Apa yang Membuat Crawler SEO Disebut Advanced
Setiap crawler mengambil halaman, mem-parsing, mengikuti link, dan membuat laporan. Yang membedakan crawler advanced adalah perilakunya saat situs menjadi sulit.
| Kasus sulit | Yang perlu dicari | Di Neova |
|---|---|---|
| Situs JavaScript | Mentah vs hasil render, per halaman | ✓ |
| Crawl trap | Terdeteksi dan dikecualikan saat crawling | Penemuan, setiap menit |
| Situs sangat besar | Crawl disimpan di disk | Memori 60 MB pada 60.000 URL |
| Perubahan dari waktu ke waktu | Crawl dibandingkan dengan crawl | Bandingkan crawl |
| Rilis harian | Jadwal dan peringatan | Slack, Microsoft Teams |
| Alur kerja tim | CLI, gerbang CI, API | ✓ |
| Beberapa situs | Crawl berdampingan | Hingga 4 sekaligus |
Hingga 4 crawl sekaligus tersedia di paket Desktop ke atas, dalam satu jendela. Crawl besar dibatasi oleh disk Anda, bukan memori Anda.
Crawling SEO JavaScript: HTML Mentah vs Hasil Render
Google meng-crawl HTML lebih dulu dan me-render halaman belakangan, saat sumber daya memungkinkan, seperti dijelaskan di dasar-dasar SEO JavaScript. Banyak crawler AI mungkin tidak pernah me-render. Jadi pertanyaannya adalah apa yang hilang sebelum rendering.
| Hanya ada di HTML hasil render | Pemeriksaan Neova |
|---|---|
| Teks utama | Sebagian Besar Teks Utama Hanya Muncul di HTML Hasil Render |
| Internal link | Internal Link Hanya Muncul di HTML Hasil Render |
| Canonical | Canonical Hanya Diatur oleh JavaScript |
| Title | Title Hanya Muncul di HTML Hasil Render |
| Redirect | Halaman HTML Melakukan Redirect Lewat JavaScript |
Rendering itu lambat dan berat. Di situs besar, render dulu beberapa halaman per template. Template yang sepenuhnya di-render di server tidak perlu lebih dari itu. Panduan crawler SEO JavaScript membahasnya lebih dalam.
Kebutuhan Crawler SEO Enterprise: Skala, Trap, dan Template
Catatan Google tentang mengelola crawl budget menyebutkan siapa yang perlu peduli.
| Situs | Halaman unik | Perubahan konten |
|---|---|---|
| Besar | 1 juta atau lebih | Mingguan |
| Menengah atau lebih besar | 10.000 atau lebih | Harian |
Di bawah angka itu, crawl budget jarang menjadi masalah. SEO ProCheck menjelaskan kapan crawl budget penting dengan lebih rinci. Situs besar tetap gagal di-crawl dengan cara yang bisa ditebak, dan sebagian besar berawal dari crawl trap.
| Crawl trap | Contoh URL | Perbaikan yang biasa |
|---|---|---|
| Kalender | /events/2031/04/ | Kecualikan polanya |
| Folder berulang | /shop/shop/shop/ | Perbaiki link relatifnya |
| Session ID | /?sid=8f3a2c | Jauhkan ID dari link |
| Kombinasi filter | ?color=red&size=9&sort=price | Pilih facet mana yang menjadi halaman |
| Urutan dan tampilan | ?sort=price&view=grid | Canonical ke URL polos |
Untuk filter, panduan faceted navigation dari SEO ProCheck membahas facet mana yang layak punya halaman sendiri. Sampling juga membantu: jumlah halaman tetap per template mencakup setiap template dalam hitungan menit. Segmen dengan regex menampilkan kode status per bagian, dan ekstraksi dengan XPath, CSS selector, atau regex menarik harga, penulis, atau field schema.

Skala di situs kami sendiri, seoprocheck.com, pada 17 Oktober 2026: crawl penuh mengambil 10.222 URL dalam 61 menit, dan 1,66 GB isi halaman mentah disimpan menjadi 340 MB.
Perbandingan Crawl: Melihat Apa yang Berubah
Satu audit memberi tahu kondisi situs. Membandingkan dua audit memberi tahu apa yang terjadi padanya. Perhatikan:
- URL yang baru, dihapus, atau berubah di antara keduanya
- Tanda baru dan tanda yang sudah selesai
- Title, meta description, dan H1, sebelum dan sesudah
- Aturan robots.txt yang berubah. Lihat Aturan robots.txt Berubah Sejak Crawl Sebelumnya.
- Perubahan tajam pada jumlah URL yang bisa di-crawl
Bandingkan yang setara: crawl penuh dengan crawl penuh, dengan pengaturan yang sama. Sampel dibandingkan dengan crawl penuh hanya menunjukkan perbedaan cakupan.
Monitoring: Crawl Terjadwal dan Peringatan
Monitoring adalah perbandingan crawl yang berjalan sendiri. Sesuaikan jadwal dengan seberapa sering situs merilis perubahan.
| Situs | Crawl penuh | Snapshot Core Web Vitals |
|---|---|---|
| Toko yang ramai | Harian | Mingguan |
| Sebagian besar situs | Mingguan | Mingguan |
| Situs yang jarang berubah | Bulanan | Bulanan |
Mingguan sudah cukup untuk data lapangan Core Web Vitals karena Chrome UX Report adalah rata-rata bergulir 28 hari. Pemicu peringatan yang baik: tanda baru sejak crawl terakhir, penurunan klik, nilai Core Web Vitals yang memburuk, pencarian yang dilacak keluar dari 10 besar. Kirim peringatan ke tempat yang sudah dilihat orang, dan jumlahnya jangan banyak.
Migrasi dan Situs Staging
Migrasi adalah saat crawling benar-benar terbayar. Crawl situs lama, crawl staging, lalu bandingkan kode status, noindex, canonical, title, H1, dan URL yang hanya ada di salah satu sisi. Buat peta redirect dari lama ke baru dan cek setiap redirect live setelah peluncuran.
Staging biasanya membutuhkan autentikasi HTTP, robots.txt yang melarang semuanya, dan link yang mengarah ke domain live. Crawler yang menulis ulang link domain live ke host staging menghemat berjam-jam. FAQ migrasi situs dari SEO ProCheck menjawab pertanyaan yang muncul di hari peluncuran.
Kami menemukan dua kesalahan peluncuran di situs kami sendiri. Sampai pemeriksaan SEO kami pada 20 November 2026, http://neova.app menjawab 200, bukan 301 ke https, dan alamat yang tidak dikenal menjawab 503 dari halaman coming soon, bukan 404. Keduanya sudah diperbaiki, dan keduanya adalah hal yang seharusnya tertangkap oleh crawl sebelum dan sesudah peluncuran. Lihat URL HTTP Mengembalikan 200 di Situs HTTPS.
Otomatisasi: CLI, CI, dan API
Dalam skala besar, crawling menjadi bagian dari rilis.
| Komponen | Job | Di Neova |
|---|---|---|
| Command line | Mulai crawl, baca hasilnya | CLI neova |
| Gerbang CI | Gagalkan build saat ada tanda baru | neova check |
| API | Dasbor, tool internal | REST API, 60 permintaan per menit |
| Server MCP | Asisten AI membaca crawl | ✓ |
| Tiket | Satu per masalah dan template | Jira, Linear, Asana |
REST API adalah bagian dari Neova Online, di paket Desktop + Online ke atas. Gerbang CI paling efektif dengan crawl acuan dari rilis terakhir yang baik: build hanya gagal karena tanda yang baru, sehingga utang lama tidak memblokir setiap deploy.
Cara Neova Menangani Crawling Advanced
- Rendering: me-render di Chrome, semua halaman atau beberapa per grup halaman, dan menandai setiap halaman sebagai Server-Rendered, Hydrated, atau Needs JavaScript.
- Skala: menyimpan crawl di disk, menyediakan Sampel per grup halaman, dan Penemuan menawarkan Lanjut crawl, Lewati, atau Kecualikan untuk setiap trap.
- Riwayat: Bandingkan crawl, dan Data historis menyimpan setiap crawl, versi robots.txt, dan Sitemap XML.
- Log server: log Apache atau Nginx, atau akun Cloudflare Anda sendiri; Googlebot, Bingbot, dan crawler AI hanya dihitung jika alamatnya ada di daftar yang diterbitkan masing-masing perusahaan.
- Melampaui sumbernya: menyimpan setiap bulan data Search Console setelah Google membuangnya pada 16 bulan.
- Migrasi: Peta redirect dengan tingkat keyakinan per URL, Pengecekan redirect langsung, Staging vs. produksi, dan Penulisan ulang URL.
Lihat semua fitur di halaman fitur, atau perbandingan Neova di Perbandingan.
Pertanyaan
Apa itu crawler SEO advanced?
Crawler yang dibuat untuk situs sulit: me-render JavaScript dan membandingkannya dengan HTML mentah, menangani crawl trap dan situs sangat besar, membandingkan crawl dari waktu ke waktu, berjalan sesuai jadwal, dan terhubung dengan tiket, CI, dan API.
Apakah saya perlu me-render setiap halaman dengan JavaScript?
Biasanya tidak. Render dulu sampel per template. Template yang seluruh kontennya ada di HTML server tidak perlu rendering penuh; template yang bergantung pada JavaScript perlu.
Kapan crawl budget menjadi penting?
Menurut Google, terutama untuk situs dengan 1 juta halaman unik atau lebih yang berubah setiap minggu, atau 10.000 atau lebih yang berubah setiap hari. Situs yang lebih kecil jarang mencapainya.
Seberapa besar situs yang bisa ditangani crawler SEO enterprise?
Tergantung tool-nya dan, untuk crawler desktop, tergantung komputernya. Neova menyimpan crawl di disk dan bisa mencapai 5 juta URL per crawl di paket Desktop, tergantung komputer Anda. Lihat harga.
Bisakah saya menggagalkan deployment karena masalah SEO?
Bisa, dengan gerbang CI. Di Neova, neova check membandingkan crawl dengan acuan dan keluar dengan kode error saat muncul tanda baru, sehingga pipeline bisa menghentikan rilis.