Cara Meng-crawl Situs untuk SEO, Langkah demi Langkah
Meng-crawl situs berarti mengambil halaman-halamannya seperti yang dilakukan mesin pencari, mengikuti link dari satu halaman ke halaman lain. Berikut cara meng-crawl situs dengan benar: sopan, lengkap, dan tanpa diblokir.
Apa Arti Meng-crawl Situs
Crawler situs untuk SEO mulai dari satu URL, mengunduhnya, membaca link di HTML, dan menambahkannya ke antrean. Lalu crawler mengambil URL berikutnya dari antrean dan melakukan hal yang sama, sampai tidak ada lagi yang baru atau sampai mencapai batas. Mesin pencari melakukannya dalam skala web. SEO crawler melakukannya untuk satu situs, dan mencatat apa jawaban setiap URL agar Anda bisa mengauditnya.
Untuk setiap URL, crawl biasanya mencatat kode status, header respons, title dan meta description, canonical, direktif robots, link masuk dan keluar, serta berapa klik jaraknya dari halaman awal. Google menjelaskan cara kerja crawler dan fetcher miliknya dalam ringkasan crawler Google.
Sebelum Crawl: Izin, robots.txt, dan Cakupan
Tiga pertanyaan yang perlu dijawab sebelum Anda menekan mulai:
- Apakah ini situs Anda, atau Anda punya izin? Meng-crawl situs sendiri atau situs klien adalah hal rutin. Untuk situs orang lain, tetaplah sopan: hormati robots.txt dan jaga kecepatan tetap rendah.
- Apa kata robots.txt? Buka /robots.txt dan baca. File itu memberi tahu crawler apa yang tidak boleh diambil, dan biasanya mencantumkan XML Sitemap. Aturannya mengikuti RFC 9309, dan Google menjelaskan cara membacanya dalam pengantar robots.txt. Referensi lengkap robots.txt di SEO ProCheck membahasnya baris demi baris.
- Seberapa banyak yang Anda butuhkan? Seluruh situs, satu bagian, atau sampel dari setiap template. Sampel menjawab sebagian besar pertanyaan tentang template dalam hitungan menit; crawl penuh diperlukan untuk link rusak dan halaman yatim.
Cara Meng-crawl Situs Langkah demi Langkah
- Temukan URL awal yang tepat. Minta versi http dan https, dengan dan tanpa www. Satu harus menjawab 200 dan yang lain harus redirect ke sana. Mulailah dari situ.
- Pilih mode. Spider mode mengikuti link dari URL awal. List mode hanya meng-crawl URL yang Anda berikan, berguna untuk memeriksa sekumpulan URL lama setelah migrasi.
- Tambahkan XML Sitemap. Meng-crawl URL sitemap setelah halaman yang ditautkan menunjukkan halaman mana yang dicantumkan situs tetapi tidak pernah ditautkan.
- Tetapkan batas. Batas URL, batas kedalaman, dan aturan untuk parameter query mencegah filter membuat crawl tak terkendali. Panduan SEO navigasi faset di SEO ProCheck menunjukkan URL filter mana yang layak di-crawl.
- Kecualikan yang tidak Anda perlukan. Area admin, URL keranjang dan checkout, hasil pencarian internal. Gunakan pola include dan exclude, dan uji sebuah URL terhadapnya sebelum mulai.
- Pilih user agent. Nama crawler Anda sendiri adalah pilihan default yang jujur. Crawl sebagai Googlebot menunjukkan apa yang diterima Google, tetapi sebagian server menganggap Googlebot palsu sebagai serangan.
- Mulai, lalu perhatikan beberapa menit pertama. Jika jumlah URL baru naik jauh lebih cepat daripada ukuran situs, lihat dari mana asalnya. Kalender dan filter tanpa akhir adalah penyebab yang biasa.
- Biarkan pemeriksaan berjalan. Saat crawl selesai, mulailah dari masalah yang menyentuh paling banyak halaman yang bisa diindeks.

Cara Meng-crawl Situs untuk Semua URL
Mengikuti link hanya menemukan halaman yang dijangkau link. Untuk meng-crawl situs demi semua URL, gabungkan beberapa sumber:
| Sumber | Halaman yang ditautkan | Halaman yang tidak ditautkan | Berasal dari |
|---|---|---|---|
| Crawl link | ✓ | – | URL awal |
| Sitemap XML | ◐ | ✓ | robots.txt atau /sitemap.xml |
| URL seed | ◐ | ✓ | Daftar Anda sendiri |
| Log server | ◐ | ✓ | Server atau CDN |
| Search Console | ◐ | ✓ | Properti Google Anda |
Kami melihat sendiri seberapa penting hal ini di situs kami. Dalam crawl penuh Neova atas seoprocheck.com pada 17 Oktober 2026:
| Ukuran | seoprocheck.com |
|---|---|
| URL yang diambil | 10.222 |
| Waktu | 61 menit |
| Halaman HTML berstatus 200 | 4.561 |
| URL di XML Sitemap | 1.835 |
| Dijangkau lewat link, tidak ada di sitemap mana pun | 2.727 |
| Di sitemap, tidak dijangkau link mana pun | 1 |
| Kelengkapan | 99.98% |
| Isi halaman | 1,66 GB mentah, 340 MB tersimpan |
Audit yang hanya memakai sitemap akan melewatkan 2.727 URL, dan crawl yang hanya mengikuti link akan melewatkan satu halaman yatim. Halaman yang hanya berasal dari sitemap, log, atau Search Console adalah halaman yatim. Halaman yatim yang bisa diindeks dan mendapat traffic pencarian biasanya butuh internal link. Pemeriksaan yang perlu diketahui di sini: URL Yatim Menjawab 200 dan Bisa Diindeks, URL yang Bisa Diindeks Tidak Ada di XML Sitemap Mana Pun dan XML Sitemap Tidak Bisa Diambil atau Di-parse.
Cara Meng-crawl Situs Tanpa Diblokir
Sebagian besar pemblokiran terjadi karena crawl terlalu cepat atau tampak seperti bot yang tidak dipercaya server. Crawl dengan cara yang diinginkan pemilik situs:
- Jaga kecepatan tetap rendah. 2 atau 3 URL per detik sudah cukup untuk sebagian besar audit. Lebih cepat hanya di situs Anda sendiri.
- Sebutkan siapa Anda. User agent yang jelas dengan link ke halaman tentang crawler lebih mudah diizinkan daripada string browser palsu.
- Hormati robots.txt. Itu adalah keinginan yang dinyatakan situs, dan mengabaikannya di situs orang lain adalah cara tercepat untuk diblokir.
- Minta untuk diizinkan masuk. Di situs klien yang berada di balik firewall atau proteksi bot, minta tim IT mengizinkan crawler Anda, misalnya lewat header rahasia yang hanya dikirim crawler Anda.
Lalu baca jawabannya. Setiap kode status menyampaikan hal yang berbeda:
| Answer | Artinya | Lakukan |
|---|---|---|
| 429 | Terlalu banyak permintaan | Bagi dua kecepatan, patuhi Retry-After |
| 503 | Server sibuk atau mati | Perlambat, coba lagi nanti |
| 403 | Ditolak | Berhenti dan tanyakan |
| 401 | Perlu login | Minta akses |
| Rentetan 5xx | Server kewalahan | Jeda crawl |
Halaman Google tentang kode status HTTP dan error jaringan menjelaskan bagaimana Googlebot sendiri memperlakukan jawaban 429 dan 5xx.
Meng-crawl Situs JavaScript
Jika situs dibangun dengan React, Vue, Angular atau framework serupa, HTML yang dikirim server bisa hampir kosong, dengan konten ditambahkan oleh skrip. Crawl biasa lalu hanya menemukan sedikit link dan sedikit teks. Aktifkan JavaScript rendering, yang memuat setiap halaman di headless browser, dan bandingkan halaman hasil render dengan HTML mentah. Yang penting adalah apa yang hilang sebelum rendering: teks utama, link, title, dan canonical yang baru muncul setelah skrip berjalan. Rendering lebih lambat, jadi render dulu sampel dari setiap template.
Crawl Situs Saya dengan Neova
Untuk meng-crawl situs Anda sendiri dengan Neova, unduh aplikasinya, lalu pilih Crawl, New Crawl, ketik alamatnya, dan klik Start Crawl. Halaman Crawl Pertama Anda menunjukkan setiap layarnya.
| Pengaturan | Default |
|---|---|
| Berjalan di | |
| User agent | NeovaBot |
| Kecepatan | 3 URL per detik |
| Saat 429 atau 503 | Membagi dua kecepatan, mematuhi Retry-After |
| robots.txt | Dihormati |
| CAPTCHA | Tidak pernah diselesaikan |
| Paket gratis | 1.000 URL per crawl |
- Start URL Check memilih versi situs (http atau https, dengan atau tanpa www) yang menjawab 200 dan menjelaskan apa yang dilakukan versi lainnya.
- Mode dan cakupan: Spider atau List, Full Site, Specific Folders atau Sample per Page Group, ditambah XML Sitemap, seed URL, serta aturan include dan exclude.
- Situs Anda sendiri: setelah Anda mengonfirmasi bahwa situs itu milik Anda, Neova bisa berjalan lebih cepat dan mengabaikan robots.txt. Allowlist Header membuat header rahasia yang hanya dikirim ke situs itu, lengkap dengan aturan untuk diserahkan ke tim IT.
- Blocked Crawl Explained: saat sebuah situs menolak crawl, Neova menjelaskan alasannya (dibatasi kecepatan, diblokir firewall, dilarang) dan apa yang perlu dilakukan selanjutnya.
- Discovery dan URL Breakdown: selama crawl berjalan, setiap URL yang ditemukan masuk ke satu kelompok dan bentuk crawl trap ditandai, dengan pilihan Skip atau Exclude saat itu juga.
- Pause, Stop dan Resume: berhenti kapan saja dan jalankan pemeriksaan pada apa yang sudah di-crawl, atau Resume nanti dari titik berhentinya.
Pemilik situs bisa membaca cara crawler ini mengidentifikasi dirinya, dan cara memblokirnya, di halaman NeovaBot.
Apa yang Dilakukan dengan Hasil Crawl
Crawl adalah potret sesaat. Nilainya ada pada apa yang Anda perbaiki. Urutkan temuan menurut berapa banyak halaman yang bisa diindeks yang terkena, perbaiki masalah template sekali saja alih-alih halaman per halaman, lalu crawl lagi untuk memastikan. Putaran pertama singkat yang biasanya membuahkan hasil:
- Internal link ke URL 4xx dan 5xx. Lihat URL Internal Mengembalikan 4xx, 5xx atau Tidak Merespons.
- Redirect chain antar-URL internal. Lihat URL Internal Berada dalam Redirect Chain.
- Halaman yang bisa diindeks tetapi diblokir robots.txt. Lihat URL Internal Di-disallow oleh robots.txt.
- robots.txt yang tidak bisa diambil. Lihat robots.txt Tidak Bisa Dijangkau atau Terlalu Besar.
- Halaman yang tidak ada di XML Sitemap, dan sitemap yang mencantumkan halaman redirect atau noindex.
- Halaman penting yang berjarak lebih dari 3 klik dari beranda.
Checklist audit SEO teknis menyusun seluruh tinjauan secara berurutan.
Pertanyaan
Bagaimana cara meng-crawl situs untuk semua URL?
Gabungkan crawl link dengan XML Sitemap, lalu tambahkan URL dari Google Search Console dan log server. Halaman yang hanya ditemukan sumber-sumber itu, dan tidak dijangkau internal link mana pun, adalah halaman yatim yang layak diperiksa.
Bagaimana cara meng-crawl situs tanpa diblokir?
Crawl dengan pelan, pakai user agent yang jujur, hormati robots.txt, dan perlambat saat server menjawab 429 atau 503. Di situs klien yang berada di balik firewall, minta tim IT mengizinkan crawler Anda alih-alih mencoba mengakali pemblokiran.
Apakah legal meng-crawl sebuah situs?
Meng-crawl halaman publik adalah praktik umum, tetapi aturannya berbeda menurut negara dan ketentuan situs. Crawl situs Anda dan situs klien dengan bebas, hormati robots.txt di mana saja, dan baca ketentuan situs jika ragu. Ini bukan nasihat hukum.
Berapa lama waktu untuk meng-crawl sebuah situs?
Kira-kira jumlah URL dibagi kecepatannya. Crawl penuh kami atas seoprocheck.com pada 17 Oktober 2026 mengambil 10.222 URL dalam 61 menit, sekitar 2,8 URL per detik. Pada 3 URL per detik, 1.000 URL butuh sekitar 6 menit dan 100.000 sekitar 9 jam, belum termasuk rendering. Mengambil sampel tiap template jauh lebih cepat.
Bisakah saya meng-crawl situs saya secara gratis?
Bisa. Paket Free Neova meng-crawl hingga 1.000 URL per crawl dengan semua pemeriksaan, di Mac, Windows dan Linux. Lihat harga untuk paket yang lebih besar.