NeovaPlatform SEO Tingkat Lanjut

Cara Meng-crawl Situs untuk SEO, Langkah demi Langkah

Meng-crawl situs berarti mengambil halaman-halamannya seperti yang dilakukan mesin pencari, mengikuti link dari satu halaman ke halaman lain. Berikut cara meng-crawl situs dengan benar: sopan, lengkap, dan tanpa diblokir.

Crawling dan Indexingcara crawl websiteDiperbarui 21 November 2026Oleh tim Neova

Apa Arti Meng-crawl Situs

Crawler situs untuk SEO mulai dari satu URL, mengunduhnya, membaca link di HTML, dan menambahkannya ke antrean. Lalu crawler mengambil URL berikutnya dari antrean dan melakukan hal yang sama, sampai tidak ada lagi yang baru atau sampai mencapai batas. Mesin pencari melakukannya dalam skala web. SEO crawler melakukannya untuk satu situs, dan mencatat apa jawaban setiap URL agar Anda bisa mengauditnya.

Untuk setiap URL, crawl biasanya mencatat kode status, header respons, title dan meta description, canonical, direktif robots, link masuk dan keluar, serta berapa klik jaraknya dari halaman awal. Google menjelaskan cara kerja crawler dan fetcher miliknya dalam ringkasan crawler Google.

Sebelum Crawl: Izin, robots.txt, dan Cakupan

Tiga pertanyaan yang perlu dijawab sebelum Anda menekan mulai:

  • Apakah ini situs Anda, atau Anda punya izin? Meng-crawl situs sendiri atau situs klien adalah hal rutin. Untuk situs orang lain, tetaplah sopan: hormati robots.txt dan jaga kecepatan tetap rendah.
  • Apa kata robots.txt? Buka /robots.txt dan baca. File itu memberi tahu crawler apa yang tidak boleh diambil, dan biasanya mencantumkan XML Sitemap. Aturannya mengikuti RFC 9309, dan Google menjelaskan cara membacanya dalam pengantar robots.txt. Referensi lengkap robots.txt di SEO ProCheck membahasnya baris demi baris.
  • Seberapa banyak yang Anda butuhkan? Seluruh situs, satu bagian, atau sampel dari setiap template. Sampel menjawab sebagian besar pertanyaan tentang template dalam hitungan menit; crawl penuh diperlukan untuk link rusak dan halaman yatim.

Cara Meng-crawl Situs Langkah demi Langkah

  1. Temukan URL awal yang tepat. Minta versi http dan https, dengan dan tanpa www. Satu harus menjawab 200 dan yang lain harus redirect ke sana. Mulailah dari situ.
  2. Pilih mode. Spider mode mengikuti link dari URL awal. List mode hanya meng-crawl URL yang Anda berikan, berguna untuk memeriksa sekumpulan URL lama setelah migrasi.
  3. Tambahkan XML Sitemap. Meng-crawl URL sitemap setelah halaman yang ditautkan menunjukkan halaman mana yang dicantumkan situs tetapi tidak pernah ditautkan.
  4. Tetapkan batas. Batas URL, batas kedalaman, dan aturan untuk parameter query mencegah filter membuat crawl tak terkendali. Panduan SEO navigasi faset di SEO ProCheck menunjukkan URL filter mana yang layak di-crawl.
  5. Kecualikan yang tidak Anda perlukan. Area admin, URL keranjang dan checkout, hasil pencarian internal. Gunakan pola include dan exclude, dan uji sebuah URL terhadapnya sebelum mulai.
  6. Pilih user agent. Nama crawler Anda sendiri adalah pilihan default yang jujur. Crawl sebagai Googlebot menunjukkan apa yang diterima Google, tetapi sebagian server menganggap Googlebot palsu sebagai serangan.
  7. Mulai, lalu perhatikan beberapa menit pertama. Jika jumlah URL baru naik jauh lebih cepat daripada ukuran situs, lihat dari mana asalnya. Kalender dan filter tanpa akhir adalah penyebab yang biasa.
  8. Biarkan pemeriksaan berjalan. Saat crawl selesai, mulailah dari masalah yang menyentuh paling banyak halaman yang bisa diindeks.
New Crawl, Speed and Rendering: kecepatan dalam URL per detik, dikurangi saat server melambat, user agent yang dikirim bersama setiap permintaan, dan JavaScript rendering
New Crawl, Speed and Rendering: kecepatan dalam URL per detik, dikurangi saat server melambat, user agent yang dikirim bersama setiap permintaan, dan JavaScript rendering

Cara Meng-crawl Situs untuk Semua URL

Mengikuti link hanya menemukan halaman yang dijangkau link. Untuk meng-crawl situs demi semua URL, gabungkan beberapa sumber:

SumberHalaman yang ditautkanHalaman yang tidak ditautkanBerasal dari
Crawl link✓–URL awal
Sitemap XML◐✓robots.txt atau /sitemap.xml
URL seed◐✓Daftar Anda sendiri
Log server◐✓Server atau CDN
Search Console◐✓Properti Google Anda

Kami melihat sendiri seberapa penting hal ini di situs kami. Dalam crawl penuh Neova atas seoprocheck.com pada 17 Oktober 2026:

Ukuranseoprocheck.com
URL yang diambil10.222
Waktu61 menit
Halaman HTML berstatus 2004.561
URL di XML Sitemap1.835
Dijangkau lewat link, tidak ada di sitemap mana pun2.727
Di sitemap, tidak dijangkau link mana pun1
Kelengkapan99.98%
Isi halaman1,66 GB mentah, 340 MB tersimpan

Audit yang hanya memakai sitemap akan melewatkan 2.727 URL, dan crawl yang hanya mengikuti link akan melewatkan satu halaman yatim. Halaman yang hanya berasal dari sitemap, log, atau Search Console adalah halaman yatim. Halaman yatim yang bisa diindeks dan mendapat traffic pencarian biasanya butuh internal link. Pemeriksaan yang perlu diketahui di sini: URL Yatim Menjawab 200 dan Bisa Diindeks, URL yang Bisa Diindeks Tidak Ada di XML Sitemap Mana Pun dan XML Sitemap Tidak Bisa Diambil atau Di-parse.

Cara Meng-crawl Situs Tanpa Diblokir

Sebagian besar pemblokiran terjadi karena crawl terlalu cepat atau tampak seperti bot yang tidak dipercaya server. Crawl dengan cara yang diinginkan pemilik situs:

  • Jaga kecepatan tetap rendah. 2 atau 3 URL per detik sudah cukup untuk sebagian besar audit. Lebih cepat hanya di situs Anda sendiri.
  • Sebutkan siapa Anda. User agent yang jelas dengan link ke halaman tentang crawler lebih mudah diizinkan daripada string browser palsu.
  • Hormati robots.txt. Itu adalah keinginan yang dinyatakan situs, dan mengabaikannya di situs orang lain adalah cara tercepat untuk diblokir.
  • Minta untuk diizinkan masuk. Di situs klien yang berada di balik firewall atau proteksi bot, minta tim IT mengizinkan crawler Anda, misalnya lewat header rahasia yang hanya dikirim crawler Anda.

Lalu baca jawabannya. Setiap kode status menyampaikan hal yang berbeda:

AnswerArtinyaLakukan
429Terlalu banyak permintaanBagi dua kecepatan, patuhi Retry-After
503Server sibuk atau matiPerlambat, coba lagi nanti
403DitolakBerhenti dan tanyakan
401Perlu loginMinta akses
Rentetan 5xxServer kewalahanJeda crawl

Halaman Google tentang kode status HTTP dan error jaringan menjelaskan bagaimana Googlebot sendiri memperlakukan jawaban 429 dan 5xx.

Meng-crawl Situs JavaScript

Jika situs dibangun dengan React, Vue, Angular atau framework serupa, HTML yang dikirim server bisa hampir kosong, dengan konten ditambahkan oleh skrip. Crawl biasa lalu hanya menemukan sedikit link dan sedikit teks. Aktifkan JavaScript rendering, yang memuat setiap halaman di headless browser, dan bandingkan halaman hasil render dengan HTML mentah. Yang penting adalah apa yang hilang sebelum rendering: teks utama, link, title, dan canonical yang baru muncul setelah skrip berjalan. Rendering lebih lambat, jadi render dulu sampel dari setiap template.

Crawl Situs Saya dengan Neova

Untuk meng-crawl situs Anda sendiri dengan Neova, unduh aplikasinya, lalu pilih Crawl, New Crawl, ketik alamatnya, dan klik Start Crawl. Halaman Crawl Pertama Anda menunjukkan setiap layarnya.

PengaturanDefault
Berjalan di
User agentNeovaBot
Kecepatan3 URL per detik
Saat 429 atau 503Membagi dua kecepatan, mematuhi Retry-After
robots.txtDihormati
CAPTCHATidak pernah diselesaikan
Paket gratis1.000 URL per crawl
  • Start URL Check memilih versi situs (http atau https, dengan atau tanpa www) yang menjawab 200 dan menjelaskan apa yang dilakukan versi lainnya.
  • Mode dan cakupan: Spider atau List, Full Site, Specific Folders atau Sample per Page Group, ditambah XML Sitemap, seed URL, serta aturan include dan exclude.
  • Situs Anda sendiri: setelah Anda mengonfirmasi bahwa situs itu milik Anda, Neova bisa berjalan lebih cepat dan mengabaikan robots.txt. Allowlist Header membuat header rahasia yang hanya dikirim ke situs itu, lengkap dengan aturan untuk diserahkan ke tim IT.
  • Blocked Crawl Explained: saat sebuah situs menolak crawl, Neova menjelaskan alasannya (dibatasi kecepatan, diblokir firewall, dilarang) dan apa yang perlu dilakukan selanjutnya.
  • Discovery dan URL Breakdown: selama crawl berjalan, setiap URL yang ditemukan masuk ke satu kelompok dan bentuk crawl trap ditandai, dengan pilihan Skip atau Exclude saat itu juga.
  • Pause, Stop dan Resume: berhenti kapan saja dan jalankan pemeriksaan pada apa yang sudah di-crawl, atau Resume nanti dari titik berhentinya.

Pemilik situs bisa membaca cara crawler ini mengidentifikasi dirinya, dan cara memblokirnya, di halaman NeovaBot.

Apa yang Dilakukan dengan Hasil Crawl

Crawl adalah potret sesaat. Nilainya ada pada apa yang Anda perbaiki. Urutkan temuan menurut berapa banyak halaman yang bisa diindeks yang terkena, perbaiki masalah template sekali saja alih-alih halaman per halaman, lalu crawl lagi untuk memastikan. Putaran pertama singkat yang biasanya membuahkan hasil:

Checklist audit SEO teknis menyusun seluruh tinjauan secara berurutan.

Pertanyaan

Bagaimana cara meng-crawl situs untuk semua URL?

Gabungkan crawl link dengan XML Sitemap, lalu tambahkan URL dari Google Search Console dan log server. Halaman yang hanya ditemukan sumber-sumber itu, dan tidak dijangkau internal link mana pun, adalah halaman yatim yang layak diperiksa.

Bagaimana cara meng-crawl situs tanpa diblokir?

Crawl dengan pelan, pakai user agent yang jujur, hormati robots.txt, dan perlambat saat server menjawab 429 atau 503. Di situs klien yang berada di balik firewall, minta tim IT mengizinkan crawler Anda alih-alih mencoba mengakali pemblokiran.

Apakah legal meng-crawl sebuah situs?

Meng-crawl halaman publik adalah praktik umum, tetapi aturannya berbeda menurut negara dan ketentuan situs. Crawl situs Anda dan situs klien dengan bebas, hormati robots.txt di mana saja, dan baca ketentuan situs jika ragu. Ini bukan nasihat hukum.

Berapa lama waktu untuk meng-crawl sebuah situs?

Kira-kira jumlah URL dibagi kecepatannya. Crawl penuh kami atas seoprocheck.com pada 17 Oktober 2026 mengambil 10.222 URL dalam 61 menit, sekitar 2,8 URL per detik. Pada 3 URL per detik, 1.000 URL butuh sekitar 6 menit dan 100.000 sekitar 9 jam, belum termasuk rendering. Mengambil sampel tiap template jauh lebih cepat.

Bisakah saya meng-crawl situs saya secara gratis?

Bisa. Paket Free Neova meng-crawl hingga 1.000 URL per crawl dengan semua pemeriksaan, di Mac, Windows dan Linux. Lihat harga untuk paket yang lebih besar.

Bawa panduan ini

Link asisten membuka pertanyaan tentang halaman ini yang sudah siap dikirim.

Crawl situs Anda dengan NeovaPaket Free menjalankan semua pemeriksaan di Mac, Windows, dan Linux. Tanpa kartu kredit.

Lanjut Membaca