Crawl Budget: Apa Itu, Cara Memeriksanya, dan Cara Menghentikan Pemborosan
Crawl budget adalah jumlah URL yang bisa dan ingin diambil Googlebot di situs Anda. Sebagian besar situs tidak perlu memikirkannya. Situs besar atau yang cepat berubah perlu, dan solusinya biasanya sama: hentikan Googlebot menghabiskan waktunya pada URL yang tidak penting.
Apa Itu Crawl Budget?
Google mendefinisikan crawl budget sebagai kumpulan URL yang bisa dan ingin di-crawl Googlebot di sebuah situs. Dalam panduan mengelola crawl budget, Google membaginya menjadi dua bagian:
- Batas kapasitas crawl. Seberapa banyak yang bisa diambil Googlebot tanpa membebani server Anda. Jika situs menjawab dengan cepat, batasnya naik. Jika melambat atau mengembalikan error server, Googlebot mengurangi crawl.
- Permintaan crawl. Seberapa banyak yang ingin di-crawl Google. URL populer dan URL yang berubah lebih sering di-crawl. URL usang atau bernilai rendah lebih jarang di-crawl.
Jika digabungkan, crawl budget dalam SEO adalah titik temu antara apa yang sanggup ditangani server Anda dan apa yang menurut Google layak diambil. Anda tidak bisa membelinya. Anda bisa memanfaatkan yang Anda dapat dengan lebih baik.
Apakah Crawl Budget Penting untuk Situs Anda?
Google menyatakan crawl budget terutama menjadi perhatian bagi tiga jenis situs. Dari panduan crawl budget-nya:
| Situs | Halaman unik | Perubahan konten | Perlu diperhatikan |
|---|---|---|---|
| Besar | 1.000.000+ | Mingguan | ✓ |
| Menengah atau lebih besar | 10.000+ | Harian | ✓ |
| Banyak halaman Ditemukan, tidak diindeks | Berapa saja | Berapa saja | ✓ |
| Sebagian besar situs lain | Beberapa ribu | Berapa saja | – |
Jika halaman baru di-crawl dalam satu atau dua hari, crawl budget bukan masalah Anda. Periksa kualitas konten, internal link, dan indexability. Panduan Discovered, currently not indexed di SEO ProCheck membahas status itu dan penyebabnya.
Kebiasaan yang menghemat crawl budget, seperti URL yang bersih, sedikit redirect, dan tanpa crawl trap, tetap membantu setiap situs. Kebiasaan itu juga membuat crawl Anda sendiri lebih cepat dan audit lebih mudah dibaca.
Cara Memeriksa Crawl Budget
Tidak ada satu angka crawl budget. Anda membacanya dari tiga tempat.
1. Laporan Statistik Crawl di Search Console
Buka Setelan, lalu Statistik crawl. Anda mendapat total permintaan crawl, total ukuran unduhan, dan rata-rata waktu respons selama 90 hari terakhir, dirinci menurut kode respons, jenis file, tujuan (penemuan atau pemuatan ulang) dan jenis Googlebot. Status host menunjukkan apakah pengambilan robots.txt, DNS atau konektivitas server bermasalah.
Yang perlu dicari: porsi respons 3xx dan 4xx yang naik, waktu respons yang terus meningkat, atau sebagian besar permintaan untuk pemuatan ulang sementara halaman baru menunggu.
2. Log Server Anda
Statistik Crawl adalah ringkasan. Log menunjukkan setiap permintaan, sehingga Anda bisa melihat persis URL mana yang diambil Googlebot, seberapa sering, dan mana yang tidak pernah disentuhnya. Impor Alih-alih Menghubungkan mencantumkan format log yang dibaca Neova dan di mana setiap host menyimpannya.
3. Crawl Anda Sendiri
Crawler menunjukkan URL yang diekspos oleh link dan sitemap Anda. Bandingkan jumlahnya dengan jumlah halaman yang benar-benar ingin Anda indeks. Kami melakukannya di situs kami sendiri:
| seoprocheck.com, 17 Okt 2026 | URL |
|---|---|
| Diambil oleh crawl penuh | 10.222 |
| Halaman HTML berstatus 200 | 4.561 |
| Tercantum di XML Sitemap | 1.835 |
| Dijangkau lewat link, tidak ada di sitemap mana pun | 2.727 |
Jadi kurang dari separuh URL yang diambil adalah halaman HTML yang menjawab 200; sisanya file, redirect, dan jawaban lain yang juga menghabiskan permintaan bot. Lalu 2.727 URL yang ditautkan tidak ada di sitemap mana pun, dan ini layak diperiksa sebelum menyalahkan Google. Jika situs dengan 20.000 produk menghasilkan 400.000 URL yang bisa di-crawl, Anda sudah menemukan pemborosan crawl budget Anda.
Dari Mana Pemborosan Crawl Budget Berasal
| Sumber | Tampak seperti | Perbaikan yang biasa |
|---|---|---|
| Navigasi faset | Satu URL per kombinasi filter | Blokir kombinasi bernilai rendah |
| Parameter | Tracking, sesi, urutan | Hapus dari internal link |
| Crawl trap | Kalender, folder berulang | Batasi, blokir, atau perbaiki link |
| Redirect chain | 2 hop atau lebih | Tautkan ke URL akhir |
| Soft 404 | Tidak ditemukan, menjawab 200 | Kembalikan 404 atau 410 |
| URL duplikat | Huruf besar-kecil, garis miring, urutan parameter | Redirect ke satu versi |
| Sitemap kotor | Redirect, noindex, error | Hanya URL 200 yang bisa diindeks |
| Respons lambat | Waktu respons terus naik | Percepat server |
Navigasi faset adalah sumber terbesar di kebanyakan toko online; penjelasan crawl budget di SEO ProCheck menguraikan kapan setiap sumber menjadi penting.
Optimasi Crawl Budget, Langkah demi Langkah
- Hitung yang seharusnya diindeks. Catat berapa halaman yang Anda inginkan ada di Google. Semua yang melebihi angka itu adalah kandidat pemborosan.
- Crawl situs dan pilah URL-nya. Pisahkan URL halaman yang bersih dari varian parameter, URL rusak, crawl trap, dan resource.
- Temukan polanya. Pemborosan jarang acak. Biasanya satu filter, satu kalender, satu link relatif rusak yang terulang ribuan kali.
- Blokir yang tidak pernah perlu di-crawl. Gunakan robots.txt untuk pola URL tanpa nilai pencarian, seperti hasil pencarian internal atau urutan sortir. Uji aturannya terhadap URL hasil crawl sebelum diterapkan.
- Perbaiki link yang menciptakan pemborosan. Memblokir menyembunyikan URL; memperbaiki link menghentikan URL itu dibuat.
- Bersihkan XML Sitemap. Hanya URL yang bisa diindeks dan menjawab 200, dengan tanggal lastmod yang berubah saat halamannya berubah.
- Kembalikan kode status yang benar. 404 atau 410 untuk halaman yang sudah tidak ada, bukan 200 dengan pesan tidak ditemukan.
- Perpendek redirect chain dan perbarui internal link agar mengarah ke URL akhir.
- Pantau log dan Statistik Crawl selama beberapa minggu untuk memastikan Googlebot beralih ke halaman yang penting.
Yang Tidak Perlu Dilakukan
Beberapa tips crawl budget yang umum tidak bekerja seperti yang diharapkan orang. Dari panduan crawl budget Google dan halamannya tentang mengurangi kecepatan crawl:
| Tips | Menghemat budget | Mengapa |
|---|---|---|
| Tambahkan noindex | – | Halaman tetap diambil |
| Blokir halaman untuk sementara | – | Google tidak menyarankannya |
| Crawl-delay di robots.txt | – | Googlebot mengabaikannya |
| Kembalikan 503 atau 429 | ◐ | Keadaan darurat, 1 hingga 2 hari |
| Cantumkan URL di sitemap | ◐ | Petunjuk, bukan perintah |
| Blokir permanen di robots.txt | ✓ | URL tidak pernah diambil |
Noindex membantu pengindeksan, bukan crawling. Blokir di robots.txt hanya URL yang tidak pernah ingin Anda crawl, dan perbaiki link yang menciptakannya.
Cara Neova Membantu dengan Crawl Budget
Neova adalah crawler, bukan Googlebot, jadi Neova tidak bisa menunjukkan budget milik Google sendiri. Yang ditunjukkannya adalah di mana situs Anda memberi Googlebot pekerjaan tambahan:
- Discovery berjalan bersamaan dengan crawl. Setiap menit, fitur ini menunjukkan dari mana URL baru berasal berdasarkan pola dan menandai bentuk crawl trap, seperti kalender, folder berulang, session ID, banyak parameter, dan URL yang sangat dalam, dengan pilihan Keep Crawling, Skip atau Exclude saat itu juga.
- URL Breakdown memasukkan setiap URL ke satu kelompok: URL halaman yang bersih, varian parameter, URL rusak, crawl trap, dan resource. Jumlahnya selalu dijelaskan.
- robots.txt Tester menjelaskan setiap baris, dan uji draf mencantumkan URL yang akan menjadi diblokir atau diizinkan oleh sebuah perubahan sebelum Anda menerapkannya.
- Server Log, di aplikasi desktop, mencantumkan halaman HTML yang tidak pernah dikunjungi Googlebot dalam rentang log, serta URL yang diminta bot tetapi tidak dikenal oleh crawl.
- Pemeriksaan seperti URL yang bisa diindeks dengan parameter pencarian atau filter, parameter yang sama dalam urutan berbeda, frasa soft 404, URL redirect di XML Sitemap dan interval recrawl Googlebot yang bertambah 50% atau lebih.

Neova juga meng-crawl dengan sopan: 3 URL per detik secara default, dan kecepatannya dibagi dua saat server melambat atau menjawab 429 atau 503. Lihat Fitur atau unduh Neova untuk mencobanya.
Checklist Crawl Budget
| Sinyal | Sehat | Lokasi |
|---|---|---|
| Waktu respons | Stabil atau turun | Statistik Crawl |
| Porsi 3xx dan 4xx | Tidak naik | Statistik Crawl, log |
| URL yang bisa di-crawl terhadap halaman yang diinginkan | Mendekati 1 banding 1 | Crawl Anda |
| Crawl trap | 0 | Crawl Anda |
| Hop redirect | Paling banyak 1 | Crawl Anda |
| Halaman yang dihapus | 404 atau 410 | Crawl Anda |
| Entri sitemap | Hanya 200 yang bisa diindeks | Crawl Anda |
| URL per file sitemap | Maksimal 50.000 | Crawl Anda |
| Hari log yang dibaca | 30 atau lebih | Log server |
| Halaman penting baru | Dikunjungi Googlebot | Log server |
Pertanyaan
Apa itu crawl budget dalam SEO?
Jumlah URL yang bisa dan ingin di-crawl mesin pencari di situs Anda dalam waktu tertentu. Google menggambarkannya sebagai gabungan kapasitas crawl dan permintaan crawl.
Apakah crawl budget penting untuk situs kecil?
Biasanya tidak. Google menyatakan ini terutama menjadi perhatian bagi situs yang sangat besar, situs yang berubah setiap hari, dan situs dengan banyak halaman yang ditemukan tetapi tidak diindeks. Situs kecil lebih diuntungkan oleh konten dan internal link yang lebih baik.
Bagaimana cara meningkatkan crawl budget?
Buat server cepat dan stabil, dan beri Google alasan untuk meng-crawl: halaman yang ditautkan dan dikunjungi orang, serta konten yang berubah. Lalu berhenti memboroskan yang Anda punya untuk parameter, redirect, dan duplikat.
Apakah noindex menghemat crawl budget?
Tidak. Google harus meng-crawl halaman untuk membaca noindex-nya. Agar Googlebot menjauhi sebuah pola URL secara permanen, blokir di robots.txt, dan perbaiki link yang menciptakannya.
Apakah Googlebot mengikuti crawl-delay?
Tidak. Google tidak mendukung crawl-delay di robots.txt. Bing mendokumentasikan dukungannya. Neova menandai crawl-delay yang ditetapkan untuk semua user agent agar Anda bisa memutuskan apakah masih diperlukan.