NeovaPlatform SEO Tingkat Lanjut

robots.txt Tester: Cara Menguji Aturan robots.txt Sebelum Memblokir Halaman yang Salah

robots.txt adalah file teks pendek dengan kekuatan besar. Satu baris bisa menjauhkan mesin pencari dari folder yang ingin Anda sembunyikan, atau dari seluruh situs yang ingin Anda naikkan peringkatnya. robots.txt tester memberi tahu Anda, URL demi URL, apa yang boleh diambil setiap crawler, sehingga Anda tahu lebih dulu sebelum Googlebot.

Crawling dan Indexingrobots.txt testerDiperbarui 21 November 2026Oleh tim Neova

Apa yang Dilakukan robots.txt Tester

robots.txt tester mengambil file robots.txt dan sebuah URL, memilih grup aturan yang berlaku untuk user agent tertentu, dan memberi tahu apakah URL itu allowed atau disallowed, serta baris mana yang menentukannya. Tester yang baik juga menunjukkan baris yang tidak bisa dibaca parser, field yang diabaikannya, dan aturan yang saling meniadakan.

Menguji satu URL setiap kali berguna untuk pertanyaan cepat. Menguji setiap URL dalam crawl adalah cara menangkap kejutan: aturan yang ditulis untuk satu folder ternyata juga cocok dengan filter produk, atau wildcard yang memblokir CSS yang dibutuhkan halaman untuk di-render.

Google Menghentikan robots.txt Tester-nya

Selama bertahun-tahun, Search Console punya robots.txt Tester tempat Anda bisa mengedit file dan menguji URL terhadapnya. Pada akhir 2023 Google menghentikannya dan menggantinya dengan laporan robots.txt. Laporan ini menunjukkan file robots.txt mana yang ditemukan Google untuk 20 host teratas sebuah properti, kapan masing-masing terakhir di-crawl, dan peringatan atau error apa pun. Laporan ini juga memungkinkan Anda meminta crawl ulang file setelah perbaikan mendesak.

Laporan itu memberi tahu bagaimana Google membaca file live Anda. Laporan itu tidak menguji aturan yang belum live, dan tidak menjalankan seluruh daftar URL Anda terhadap file tersebut. Untuk itu Anda butuh tester terpisah. Google memublikasikan parser robots.txt open source miliknya sendiri, dan Bing Webmaster Tools punya robots.txt tester yang praktis untuk mengecek cara Bingbot membaca sebuah file.

Cara Kerja Aturan robots.txt

File ini berada di root sebuah host, misalnya https://www.example.com/robots.txt. Aturannya ditetapkan oleh RFC 9309, Robots Exclusion Protocol, dan Google mendokumentasikan cara membacanya di Cara Google menafsirkan spesifikasi robots.txt. Sebuah file terdiri dari grup. Setiap grup dimulai dengan satu atau beberapa baris User-agent, diikuti aturan Allow dan Disallow:

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

Poin-poin yang dicek tester, sesuai dokumentasi Google. Referensi lengkap robots.txt dari SEO ProCheck membahas setiap field.

  • Satu grup per crawler. Crawler hanya mengikuti grup paling spesifik yang cocok dengan namanya. Jika Googlebot punya grup sendiri, ia mengabaikan grup * sepenuhnya.
  • Kecocokan terpanjang menang. Saat Allow dan Disallow sama-sama cocok dengan sebuah URL, aturan dengan path lebih panjang yang berlaku. Jika seri, Google memakai aturan yang paling longgar.
  • Dua wildcard. * cocok dengan rangkaian karakter apa pun dan $ menandai akhir URL.
  • Path peka huruf besar-kecil. Disallow: /Admin tidak memblokir /admin.
  • Satu file per host. Aturan hanya berlaku untuk protokol, host, dan port tempat file disajikan. Subdomain butuh file sendiri.

Yang Tidak Dilakukan robots.txt

robots.txt mengontrol crawling, bukan indexing. Pengantar robots.txt dari Google jelas menyatakan bahwa URL yang di-disallow tetap bisa terindeks jika halaman lain me-link ke sana, biasanya ditampilkan tanpa deskripsi. Jika Anda ingin sebuah halaman keluar dari hasil pencarian, biarkan halaman itu di-crawl dan gunakan noindex. Halaman yang tidak bisa diambil Google adalah halaman yang noindex-nya tidak pernah terlihat.

Beberapa batasan lain yang perlu diketahui:

  • Tidak ada baris noindex. Google berhenti mendukung noindex di robots.txt pada 2019, bersama aturan nofollow dan crawl-delay di sana.
  • Tidak ada crawl-delay untuk Google. Googlebot mengabaikan Crawl-delay. Sebagian crawler lain membacanya, karena itu nilai yang diatur untuk semua user agent bisa sangat memperlambat mereka.
  • Bukan keamanan. File ini publik dan crawler yang sopan mematuhinya atas kemauan sendiri. Apa pun yang privat butuh login.

Kesalahan robots.txt Umum yang Ditangkap Tester

KesalahanDampakPerbaikan
Disallow: / tertinggal dari stagingSeluruh situs diblokirHapus barisnya
Grup bernama tanpa aturan bersamaAturan * tidak berlaku untuk bot ituSalin aturan bersama ke dalamnya
CSS, JavaScript, gambar diblokirHalaman tidak bisa di-renderIzinkan file-nya
Wildcard terlalu luas/*? memblokir filter, halamanPersempit pola
Aturan sebelum User-agent, salah ketikBaris dilewatiPerbaiki sintaksnya
Disallow untuk deindexnoindex tidak pernah terbacaIzinkan, lalu noindex
www dan non-www berbedaAturan berbeda per hostSajikan satu file

Memblokir URL yang juga Anda cantumkan di Sitemap XML mengirim sinyal yang bertentangan. Panduan XML sitemap checker membahas sisi itu.

Error Server dan Ukuran File

Cara file disajikan sama pentingnya dengan isinya. Google mendokumentasikan setiap kasus:

KasusYang dilakukan GoogleBerapa lama
4xx, bukan 429Crawl seolah tidak ada fileSampai diperbaiki
5xx atau 429Berhenti meng-crawl situs12 jam pertama
Masih gagalMemakai salinan baik terakhirHingga 30 hari
File lebih dari 500 KiBMengabaikan sisanyaSetelah 500 KiB
Perubahan apa punMemakai salinan cache-nyaHingga 24 jam

Permintaan crawl ulang di laporan robots.txt ditujukan untuk perbaikan mendesak. robots.txt yang timeout di saat yang salah bisa menghentikan sementara crawling seluruh situs; panduan crawl budget menjelaskan mengapa hal itu paling penting di situs besar.

Temuan di robots.txt Kami Sendiri

Pemeriksaan SEO kami atas neova.app, pada 20 November 2026, menemukan dua aturan yang memblokir lebih banyak dari yang kami maksud:

Yang diblokirHalaman terdampakYang dilihat GooglePerbaikan
Script email Cloudflare di bawah /cdn-cgi/1.320Script yang tidak bisa diambilMengizinkan script itu
/favicon dan /apple-touch-icon.pngSetiap hasil pencarianHuruf polos, tanpa logoMengizinkan kedua file

File favicon berada di balik aturan Disallow: /. Pedoman favicon dari Google mengharuskan file itu bisa di-crawl oleh Googlebot-Image, sehingga hasil pencarian menampilkan huruf alih-alih logo kami di samping neova.app. Tidak satu pun aturan itu terlihat salah di dalam file. Keduanya baru terlihat saat aturan diuji terhadap setiap URL dan file yang dimuat halaman.

Cara Menguji robots.txt dengan Aman

  1. Crawl situs agar Anda punya daftar lengkap URL sungguhan, bukan hanya beberapa yang Anda ingat.
  2. Uji file live terhadap daftar itu untuk setiap crawler yang Anda pedulikan: Googlebot, Googlebot-Image, Bingbot, dan crawler AI.
  3. Tulis perubahan sebagai draf dan uji draf itu terhadap daftar yang sama. Lihat URL yang baru diblokir dan yang baru diizinkan.
  4. Cek resource-nya. Pastikan tidak ada halaman yang dapat diindeks yang kehilangan script, style sheet, atau gambarnya.
  5. Rilis, lalu konfirmasi di laporan robots.txt Search Console bahwa Google mengambil versi baru tanpa error.
  6. Crawl lagi dan bandingkan, agar perubahan yang tidak disengaja di kemudian hari tertangkap.

Jika Anda sedang memutuskan apa yang boleh diambil crawler AI, panduan crawler AI mencantumkan nama-namanya dan fungsi masing-masing. Halaman yang diblokir juga muncul di panduan indexability checker.

Uji robots.txt dengan Neova

robots.txt Tester di Neova menjelaskan setiap baris file live, atau draf, dengan bahasa sederhana, sesuai dokumentasi Google dan definisi RFC 9309, beserta URL hasil crawl yang cocok dengan setiap aturan. Tampilan Semua crawler menunjukkan apa yang boleh diambil Googlebot, Bingbot, dan crawler AI, beserta URL yang diblokir untuk masing-masing. Tester memberi tahu saat grup milik sebuah crawler menggugurkan aturan grup *, dan uji draf mencantumkan setiap URL dalam crawl yang akan baru diblokir atau baru diizinkan oleh sebuah perubahan. Anda lalu bisa meng-crawl dengan mematuhi draf itu untuk melihat dampak lengkapnya. Pemeriksaan di baliknya:

Neova menyimpan setiap versi robots.txt yang dibaca crawl-nya, jadi Anda bisa melihat kapan sebuah aturan berubah. Dengan pengaturan User agent Anda bisa meng-crawl sebagai Googlebot, Bingbot, crawler AI, atau string kustom. Lihat Fitur atau unduh Neova.

Pertanyaan

Apakah Google masih punya robots.txt tester?

Tidak. Google menghentikan robots.txt Tester di Search Console pada 2023 dan menggantinya dengan laporan robots.txt, yang menunjukkan bagaimana Google membaca file live Anda dan error apa pun. Untuk menguji perubahan sebelum live, gunakan robots.txt tester terpisah.

Bagaimana cara menguji apakah sebuah URL diblokir robots.txt?

Temukan grup yang cocok dengan user agent crawler, lalu path Allow atau Disallow terpanjang yang cocok dengan URL. Aturan itulah yang menentukan. robots.txt tester melakukannya untuk Anda dan menyebut barisnya, untuk satu URL atau untuk setiap URL dalam crawl. FAQ robots.txt dari SEO ProCheck menjawab kasus-kasus khusus.

Apakah robots.txt menghentikan halaman agar tidak diindeks?

Tidak. robots.txt menghentikan crawling. URL yang di-disallow tetap bisa terindeks jika halaman lain me-link ke sana. Gunakan noindex pada halaman yang bisa di-crawl Google jika Anda ingin halaman itu keluar dari hasil pencarian.

Mengapa Googlebot mengabaikan aturan User-agent: * saya?

Karena file itu punya grup bernama Googlebot. Crawler hanya mengikuti grup paling spesifik yang cocok dengannya, jadi salin juga aturan bersama ke grup Googlebot.

Berapa lama perubahan robots.txt mulai berlaku?

Google umumnya menyimpan robots.txt di cache hingga 24 jam. Setelah perbaikan mendesak, Anda bisa meminta crawl ulang di laporan robots.txt Search Console.

Bawa panduan ini

Link asisten membuka pertanyaan tentang halaman ini yang sudah siap dikirim.

Crawl situs Anda dengan NeovaPaket Free menjalankan semua pemeriksaan di Mac, Windows, dan Linux. Tanpa kartu kredit.

Lanjut Membaca