robots.txt Tester: Cara Menguji Aturan robots.txt Sebelum Memblokir Halaman yang Salah
robots.txt adalah file teks pendek dengan kekuatan besar. Satu baris bisa menjauhkan mesin pencari dari folder yang ingin Anda sembunyikan, atau dari seluruh situs yang ingin Anda naikkan peringkatnya. robots.txt tester memberi tahu Anda, URL demi URL, apa yang boleh diambil setiap crawler, sehingga Anda tahu lebih dulu sebelum Googlebot.
Apa yang Dilakukan robots.txt Tester
robots.txt tester mengambil file robots.txt dan sebuah URL, memilih grup aturan yang berlaku untuk user agent tertentu, dan memberi tahu apakah URL itu allowed atau disallowed, serta baris mana yang menentukannya. Tester yang baik juga menunjukkan baris yang tidak bisa dibaca parser, field yang diabaikannya, dan aturan yang saling meniadakan.
Menguji satu URL setiap kali berguna untuk pertanyaan cepat. Menguji setiap URL dalam crawl adalah cara menangkap kejutan: aturan yang ditulis untuk satu folder ternyata juga cocok dengan filter produk, atau wildcard yang memblokir CSS yang dibutuhkan halaman untuk di-render.
Google Menghentikan robots.txt Tester-nya
Selama bertahun-tahun, Search Console punya robots.txt Tester tempat Anda bisa mengedit file dan menguji URL terhadapnya. Pada akhir 2023 Google menghentikannya dan menggantinya dengan laporan robots.txt. Laporan ini menunjukkan file robots.txt mana yang ditemukan Google untuk 20 host teratas sebuah properti, kapan masing-masing terakhir di-crawl, dan peringatan atau error apa pun. Laporan ini juga memungkinkan Anda meminta crawl ulang file setelah perbaikan mendesak.
Laporan itu memberi tahu bagaimana Google membaca file live Anda. Laporan itu tidak menguji aturan yang belum live, dan tidak menjalankan seluruh daftar URL Anda terhadap file tersebut. Untuk itu Anda butuh tester terpisah. Google memublikasikan parser robots.txt open source miliknya sendiri, dan Bing Webmaster Tools punya robots.txt tester yang praktis untuk mengecek cara Bingbot membaca sebuah file.
Cara Kerja Aturan robots.txt
File ini berada di root sebuah host, misalnya https://www.example.com/robots.txt. Aturannya ditetapkan oleh RFC 9309, Robots Exclusion Protocol, dan Google mendokumentasikan cara membacanya di Cara Google menafsirkan spesifikasi robots.txt. Sebuah file terdiri dari grup. Setiap grup dimulai dengan satu atau beberapa baris User-agent, diikuti aturan Allow dan Disallow:
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
Poin-poin yang dicek tester, sesuai dokumentasi Google. Referensi lengkap robots.txt dari SEO ProCheck membahas setiap field.
- Satu grup per crawler. Crawler hanya mengikuti grup paling spesifik yang cocok dengan namanya. Jika Googlebot punya grup sendiri, ia mengabaikan grup
*sepenuhnya. - Kecocokan terpanjang menang. Saat Allow dan Disallow sama-sama cocok dengan sebuah URL, aturan dengan path lebih panjang yang berlaku. Jika seri, Google memakai aturan yang paling longgar.
- Dua wildcard.
*cocok dengan rangkaian karakter apa pun dan$menandai akhir URL. - Path peka huruf besar-kecil.
Disallow: /Admintidak memblokir/admin. - Satu file per host. Aturan hanya berlaku untuk protokol, host, dan port tempat file disajikan. Subdomain butuh file sendiri.
Yang Tidak Dilakukan robots.txt
robots.txt mengontrol crawling, bukan indexing. Pengantar robots.txt dari Google jelas menyatakan bahwa URL yang di-disallow tetap bisa terindeks jika halaman lain me-link ke sana, biasanya ditampilkan tanpa deskripsi. Jika Anda ingin sebuah halaman keluar dari hasil pencarian, biarkan halaman itu di-crawl dan gunakan noindex. Halaman yang tidak bisa diambil Google adalah halaman yang noindex-nya tidak pernah terlihat.
Beberapa batasan lain yang perlu diketahui:
- Tidak ada baris noindex. Google berhenti mendukung noindex di robots.txt pada 2019, bersama aturan nofollow dan crawl-delay di sana.
- Tidak ada crawl-delay untuk Google. Googlebot mengabaikan
Crawl-delay. Sebagian crawler lain membacanya, karena itu nilai yang diatur untuk semua user agent bisa sangat memperlambat mereka. - Bukan keamanan. File ini publik dan crawler yang sopan mematuhinya atas kemauan sendiri. Apa pun yang privat butuh login.
Kesalahan robots.txt Umum yang Ditangkap Tester
| Kesalahan | Dampak | Perbaikan |
|---|---|---|
Disallow: / tertinggal dari staging | Seluruh situs diblokir | Hapus barisnya |
| Grup bernama tanpa aturan bersama | Aturan * tidak berlaku untuk bot itu | Salin aturan bersama ke dalamnya |
| CSS, JavaScript, gambar diblokir | Halaman tidak bisa di-render | Izinkan file-nya |
| Wildcard terlalu luas | /*? memblokir filter, halaman | Persempit pola |
| Aturan sebelum User-agent, salah ketik | Baris dilewati | Perbaiki sintaksnya |
| Disallow untuk deindex | noindex tidak pernah terbaca | Izinkan, lalu noindex |
| www dan non-www berbeda | Aturan berbeda per host | Sajikan satu file |
Memblokir URL yang juga Anda cantumkan di Sitemap XML mengirim sinyal yang bertentangan. Panduan XML sitemap checker membahas sisi itu.
Error Server dan Ukuran File
Cara file disajikan sama pentingnya dengan isinya. Google mendokumentasikan setiap kasus:
| Kasus | Yang dilakukan Google | Berapa lama |
|---|---|---|
| 4xx, bukan 429 | Crawl seolah tidak ada file | Sampai diperbaiki |
| 5xx atau 429 | Berhenti meng-crawl situs | 12 jam pertama |
| Masih gagal | Memakai salinan baik terakhir | Hingga 30 hari |
| File lebih dari 500 KiB | Mengabaikan sisanya | Setelah 500 KiB |
| Perubahan apa pun | Memakai salinan cache-nya | Hingga 24 jam |
Permintaan crawl ulang di laporan robots.txt ditujukan untuk perbaikan mendesak. robots.txt yang timeout di saat yang salah bisa menghentikan sementara crawling seluruh situs; panduan crawl budget menjelaskan mengapa hal itu paling penting di situs besar.
Temuan di robots.txt Kami Sendiri
Pemeriksaan SEO kami atas neova.app, pada 20 November 2026, menemukan dua aturan yang memblokir lebih banyak dari yang kami maksud:
| Yang diblokir | Halaman terdampak | Yang dilihat Google | Perbaikan |
|---|---|---|---|
| Script email Cloudflare di bawah /cdn-cgi/ | 1.320 | Script yang tidak bisa diambil | Mengizinkan script itu |
| /favicon dan /apple-touch-icon.png | Setiap hasil pencarian | Huruf polos, tanpa logo | Mengizinkan kedua file |
File favicon berada di balik aturan Disallow: /. Pedoman favicon dari Google mengharuskan file itu bisa di-crawl oleh Googlebot-Image, sehingga hasil pencarian menampilkan huruf alih-alih logo kami di samping neova.app. Tidak satu pun aturan itu terlihat salah di dalam file. Keduanya baru terlihat saat aturan diuji terhadap setiap URL dan file yang dimuat halaman.
Cara Menguji robots.txt dengan Aman
- Crawl situs agar Anda punya daftar lengkap URL sungguhan, bukan hanya beberapa yang Anda ingat.
- Uji file live terhadap daftar itu untuk setiap crawler yang Anda pedulikan: Googlebot, Googlebot-Image, Bingbot, dan crawler AI.
- Tulis perubahan sebagai draf dan uji draf itu terhadap daftar yang sama. Lihat URL yang baru diblokir dan yang baru diizinkan.
- Cek resource-nya. Pastikan tidak ada halaman yang dapat diindeks yang kehilangan script, style sheet, atau gambarnya.
- Rilis, lalu konfirmasi di laporan robots.txt Search Console bahwa Google mengambil versi baru tanpa error.
- Crawl lagi dan bandingkan, agar perubahan yang tidak disengaja di kemudian hari tertangkap.
Jika Anda sedang memutuskan apa yang boleh diambil crawler AI, panduan crawler AI mencantumkan nama-namanya dan fungsi masing-masing. Halaman yang diblokir juga muncul di panduan indexability checker.
Uji robots.txt dengan Neova
robots.txt Tester di Neova menjelaskan setiap baris file live, atau draf, dengan bahasa sederhana, sesuai dokumentasi Google dan definisi RFC 9309, beserta URL hasil crawl yang cocok dengan setiap aturan. Tampilan Semua crawler menunjukkan apa yang boleh diambil Googlebot, Bingbot, dan crawler AI, beserta URL yang diblokir untuk masing-masing. Tester memberi tahu saat grup milik sebuah crawler menggugurkan aturan grup *, dan uji draf mencantumkan setiap URL dalam crawl yang akan baru diblokir atau baru diizinkan oleh sebuah perubahan. Anda lalu bisa meng-crawl dengan mematuhi draf itu untuk melihat dampak lengkapnya. Pemeriksaan di baliknya:
- robots.txt memiliki sintaksis tidak valid atau kolom yang tidak dikenal
- robots.txt tidak dapat dijangkau atau terlalu besar, untuk 5xx, 429, tanpa respons, atau lebih dari 500 KiB
- URL Internal Di-disallow oleh robots.txt
- Halaman HTML memakai file JavaScript yang di-disallow robots.txt, Style sheet, dan Gambar
- Crawl-delay diatur untuk semua user agent di robots.txt
- robots.txt varian host berbeda dari host canonical
- Aturan robots.txt berubah sejak crawl sebelumnya
- Favicon tidak ada, rusak, atau diblokir, termasuk favicon yang di-disallow untuk Googlebot-Image
- URL yang di-disallow tercantum di sitemap XML
Neova menyimpan setiap versi robots.txt yang dibaca crawl-nya, jadi Anda bisa melihat kapan sebuah aturan berubah. Dengan pengaturan User agent Anda bisa meng-crawl sebagai Googlebot, Bingbot, crawler AI, atau string kustom. Lihat Fitur atau unduh Neova.
Pertanyaan
Apakah Google masih punya robots.txt tester?
Tidak. Google menghentikan robots.txt Tester di Search Console pada 2023 dan menggantinya dengan laporan robots.txt, yang menunjukkan bagaimana Google membaca file live Anda dan error apa pun. Untuk menguji perubahan sebelum live, gunakan robots.txt tester terpisah.
Bagaimana cara menguji apakah sebuah URL diblokir robots.txt?
Temukan grup yang cocok dengan user agent crawler, lalu path Allow atau Disallow terpanjang yang cocok dengan URL. Aturan itulah yang menentukan. robots.txt tester melakukannya untuk Anda dan menyebut barisnya, untuk satu URL atau untuk setiap URL dalam crawl. FAQ robots.txt dari SEO ProCheck menjawab kasus-kasus khusus.
Apakah robots.txt menghentikan halaman agar tidak diindeks?
Tidak. robots.txt menghentikan crawling. URL yang di-disallow tetap bisa terindeks jika halaman lain me-link ke sana. Gunakan noindex pada halaman yang bisa di-crawl Google jika Anda ingin halaman itu keluar dari hasil pencarian.
Mengapa Googlebot mengabaikan aturan User-agent: * saya?
Karena file itu punya grup bernama Googlebot. Crawler hanya mengikuti grup paling spesifik yang cocok dengannya, jadi salin juga aturan bersama ke grup Googlebot.
Berapa lama perubahan robots.txt mulai berlaku?
Google umumnya menyimpan robots.txt di cache hingga 24 jam. Setelah perbaikan mendesak, Anda bisa meminta crawl ulang di laporan robots.txt Search Console.