robots.txt test aracı: yanlış sayfaları engellemeden önce robots.txt kurallarını test edin
robots.txt kısa ama çok güçlü bir metin dosyasıdır. Tek bir satır, bir arama motorunu gizlemek istediğiniz bir klasörden ya da sıralanmasını istediğiniz tüm siteden uzak tutabilir. Bir robots.txt test aracı, her crawler'ın neyi getirmesine izin verildiğini URL bazında söyler; böylece Googlebot'tan önce siz öğrenirsiniz.
robots.txt test aracı ne yapar
Bir robots.txt test aracı bir robots.txt dosyası ve bir URL alır, belirli bir user agent için geçerli olan kural grubunu seçer ve o URL'ye izin verilip verilmediğini ve buna hangi satırın karar verdiğini söyler. İyi bir araç ayrıca ayrıştırıcının okuyamadığı satırları, yok saydığı alanları ve birbirini iptal eden kuralları da gösterir.
URL'leri tek tek test etmek hızlı bir soru için faydalıdır. Bir taramanın her URL'sini test etmek ise sürprizleri yakalar: bir klasör için yazılmış ama bir ürün filtresiyle de eşleşen bir kural ya da sayfalarınızın render için ihtiyaç duyduğu CSS'i engelleyen bir joker karakter.
Google kendi robots.txt test aracını kaldırdı
Search Console'da yıllarca dosyayı düzenleyip URL'leri ona karşı test edebileceğiniz bir robots.txt test aracı vardı. Google 2023'ün sonlarında onu kaldırdı ve yerine robots.txt raporunu getirdi. Rapor, Google'ın bir mülkün ilk 20 host'u için hangi robots.txt dosyalarını bulduğunu, her birinin en son ne zaman tarandığını ve varsa uyarıları ya da hataları gösterir. Acil bir düzeltmeden sonra dosyanın yeniden taranmasını istemenize de olanak tanır.
Rapor, Google'ın canlı dosyanızı nasıl okuduğunu söyler. Henüz yayında olmayan bir kuralı test etmez ve tüm URL listenizi dosyaya karşı çalıştırmaz. Bunun için ayrı bir test aracı gerekir. Google kendi açık kaynak robots.txt ayrıştırıcısını yayımlar; Bing Webmaster Tools'ta da Bingbot'un bir dosyayı nasıl okuduğunu kontrol etmek için kullanışlı bir robots.txt test aracı vardır.
robots.txt kuralları nasıl çalışır
Dosya bir host'un kökünde durur, örneğin https://www.example.com/robots.txt. Kurallar Robots Exclusion Protocol olan RFC 9309 ile tanımlanır; Google onları nasıl okuduğunu Google robots.txt spesifikasyonunu nasıl yorumlar sayfasında belgeler. Bir dosya gruplardan oluşur. Her grup bir ya da daha fazla User-agent satırıyla başlar, ardından Allow ve Disallow kuralları gelir:
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
Google'ın belgelediği şekliyle test araçlarının kontrol ettiği noktalar. SEO ProCheck'in eksiksiz robots.txt başvuru kılavuzu her alanı tek tek ele alır.
- Crawler başına bir grup. Bir crawler yalnızca adıyla eşleşen en spesifik grubu izler. Googlebot'un kendi grubu varsa
*grubunu tamamen yok sayar. - En uzun eşleşme kazanır. Bir Allow ve bir Disallow aynı URL ile eşleştiğinde daha uzun yola sahip kural uygulanır. Eşitlik durumunda Google en az kısıtlayıcı kuralı kullanır.
- İki joker karakter.
*herhangi bir karakter dizisiyle eşleşir,$ise URL'nin sonunu belirtir. - Yollar büyük/küçük harfe duyarlıdır.
Disallow: /Admin,/adminyolunu engellemez. - Host başına bir dosya. Kurallar yalnızca dosyanın sunulduğu protokol, host ve porta uygulanır. Bir alt alan adının kendi dosyası olmalıdır.
robots.txt'nin yapmadıkları
robots.txt dizine eklemeyi değil, taramayı kontrol eder. Google'ın robots.txt'ye giriş sayfası, engellenmiş bir URL'nin diğer sayfalar ona link veriyorsa yine de dizine eklenebileceğini, genellikle açıklama olmadan gösterildiğini açıkça belirtir. Bir sayfayı arama sonuçlarından çıkarmak istiyorsanız taranmasına izin verin ve bunun yerine noindex kullanın. Google'ın getiremediği bir sayfa, noindex'ini hiç görmediği bir sayfadır.
Bilmeye değer birkaç sınır daha:
- noindex satırı yok. Google 2019'da oradaki nofollow ve crawl-delay kurallarıyla birlikte robots.txt'de noindex desteğini bıraktı.
- Google için crawl-delay yok. Googlebot
Crawl-delay'i yok sayar. Bazı diğer crawler'lar onu okur; bu yüzden her user agent için ayarlanan bir değer onları çok yavaşlatabilir. - Güvenlik yok. Dosya herkese açıktır ve iyi niyetli crawler'lar ona kendi istekleriyle uyar. Gizli olan her şey oturum açma gerektirmelidir.
Bir test aracının yakaladığı yaygın robots.txt hataları
| Hata | Etkisi | Düzeltme |
|---|---|---|
Staging'den kalan Disallow: / | Tüm site engellenmiş | Satırı kaldırın |
| Ortak kuralları olmayan adlandırılmış grup | O bot için * kuralları geçersiz kalır | Ortak kuralları içine kopyalayın |
| Engellenmiş CSS, JavaScript, görseller | Sayfa render edilemez | Dosyalara izin verin |
| Joker karakter çok geniş | /*? filtreleri ve sayfaları engeller | Kalıbı daraltın |
| User-agent'tan önce kural, yazım hatası | Satır atlanır | Sözdizimini düzeltin |
| İndeksten çıkarmak için Disallow | noindex hiç okunmaz | İzin verin, sonra noindex |
| www ve www'siz farklı | Kurallar host'a göre farklı | Tek bir dosya sunun |
XML site haritanızda da listelediğiniz bir URL'yi engellemek karışık sinyaller gönderir. O tarafı XML site haritası kontrolü rehberi ele alır.
Sunucu hataları ve dosya boyutu
Dosyanın nasıl sunulduğu, ne söylediği kadar önemlidir. Google her durumu belgeler:
| Durum | Google ne yapar | Ne kadar süre |
|---|---|---|
| 4xx, 429 hariç | Dosya yokmuş gibi tarar | Düzeltilene kadar |
| 5xx ya da 429 | Siteyi taramayı durdurur | İlk 12 saat |
| Hâlâ başarısız | Son sağlam kopyayı kullanır | 30 güne kadar |
| 500 KiB'ın üstünde dosya | Gerisini yok sayar | 500 KiB'tan sonrası |
| Herhangi bir değişiklik | Önbellekteki kopyasını kullanır | 24 saate kadar |
robots.txt raporundaki yeniden tarama isteği acil düzeltmeler içindir. Yanlış anda zaman aşımına uğrayan bir robots.txt tüm sitenin taranmasını duraklatabilir; tarama bütçesi rehberi bunun neden en çok büyük sitelerde önemli olduğunu açıklar.
Kendi robots.txt'mizde bulduklarımız
20 Kasım 2026'daki neova.app SEO kontrolümüz, istediğimizden fazlasını engelleyen iki kural buldu:
| Engellenen | Etkilenen sayfalar | Google'ın gördüğü | Düzeltme |
|---|---|---|---|
| /cdn-cgi/ altındaki Cloudflare e-posta script'i | 1.320 | Getiremediği bir script | O script'e izin verdik |
| /favicon ve /apple-touch-icon.png | Her sonuç | Logo yerine yalnızca bir harf | İki dosyaya da izin verdik |
Favicon dosyaları bir Disallow: / kuralının arkasındaydı. Google'ın favicon yönergeleri dosyanın Googlebot-Image tarafından taranabilir olmasını ister; bu yüzden arama sonuçları neova.app'in yanında logomuz yerine bir harf gösterdi. Dosyada iki kural da yanlış görünmüyordu. İkisi de ancak kurallar sayfaların yüklediği her URL'ye ve dosyaya karşı test edildiğinde ortaya çıktı.
robots.txt güvenle nasıl test edilir
- Yalnızca aklınızda kalan birkaç URL değil, gerçek URL'lerin tam bir listesine sahip olmak için siteyi tarayın.
- Canlı dosyayı test edin: önem verdiğiniz her crawler için bu listeye karşı; Googlebot, Googlebot-Image, Bingbot ve yapay zeka crawler'ları.
- Değişikliği taslak olarak yazın ve taslağı aynı listeye karşı test edin. Yeni engellenen ve yeni izin verilen URL'lere bakın.
- Kaynakları kontrol edin. Hiçbir dizine eklenebilir sayfanın script'lerini, stil dosyalarını ya da görsellerini kaybetmediğinden emin olun.
- Yayına alın, sonra doğrulayın: Search Console robots.txt raporunda Google'ın yeni sürümü hatasız getirdiğini kontrol edin.
- Yeniden tarayın ve karşılaştırın; böylece daha sonra yapılan kazara bir değişiklik yakalanır.
Yapay zeka crawler'larının neyi getirebileceğine karar veriyorsanız yapay zeka crawler'ları rehberi adlarını ve her birinin ne yaptığını listeler. Engellenen sayfalar dizine eklenebilirlik kontrolü rehberinde de yer alır.
Neova ile robots.txt'yi test edin
Neova'nın robots.txt test aracı, canlı dosyanın ya da bir taslağın her satırını Google'ın belgelediği ve RFC 9309'un tanımladığı şekliyle sade bir dille, her kuralın eşleştiği taranan URL'lerle birlikte açıklar. Tüm crawler'lar görünümü Googlebot'un, Bingbot'un ve yapay zeka crawler'larının neyi getirebileceğini, her birinin engellendiği URL'lerle birlikte gösterir. Bir crawler'ın kendi grubu * grubunun kurallarını geçersiz kıldığında bunu söyler; taslak testi de bir değişikliğin yeni engelleyeceği ya da yeni izin vereceği taramadaki her URL'yi listeler. Ardından tam etkiyi görmek için taslağa uyarak tarama yapabilirsiniz. Arkasındaki kontroller:
- robots.txt'de geçersiz söz dizimi ya da bilinmeyen alanlar var
- robots.txt'ye ulaşılamıyor ya da dosya çok büyük: 5xx, 429, yanıt yok ya da 500 KiB'ın üstü için
- İç URL robots.txt tarafından engelleniyor
- HTML sayfası robots.txt ile engellenmiş bir JavaScript dosyası kullanıyor, stil dosyası ve görsel
- robots.txt'de tüm user agent'lar için Crawl-delay ayarlanmış
- Ana makine varyantının robots.txt'si canonical ana makineden farklı
- robots.txt kuralları önceki taramadan bu yana değişti
- Favicon eksik, bozuk ya da engellenmiş: Googlebot-Image için engellenmiş bir favicon dahil
- robots.txt ile engellenmiş URL bir XML site haritasında listeleniyor
Neova taramalarının okuduğu her robots.txt sürümünü saklar; böylece bir kuralın ne zaman değiştiğini görebilirsiniz. User agent ayarıyla Googlebot, Bingbot, bir yapay zeka crawler'ı ya da özel bir dize olarak tarayabilirsiniz. Özellikler sayfasına bakın ya da Neova'yı indirin.
Sorular
Google'ın hâlâ bir robots.txt test aracı var mı?
Hayır. Google 2023'te Search Console'daki robots.txt test aracını kaldırdı ve yerine Google'ın canlı dosyanızı nasıl okuduğunu ve varsa hataları gösteren robots.txt raporunu getirdi. Bir değişikliği yayına almadan önce test etmek için ayrı bir robots.txt test aracı kullanın.
Bir URL'nin robots.txt ile engellenip engellenmediğini nasıl test ederim?
Crawler'ın user agent'ıyla eşleşen grubu, ardından URL ile eşleşen en uzun Allow ya da Disallow yolunu bulun. Kararı o kural verir. Bir robots.txt test aracı bunu sizin için yapar ve satırı, tek bir URL ya da bir taramanın her URL'si için belirtir. SEO ProCheck'in robots.txt SSS sayfası uç durumları yanıtlar.
robots.txt bir sayfanın dizine eklenmesini engeller mi?
Hayır. Taramayı durdurur. Engellenmiş bir URL, diğer sayfalar ona link veriyorsa yine de dizine eklenebilir. Bir sayfayı arama sonuçlarından çıkarmak istiyorsanız Google'ın tarayabildiği bir sayfada noindex kullanın.
Googlebot neden User-agent: * kurallarımı yok sayıyor?
Çünkü dosyada Googlebot adına bir grup var. Bir crawler yalnızca kendisiyle eşleşen en spesifik grubu izler; bu yüzden ortak kuralları Googlebot grubuna da kopyalayın.
Bir robots.txt değişikliğinin etkili olması ne kadar sürer?
Google robots.txt'yi genellikle 24 saate kadar önbellekte tutar. Acil bir düzeltmeden sonra Search Console robots.txt raporunda yeniden tarama isteyebilirsiniz.