NeovaGelişmiş SEO Platformu

robots.txt test aracı: yanlış sayfaları engellemeden önce robots.txt kurallarını test edin

robots.txt kısa ama çok güçlü bir metin dosyasıdır. Tek bir satır, bir arama motorunu gizlemek istediğiniz bir klasörden ya da sıralanmasını istediğiniz tüm siteden uzak tutabilir. Bir robots.txt test aracı, her crawler'ın neyi getirmesine izin verildiğini URL bazında söyler; böylece Googlebot'tan önce siz öğrenirsiniz.

Tarama ve indekslemerobots.txt test aracıGüncelleme: 21 Kasım 2026Neova ekibi

robots.txt test aracı ne yapar

Bir robots.txt test aracı bir robots.txt dosyası ve bir URL alır, belirli bir user agent için geçerli olan kural grubunu seçer ve o URL'ye izin verilip verilmediğini ve buna hangi satırın karar verdiğini söyler. İyi bir araç ayrıca ayrıştırıcının okuyamadığı satırları, yok saydığı alanları ve birbirini iptal eden kuralları da gösterir.

URL'leri tek tek test etmek hızlı bir soru için faydalıdır. Bir taramanın her URL'sini test etmek ise sürprizleri yakalar: bir klasör için yazılmış ama bir ürün filtresiyle de eşleşen bir kural ya da sayfalarınızın render için ihtiyaç duyduğu CSS'i engelleyen bir joker karakter.

Google kendi robots.txt test aracını kaldırdı

Search Console'da yıllarca dosyayı düzenleyip URL'leri ona karşı test edebileceğiniz bir robots.txt test aracı vardı. Google 2023'ün sonlarında onu kaldırdı ve yerine robots.txt raporunu getirdi. Rapor, Google'ın bir mülkün ilk 20 host'u için hangi robots.txt dosyalarını bulduğunu, her birinin en son ne zaman tarandığını ve varsa uyarıları ya da hataları gösterir. Acil bir düzeltmeden sonra dosyanın yeniden taranmasını istemenize de olanak tanır.

Rapor, Google'ın canlı dosyanızı nasıl okuduğunu söyler. Henüz yayında olmayan bir kuralı test etmez ve tüm URL listenizi dosyaya karşı çalıştırmaz. Bunun için ayrı bir test aracı gerekir. Google kendi açık kaynak robots.txt ayrıştırıcısını yayımlar; Bing Webmaster Tools'ta da Bingbot'un bir dosyayı nasıl okuduğunu kontrol etmek için kullanışlı bir robots.txt test aracı vardır.

robots.txt kuralları nasıl çalışır

Dosya bir host'un kökünde durur, örneğin https://www.example.com/robots.txt. Kurallar Robots Exclusion Protocol olan RFC 9309 ile tanımlanır; Google onları nasıl okuduğunu Google robots.txt spesifikasyonunu nasıl yorumlar sayfasında belgeler. Bir dosya gruplardan oluşur. Her grup bir ya da daha fazla User-agent satırıyla başlar, ardından Allow ve Disallow kuralları gelir:

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

Google'ın belgelediği şekliyle test araçlarının kontrol ettiği noktalar. SEO ProCheck'in eksiksiz robots.txt başvuru kılavuzu her alanı tek tek ele alır.

  • Crawler başına bir grup. Bir crawler yalnızca adıyla eşleşen en spesifik grubu izler. Googlebot'un kendi grubu varsa * grubunu tamamen yok sayar.
  • En uzun eşleşme kazanır. Bir Allow ve bir Disallow aynı URL ile eşleştiğinde daha uzun yola sahip kural uygulanır. Eşitlik durumunda Google en az kısıtlayıcı kuralı kullanır.
  • İki joker karakter. * herhangi bir karakter dizisiyle eşleşir, $ ise URL'nin sonunu belirtir.
  • Yollar büyük/küçük harfe duyarlıdır. Disallow: /Admin, /admin yolunu engellemez.
  • Host başına bir dosya. Kurallar yalnızca dosyanın sunulduğu protokol, host ve porta uygulanır. Bir alt alan adının kendi dosyası olmalıdır.

robots.txt'nin yapmadıkları

robots.txt dizine eklemeyi değil, taramayı kontrol eder. Google'ın robots.txt'ye giriş sayfası, engellenmiş bir URL'nin diğer sayfalar ona link veriyorsa yine de dizine eklenebileceğini, genellikle açıklama olmadan gösterildiğini açıkça belirtir. Bir sayfayı arama sonuçlarından çıkarmak istiyorsanız taranmasına izin verin ve bunun yerine noindex kullanın. Google'ın getiremediği bir sayfa, noindex'ini hiç görmediği bir sayfadır.

Bilmeye değer birkaç sınır daha:

  • noindex satırı yok. Google 2019'da oradaki nofollow ve crawl-delay kurallarıyla birlikte robots.txt'de noindex desteğini bıraktı.
  • Google için crawl-delay yok. Googlebot Crawl-delay'i yok sayar. Bazı diğer crawler'lar onu okur; bu yüzden her user agent için ayarlanan bir değer onları çok yavaşlatabilir.
  • Güvenlik yok. Dosya herkese açıktır ve iyi niyetli crawler'lar ona kendi istekleriyle uyar. Gizli olan her şey oturum açma gerektirmelidir.

Bir test aracının yakaladığı yaygın robots.txt hataları

HataEtkisiDüzeltme
Staging'den kalan Disallow: /Tüm site engellenmişSatırı kaldırın
Ortak kuralları olmayan adlandırılmış grupO bot için * kuralları geçersiz kalırOrtak kuralları içine kopyalayın
Engellenmiş CSS, JavaScript, görsellerSayfa render edilemezDosyalara izin verin
Joker karakter çok geniş/*? filtreleri ve sayfaları engellerKalıbı daraltın
User-agent'tan önce kural, yazım hatasıSatır atlanırSözdizimini düzeltin
İndeksten çıkarmak için Disallownoindex hiç okunmazİzin verin, sonra noindex
www ve www'siz farklıKurallar host'a göre farklıTek bir dosya sunun

XML site haritanızda da listelediğiniz bir URL'yi engellemek karışık sinyaller gönderir. O tarafı XML site haritası kontrolü rehberi ele alır.

Sunucu hataları ve dosya boyutu

Dosyanın nasıl sunulduğu, ne söylediği kadar önemlidir. Google her durumu belgeler:

DurumGoogle ne yaparNe kadar süre
4xx, 429 hariçDosya yokmuş gibi tararDüzeltilene kadar
5xx ya da 429Siteyi taramayı durdururİlk 12 saat
Hâlâ başarısızSon sağlam kopyayı kullanır30 güne kadar
500 KiB'ın üstünde dosyaGerisini yok sayar500 KiB'tan sonrası
Herhangi bir değişiklikÖnbellekteki kopyasını kullanır24 saate kadar

robots.txt raporundaki yeniden tarama isteği acil düzeltmeler içindir. Yanlış anda zaman aşımına uğrayan bir robots.txt tüm sitenin taranmasını duraklatabilir; tarama bütçesi rehberi bunun neden en çok büyük sitelerde önemli olduğunu açıklar.

Kendi robots.txt'mizde bulduklarımız

20 Kasım 2026'daki neova.app SEO kontrolümüz, istediğimizden fazlasını engelleyen iki kural buldu:

EngellenenEtkilenen sayfalarGoogle'ın gördüğüDüzeltme
/cdn-cgi/ altındaki Cloudflare e-posta script'i1.320Getiremediği bir scriptO script'e izin verdik
/favicon ve /apple-touch-icon.pngHer sonuçLogo yerine yalnızca bir harfİki dosyaya da izin verdik

Favicon dosyaları bir Disallow: / kuralının arkasındaydı. Google'ın favicon yönergeleri dosyanın Googlebot-Image tarafından taranabilir olmasını ister; bu yüzden arama sonuçları neova.app'in yanında logomuz yerine bir harf gösterdi. Dosyada iki kural da yanlış görünmüyordu. İkisi de ancak kurallar sayfaların yüklediği her URL'ye ve dosyaya karşı test edildiğinde ortaya çıktı.

robots.txt güvenle nasıl test edilir

  1. Yalnızca aklınızda kalan birkaç URL değil, gerçek URL'lerin tam bir listesine sahip olmak için siteyi tarayın.
  2. Canlı dosyayı test edin: önem verdiğiniz her crawler için bu listeye karşı; Googlebot, Googlebot-Image, Bingbot ve yapay zeka crawler'ları.
  3. Değişikliği taslak olarak yazın ve taslağı aynı listeye karşı test edin. Yeni engellenen ve yeni izin verilen URL'lere bakın.
  4. Kaynakları kontrol edin. Hiçbir dizine eklenebilir sayfanın script'lerini, stil dosyalarını ya da görsellerini kaybetmediğinden emin olun.
  5. Yayına alın, sonra doğrulayın: Search Console robots.txt raporunda Google'ın yeni sürümü hatasız getirdiğini kontrol edin.
  6. Yeniden tarayın ve karşılaştırın; böylece daha sonra yapılan kazara bir değişiklik yakalanır.

Yapay zeka crawler'larının neyi getirebileceğine karar veriyorsanız yapay zeka crawler'ları rehberi adlarını ve her birinin ne yaptığını listeler. Engellenen sayfalar dizine eklenebilirlik kontrolü rehberinde de yer alır.

Neova ile robots.txt'yi test edin

Neova'nın robots.txt test aracı, canlı dosyanın ya da bir taslağın her satırını Google'ın belgelediği ve RFC 9309'un tanımladığı şekliyle sade bir dille, her kuralın eşleştiği taranan URL'lerle birlikte açıklar. Tüm crawler'lar görünümü Googlebot'un, Bingbot'un ve yapay zeka crawler'larının neyi getirebileceğini, her birinin engellendiği URL'lerle birlikte gösterir. Bir crawler'ın kendi grubu * grubunun kurallarını geçersiz kıldığında bunu söyler; taslak testi de bir değişikliğin yeni engelleyeceği ya da yeni izin vereceği taramadaki her URL'yi listeler. Ardından tam etkiyi görmek için taslağa uyarak tarama yapabilirsiniz. Arkasındaki kontroller:

Neova taramalarının okuduğu her robots.txt sürümünü saklar; böylece bir kuralın ne zaman değiştiğini görebilirsiniz. User agent ayarıyla Googlebot, Bingbot, bir yapay zeka crawler'ı ya da özel bir dize olarak tarayabilirsiniz. Özellikler sayfasına bakın ya da Neova'yı indirin.

Sorular

Google'ın hâlâ bir robots.txt test aracı var mı?

Hayır. Google 2023'te Search Console'daki robots.txt test aracını kaldırdı ve yerine Google'ın canlı dosyanızı nasıl okuduğunu ve varsa hataları gösteren robots.txt raporunu getirdi. Bir değişikliği yayına almadan önce test etmek için ayrı bir robots.txt test aracı kullanın.

Bir URL'nin robots.txt ile engellenip engellenmediğini nasıl test ederim?

Crawler'ın user agent'ıyla eşleşen grubu, ardından URL ile eşleşen en uzun Allow ya da Disallow yolunu bulun. Kararı o kural verir. Bir robots.txt test aracı bunu sizin için yapar ve satırı, tek bir URL ya da bir taramanın her URL'si için belirtir. SEO ProCheck'in robots.txt SSS sayfası uç durumları yanıtlar.

robots.txt bir sayfanın dizine eklenmesini engeller mi?

Hayır. Taramayı durdurur. Engellenmiş bir URL, diğer sayfalar ona link veriyorsa yine de dizine eklenebilir. Bir sayfayı arama sonuçlarından çıkarmak istiyorsanız Google'ın tarayabildiği bir sayfada noindex kullanın.

Googlebot neden User-agent: * kurallarımı yok sayıyor?

Çünkü dosyada Googlebot adına bir grup var. Bir crawler yalnızca kendisiyle eşleşen en spesifik grubu izler; bu yüzden ortak kuralları Googlebot grubuna da kopyalayın.

Bir robots.txt değişikliğinin etkili olması ne kadar sürer?

Google robots.txt'yi genellikle 24 saate kadar önbellekte tutar. Acil bir düzeltmeden sonra Search Console robots.txt raporunda yeniden tarama isteyebilirsiniz.

Yanınıza alın

Asistan linkleri, bu sayfayla ilgili önceden yazılmış bir soruyla açılır.

Sitenizi Neova ile tarayınFree plan, Mac, Windows ve Linux'ta her kontrolü çalıştırır. Kredi kartı gerekmez.

Okumaya devam edin