Yapay zeka crawler'ları: GPTBot, ClaudeBot ve PerplexityBot ne yapar ve nasıl kontrol edilir
Yapay zeka crawler'ları sayfalarınızı dil modellerini eğitmek, yapay zeka arama dizinleri oluşturmak ya da bir kişinin sorusunu anında yanıtlamak için alır. Her türün robots.txt'te kendi adı vardır; böylece bazılarına izin verip diğerlerini engelleyebilirsiniz. İşte kim oldukları, her birinin ne yaptığı ve gerçekte ne aldıklarını nasıl kontrol edeceğiniz.
Yapay zeka crawler'ları nedir?
LLM crawler'ları olarak da bilinen yapay zeka crawler'ları, yapay zeka şirketlerinin çalıştırdığı botlardır. Hepsi aynı değildir ve onlara tek bir grup gibi davranmak kötü robots.txt kurallarına yol açar. Üç türü vardır:
- Eğitim crawler'ları, gelecekteki modelleri eğitmek için kullanılabilecek sayfaları toplar. En bilinenleri GPTBot ve ClaudeBot'tur.
- Arama crawler'ları, bir yapay zeka asistanının kaynak ve linklerle yanıt verirken aradığı dizini oluşturur. OAI-SearchBot, Claude-SearchBot ve PerplexityBot bu gruptadır.
- Kullanıcı tetiklemeli fetcher'lar, bir kişi asistana o sayfayı sorduğu için, örneğin bir URL yapıştırdığında, sayfayı yükler. ChatGPT-User, Claude-User ve Perplexity-User bu şekilde çalışır.
Bir eğitim crawler'ını engellemek sayfalarınızı gelecekteki eğitim setlerinin dışında tutar. Bir arama crawler'ını engellemek ise sizi kaynak gösterilen yapay zeka cevaplarının dışında bırakabilir; bu çoğu zaman bir işletmenin istediğinin tam tersidir.
Başlıca yapay zeka crawler'ları ve robots.txt token'ları
Her sağlayıcı kendi botlarını belgeler. robots.txt'te kullanılacak adlar şunlardır, sağlayıcının kendi sayfasının linkiyle:
| Token | Şirket | Tür | Kendi botu |
|---|---|---|---|
| GPTBot | OpenAI | Eğitim | ✓ |
| OAI-SearchBot | OpenAI | Yapay zeka araması | ✓ |
| ChatGPT-User | OpenAI | Kullanıcı isteği | ✓ |
| ClaudeBot | Anthropic | Eğitim | ✓ |
| Claude-SearchBot | Anthropic | Yapay zeka araması | ✓ |
| Claude-User | Anthropic | Kullanıcı isteği | ✓ |
| PerplexityBot | Perplexity | Yapay zeka araması | ✓ |
| Perplexity-User | Perplexity | Kullanıcı isteği | ✓ |
| Google-Extended | İçeriğin Gemini'de kullanımı | – | |
| Applebot-Extended | Apple | Apple model eğitimi | – |
| CCBot | Common Crawl | Açık web arşivi | ✓ |
Google-Extended ve Applebot-Extended ayrı botlar değil, token'lardır: Googlebot'un ya da Applebot'un zaten taradığı içeriğin nasıl kullanılabileceğini kontrol ederler. Google, Google-Extended'ın Google Arama'ya dahil olmayı ya da sıralamaları etkilemediğini söylüyor. İçeriğinizin Google'ın kendi Arama'daki yapay zeka özelliklerinde nasıl görüneceğini sınırlamak için Google, nosnippet gibi snippet kontrollerini gösteriyor. Her bot ve amacıyla daha uzun bir liste için SEO ProCheck'teki yapay zeka crawler haritasına bakın.
LLM crawler'larını engellemeli misiniz?
Tek bir doğru cevap yok. İçeriğinizin ne için olduğuna bağlı. robots.txt açısından üç politika çoğu siteyi kapsar:
| Politika | Eğitim | Yapay zeka araması | Kullanıcı isteği |
|---|---|---|---|
| Herkese açık | ✓ | ✓ | ✓ |
| Kaynak gösterilir, eğitimde kullanılmaz | – | ✓ | ✓ |
| Yapay zekaya kapalı | – | – | ◐ |
- ChatGPT araması, Claude ve Perplexity'de kaynak gösterilmek ve link almak istiyorsanız arama crawler'larına izin verin. Çoğu işletme için bu istenen bir görünürlüktür.
- İçeriğiniz ürününüzse (haberler, araştırmalar, kurslar, ücretli veri) eğitim crawler'larını engellemeyi düşünün. Engellemek gelecekteki toplamayı durdurur; daha önce toplananı silmez.
- Kullanıcı tetiklemeli fetcher'ları engellemeden önce iki kez düşünün. Sayfanızı soran bir kişi adına hareket ederler ve bazı sağlayıcılar bunların robots.txt'e crawler'lar gibi uymayabileceğini söylüyor; yukarıdaki "kısmen" bu yüzden.
Kararı yazıya dökün: hangi botlara izin veriliyor, hangileri engelleniyor ve neden. Sonra robots.txt'i buna uydurun. Gelecekteki bir geliştiricinin yeniden tasarım sırasında her şeyi engellemesini önleyen, yazılı bir politikadır.
Yapay zeka botları için robots.txt: örnekler
Yaygın bir kurulum şöyle: yapay zeka aramasına izin verin, eğitimi engelleyin.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
Birden çok User-agent satırı tek bir kural grubunu paylaşabilir. Bir tuzağa dikkat edin. robots.txt standardı RFC 9309'a göre bir crawler yalnızca kendi adını içeren en spesifik gruba uyar. GPTBot için bir grup eklerseniz GPTBot, Disallow: /search/ dahil * grubunu tamamen yok sayar. Yukarıdaki arama grubunun iki ortak kuralı tekrarlamasının nedeni budur. Adı geçen bir grubun disallow etmediği her şeye izin verilir.
Tüm site yerine tek bir klasörü eğitimden engellemek için:
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
Kullanıcı tetiklemeli fetcher'lar için robots.txt'e güvenmeden önce her sağlayıcının sayfasını okuyun.
Her kuralı yayına almadan önce gerçek URL'lerle test edin. 20 Kasım 2026'da neova.app'te istenenden fazlasını engelleyen iki kural bulduk:
| Takılan kural | Etkisi | Etki alanı |
|---|---|---|
| /cdn-cgi/ engellenmiş | Cloudflare e-posta betiği engellenmiş | 1.320 sayfa |
| Favicon'ların üzerinde Disallow: / | Google'da logo yerine düz bir harf | Her arama sonucu |
İkisi de yollara izin verilerek düzeltildi. Tek bir bot ya da tek bir klasör için yazılan bir Disallow, altındaki her dosyaya, betikler ve simgeler dahil, uzanır.
robots.txt'in ötesi: güvenlik duvarları, CDN'ler ve doğrulama
robots.txt bir kilit değil, bir ricadır. Yukarıdaki yapay zeka şirketleri crawler'larının ona nasıl davrandığını belgeliyor, ancak diğer botlar onu yok sayabilir.
- Güvenlik duvarını da kontrol edin. Bazı CDN'ler ve WAF'ların yapay zeka crawler'larını engelleyen ayarları vardır, bazen varsayılan olarak. Bir site robots.txt'te GPTBot'a izin verip yine de ona 403 ile yanıt verebilir. Her crawler'ın gerçekte ne aldığını test edin.
- Güvenmeden önce doğrulayın. OpenAI ve Perplexity botları için IP listeleri yayımlıyor; Google ve Microsoft da kendi botları için. Bir botun adını taşıyan ama o şirketin listesinde olmayan bir adresten gelen istek o bot değildir.
- Kötü niyetlileri uçta engelleyin. robots.txt'i yok sayan kazıyıcılar için işe yarayan tek şey CDN'inizdeki ya da sunucunuzdaki kurallardır.
Uygulamada bunun ne sıklıkla ters gittiği: SEO ProCheck, Can AI Crawlers Actually Read Your Site? 400 Sites Measured araştırmasında yapay zeka crawler'larının 400 sitede gerçekte ne aldığını test etti.
Sayfalarınızı yapay zeka crawler'ları için okunur kılın
Bir crawler'a izin vermek, yapay zeka crawler SEO'sunun yarısıdır. Diğer yarısı, aldığı şeyi okuyabildiğinden emin olmaktır.
- Ana içeriği HTML'e koyun. Her crawler JavaScript çalıştırmaz. Metniniz yalnızca betikler çalıştıktan sonra görünüyorsa, bazı yapay zeka crawler'larının onu hiç görmediğini varsayın.
- Sadede erken gelin. Ana metinden önceki uzun menüler ve şablon metinler cevabı sayfanın daha aşağısına iter.
- Önemli bilgileri görsellerde, PDF'lerde ya da widget'larda saklamayın. Fiyatlar, teknik özellikler ve iletişim bilgileri düz HTML metninde olmalı.
- Gerçek durum kodları döndürün. Yapay zeka cevaplarının kaynak gösterdiği bozuk ya da yönlendirilmiş bir sayfa, okurlarını bir hataya gönderir.
- HTML'i hafif tutun. Googlebot bir HTML dosyasının ilk 2 MB'ını okur; Neova bunu aşan sayfaları HTML 2 MB'ı aşıyor ya da Core Web Vitals iyi aralıkta değil kontrolünde işaretler.
- llms.txt isteğe bağlıdır. Bir web standardı değil, önerilmiş bir formattır. Yayımlarsanız geçerli ve güncel tutun.
Yapay zeka crawler'larının ne gördüğü nasıl kontrol edilir
Neova, masaüstü uygulamasında ve Neova Online'da her yapay zeka crawler'ına neye izin verildiğini ve ona gerçekte ne sunulduğunu gösterir:
- Her yapay zeka asistanına ne sunuluyor, örneklenen sayfaları ChatGPT, Claude ve Perplexity ile crawler'ları, Meta AI, Google-Extended ve Common Crawl dahil 10 yapay zeka ajanı olarak ister ve kimin tam erişim aldığını ve robots.txt'in neye izin verdiğini gösterir.
- Bir yapay zeka crawler'ı olarak tarayın. Tüm taramayı GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot ya da başka bir yapay zeka user agent'ı olarak çalıştırın.
- robots.txt test aracı, Googlebot, Bingbot ve yapay zeka crawler'larının neyi alabileceğini, her birinin engellendiği URL'lerle gösterir ve bir crawler'ın kendi grubunun
*grubunun kurallarını devre dışı bıraktığı durumu belirtir. - Render ekranı, kaç sayfanın JavaScript'e ihtiyaç duyduğunu ve her yapay zeka crawler'ına ne sunulduğunu gösterir.
- Masaüstü uygulamasındaki Sunucu logu, URL başına doğrulanmış yapay zeka crawler ziyaretlerini ve reddedilmeleri gösterir.
- Bağladığınızda Bing Webmaster Tools'tan ve Microsoft Clarity'nin AI Visibility özelliğinden yapay zeka alıntıları. Bkz. Microsoft Clarity.
Başlamak için kontroller: yapay zeka arama crawler'ı user agent'ıyla yapılan bir istek engelleniyor, robots.txt'teki bir yapay zeka crawler kuralı yazılı politikadan farklı, kullanıcı tetiklemeli bir yapay zeka fetcher'ı engelleniyor, önemli bir sayfa snippet'leri kısıtlıyor ya da yapay zeka arama crawler'larını engelliyor ve yapay zeka botları hata döndüren URL'ler istiyor. Free plan yapay zeka araması görünümlerini içerir; Fiyatlar sayfasına bakın ya da Neova'yı indirin.
Yapay zeka crawler SEO kontrol listesi
| Madde | Tamam sayılır, eğer |
|---|---|
| Yazılı politika | Her yapay zeka botu: izin ver ya da engelle |
| robots.txt | Politikayla uyumlu |
| Adı geçen gruplar | Ortak kurallar tekrarlanmış |
| Yapay zeka arama crawler'ları | Kaynak gösterilecek sayfalarda izinli |
| Güvenlik duvarı ve CDN | Politikayla aynı |
| Her crawler'ın aldığı | 200 ve sayfanın tamamı |
| Ana içerik | HTML'de, başlarda |
| Önemli bilgiler | Görselde değil, metinde |
| Loglar | Doğrulanmış ziyaretler, sahteler ayrı sayılmış |
| Kaynak gösterilen sayfalar | 200 döndürüyor |
Sorular
GPTBot nedir?
GPTBot, OpenAI'ın modellerini eğitmek için kullanılabilecek içeriği toplayan crawler'ıdır. ChatGPT araması için sayfa bulan OAI-SearchBot'tan ayrıdır. Bkz. OpenAI'ın crawler sayfası.
GPTBot'u engellemek sitemi ChatGPT aramasından çıkarır mı?
Hayır. OpenAI ayrı botlar kullanır ve her biri kendi robots.txt kurallarını okur. ChatGPT araması OAI-SearchBot'a dayanır; bu yüzden GPTBot'u engelleyip OAI-SearchBot'a izin vermeye devam edebilirsiniz.
Google-Extended Google sıralamalarımı etkiler mi?
Google, bunun Google Arama'ya dahil olmayı etkilemediğini ve bir sıralama sinyali olmadığını söylüyor. İçeriğinizin Gemini modelleri için kullanılıp kullanılamayacağını kontrol eder.
LLM crawler'larını nasıl engellerim?
robots.txt'e GPTBot, ClaudeBot ve CCBot gibi her crawler'ı adıyla anan, Disallow: / içeren bir grup ekleyin. robots.txt'i yok sayan botlar için güvenlik duvarınıza ya da CDN'inize bir kural ekleyin.
Yapay zeka crawler'larının sitemi ziyaret edip etmediğini nasıl anlarım?
Sunucu ya da CDN loglarınızı okuyun ve her isteği ilgili şirketin yayımladığı IP listesine göre doğrulayın. Neova'nın Sunucu logu aracı bunu URL başına yapar. Log formatları için Bağlamak yerine içe aktarın sayfasına bakın.