Gelişmiş SEO crawler: JavaScript, büyük siteler, tarama karşılaştırması ve izleme
Her crawler bir 404 bulabilir. Gelişmiş bir SEO crawler, basit olanları zorlayan siteleri ele alır: JavaScript framework'leri, milyonlarca URL, filtreli (faceted) navigasyon, site taşımaları ve her gün değişen siteler.
Bir SEO crawler'ı gelişmiş yapan nedir
Her crawler sayfaları alır, ayrıştırır, linkleri izler ve raporlar. Gelişmiş olanı ayıran, site zorlaştığında nasıl davrandığıdır.
| Zor durum | Nelere bakmalı | Neova'da |
|---|---|---|
| JavaScript siteler | Sayfa başına ham ve render edilmiş | ✓ |
| Tarama tuzakları | Tarama sırasında fark edilip hariç tutulur | Keşif, her dakika |
| Çok büyük siteler | Tarama diskte tutulur | 60.000 URL'de 60 MB bellek |
| Zaman içindeki değişim | Taramaya karşı tarama | Taramaları karşılaştır |
| Günlük sürümler | Zamanlamalar ve uyarılar | Slack, Microsoft Teams |
| Ekip iş akışı | CLI, CI kapısı, API | ✓ |
| Birden çok site | Yan yana taramalar | Aynı anda 4'e kadar |
Tek pencerede aynı anda 4'e kadar tarama Desktop planı ve üstünde vardır. Büyük taramaları belleğiniz değil, diskiniz sınırlar.
JavaScript SEO taraması: ham HTML ve render edilmiş HTML
Google'ın JavaScript SEO temel bilgileri sayfasında anlatıldığı gibi, Google önce HTML'i tarar, sayfayı daha sonra kaynaklar elverdiğinde render eder. Birçok yapay zeka crawler'ı hiç render etmeyebilir. Dolayısıyla asıl soru, render öncesinde neyin eksik olduğudur.
| Yalnızca render edilmiş HTML'de | Neova kontrolü |
|---|---|
| Ana metin | Ana metnin çoğu yalnızca render edilmiş HTML'de görünüyor |
| İç linkler | İç linkler yalnızca render edilmiş HTML'de görünüyor |
| Canonical | Canonical yalnızca JavaScript ile ayarlanıyor |
| Title | Title yalnızca render edilmiş HTML'de görünüyor |
| Yönlendirme | HTML sayfası JavaScript ile yönlendiriyor |
Render yavaş ve ağırdır. Büyük bir sitede önce şablon başına birkaç sayfayı render edin. Tamamen sunucu tarafında render edilen bir şablonun daha fazlasına ihtiyacı yoktur. JavaScript SEO crawler rehberi daha derine iniyor.
Kurumsal SEO crawler ihtiyaçları: ölçek, tuzaklar ve şablonlar
Google'ın tarama bütçesini yönetme notları kimin önemsemesi gerektiğini söyler.
| Site | Benzersiz sayfalar | İçerik değişikliği |
|---|---|---|
| Büyük | 1 milyon ya da daha fazla | Haftalık |
| Orta ya da daha büyük | 10.000 ya da daha fazla | Günlük |
Bunun altında tarama bütçesi nadiren sorundur. SEO ProCheck, tarama bütçesinin ne zaman önemli olduğunu daha ayrıntılı anlatıyor. Büyük siteler yine de taramalarda öngörülebilir şekillerde sorun yaşar ve çoğu bir tarama tuzağıyla başlar.
| Tarama tuzağı | Örnek URL | Olağan çözüm |
|---|---|---|
| Takvim | /events/2031/04/ | Kalıbı hariç tutun |
| Tekrarlanan klasör | /shop/shop/shop/ | Göreli linki düzeltin |
| Oturum kimliği | /?sid=8f3a2c | Kimlikleri linklerin dışında tutun |
| Filtre kombinasyonları | ?color=red&size=9&sort=price | Hangi filtrelerin sayfa olacağını seçin |
| Sıralama ve görünüm | ?sort=price&view=grid | Yalın URL'ye canonical |
Filtreler için SEO ProCheck'in faceted navigation rehberi, hangi filtrelerin kendi sayfasını hak ettiğini anlatıyor. Örnekleme de işe yarar: şablon başına sabit sayıda sayfa, her şablonu dakikalar içinde kapsar. Regex ile segmentler bölüm başına durum kodlarını gösterir; XPath, CSS seçici ya da regex ile çıkarma da fiyatları, yazarları veya schema alanlarını çeker.

Kendi sitemiz seoprocheck.com'da ölçek, 17 Ekim 2026: tam bir tarama 61 dakikada 10.222 URL aldı ve 1,66 GB ham sayfa gövdesi 340 MB olarak saklandı.
Tarama karşılaştırması: neyin değiştiğini görmek
Tek bir denetim size sitenin durumunu söyler. İkisini karşılaştırmak ise siteye ne olduğunu söyler. Şunlara bakın:
- İki tarama arasında yeni, kaldırılmış ya da değişmiş URL'ler
- Yeni işaretler ve çözülen işaretler
- Öncesi ve sonrasıyla title'lar, meta description'lar ve H1'ler
- Değişen robots.txt kuralları. Bkz. robots.txt kuralları önceki taramadan bu yana değişti.
- Taranabilir URL sayısında keskin bir değişim
Benzerleri karşılaştırın: tam taramayı tam taramayla, aynı ayarlarla. Bir örneklemi tam taramayla karşılaştırmak yalnızca kapsamdan kaynaklanan farklar gösterir.
İzleme: zamanlanmış taramalar ve uyarılar
İzleme, kendi kendine çalışan tarama karşılaştırmasıdır. Zamanlamayı sitenin ne sıklıkta yayın yaptığına göre ayarlayın.
| Site | Tam tarama | Core Web Vitals anlık görüntüsü |
|---|---|---|
| Yoğun mağaza | Günlük | Haftalık |
| Çoğu site | Haftalık | Haftalık |
| Sakin site | Aylık | Aylık |
Core Web Vitals saha verisi için haftalık yeterlidir, çünkü Chrome UX Report 28 günlük kayan bir ortalamadır. İyi uyarı tetikleyicileri: son taramadan bu yana yeni işaretler, tıklamalarda düşüş, kötüleşen bir Core Web Vitals notu, takip edilen bir aramanın ilk 10'dan çıkması. Uyarıları insanların zaten baktığı yere gönderin ve sayılarını az tutun.
Site taşımaları ve staging siteleri
Taramanın kendini amorti ettiği yer site taşımalarıdır. Eski siteyi tarayın, staging'i tarayın; durum kodlarını, noindex'i, canonical'ları, title'ları, H1'leri ve yalnızca bir tarafta bulunan URL'leri karşılaştırın. Eskiden yeniye yönlendirme haritasını oluşturun ve yayına aldıktan sonra her canlı yönlendirmeyi kontrol edin.
Staging genellikle HTTP kimlik doğrulaması, her şeyi engelleyen bir robots.txt ve canlı alan adını gösteren linkler gerektirir. Canlı alan adı linklerini staging sunucusuna yeniden yazan bir crawler saatler kazandırır. SEO ProCheck'in site taşıma SSS sayfası yayın günü çıkan soruları yanıtlıyor.
Kendi sitemizde iki yayın hatası bulduk. 20 Kasım 2026'daki SEO çalışmamıza kadar http://neova.app, https'e 301 yerine 200 döndürüyordu ve bilinmeyen adresler 404 yerine bir "yakında" sayfasından 503 döndürüyordu. İkisi de artık düzeltildi ve ikisi de yayın öncesi ve sonrası bir taramanın yakalaması gereken şeyler. Bkz. HTTP URL'si HTTPS bir sitede 200 döndürüyor.
Otomasyon: CLI, CI ve API'ler
Ölçek büyüdükçe tarama, sürümün bir parçası olur.
| Parça | İş | Neova'da |
|---|---|---|
| Komut satırı | Tarama başlatın, sonuçları okuyun | neova CLI |
| CI kapısı | Yeni işaretlerde build'i başarısız sayın | neova check |
| API | Dashboard'lar, şirket içi araçlar | REST API, dakikada 60 istek |
| MCP sunucusu | Yapay zeka asistanları taramaları okur | ✓ |
| Ticket'lar | Sorun ve şablon başına bir tane | Jira, Linear, Asana |
REST API, Desktop + Online planı ve üstünde Neova Online'ın bir parçasıdır. Bir CI kapısı, son sağlam sürümün temel (baseline) taramasıyla en iyi çalışır: build yalnızca yeni işaretlerde başarısız olur, böylece eski borçlar her deploy'u engellemez.
Neova gelişmiş taramayı nasıl ele alır
- Render: Chrome'da tüm sayfaları ya da sayfa grubu başına birkaçını render eder ve her sayfayı Server-Rendered, Hydrated ya da Needs JavaScript olarak işaretler.
- Ölçek: taramayı diskte tutar, Sayfa grubu başına örnek sunar ve Keşif her tuzak için Taramaya devam et, Atla ya da Hariç tut seçeneği verir.
- Geçmiş: Taramaları karşılaştır; Geçmiş veriler de her taramayı, her robots.txt sürümünü ve XML site haritasını saklar.
- Sunucu logları: Apache ya da Nginx logları veya kendi Cloudflare hesabınız; Googlebot, Bingbot ve yapay zeka crawler'ları yalnızca adresleri ilgili şirketin yayımladığı listede varsa sayılır.
- Kaynakların ötesinde: Google 16 ayda sildikten sonra da Search Console verisinin her ayını saklar.
- Site taşımaları: URL başına güven puanlı Yönlendirme haritası, Canlı yönlendirme kontrolü, Staging ve Production karşılaştırması ve URL yeniden yazma.
Tüm özellikleri özellikler sayfasında, Neova'nın nasıl karşılaştırıldığını da Karşılaştır sayfasında görün.
Sorular
Gelişmiş SEO crawler nedir?
Zor siteler için yapılmış bir crawler: JavaScript'i render eder ve ham HTML ile karşılaştırır, tarama tuzaklarını ve çok büyük siteleri ele alır, taramaları zaman içinde karşılaştırır, zamanlanmış olarak çalışır ve ticket'lara, CI'ya ve API'lere uyum sağlar.
Her sayfayı JavaScript ile render etmem gerekir mi?
Genellikle hayır. Önce şablon başına bir örneklem render edin. İçeriğinin tamamı sunucu HTML'inde olan şablonların tam render'a ihtiyacı yoktur; JavaScript'e bağlı şablonların vardır.
Tarama bütçesi ne zaman önemlidir?
Google'a göre esas olarak haftalık değişen 1 milyon ya da daha fazla benzersiz sayfası olan siteler veya günlük değişen 10.000 ya da daha fazla sayfası olan siteler için. Daha küçük siteler buna nadiren takılır.
Kurumsal bir SEO crawler ne kadar büyük bir siteyi kaldırabilir?
Araca ve masaüstü crawler'larda bilgisayara bağlıdır. Neova taramayı diskte tutar ve bilgisayarınıza bağlı olarak Desktop planında tarama başına 5 milyon URL'ye kadar çıkar. Bkz. fiyatlar.
SEO sorunlarında bir deploy'u başarısız sayabilir miyim?
Evet, bir CI kapısıyla. Neova'da neova check bir taramayı temel taramayla karşılaştırır ve yeni işaretler çıktığında hata koduyla çıkar; böylece pipeline sürümü durdurabilir.