NeovaGelişmiş SEO Platformu

Gelişmiş SEO crawler: JavaScript, büyük siteler, tarama karşılaştırması ve izleme

Her crawler bir 404 bulabilir. Gelişmiş bir SEO crawler, basit olanları zorlayan siteleri ele alır: JavaScript framework'leri, milyonlarca URL, filtreli (faceted) navigasyon, site taşımaları ve her gün değişen siteler.

Crawler seçimigelişmiş seo crawlerGüncelleme: 21 Kasım 2026Neova ekibi

Bir SEO crawler'ı gelişmiş yapan nedir

Her crawler sayfaları alır, ayrıştırır, linkleri izler ve raporlar. Gelişmiş olanı ayıran, site zorlaştığında nasıl davrandığıdır.

Zor durumNelere bakmalıNeova'da
JavaScript sitelerSayfa başına ham ve render edilmiş✓
Tarama tuzaklarıTarama sırasında fark edilip hariç tutulurKeşif, her dakika
Çok büyük sitelerTarama diskte tutulur60.000 URL'de 60 MB bellek
Zaman içindeki değişimTaramaya karşı taramaTaramaları karşılaştır
Günlük sürümlerZamanlamalar ve uyarılarSlack, Microsoft Teams
Ekip iş akışıCLI, CI kapısı, API✓
Birden çok siteYan yana taramalarAynı anda 4'e kadar

Tek pencerede aynı anda 4'e kadar tarama Desktop planı ve üstünde vardır. Büyük taramaları belleğiniz değil, diskiniz sınırlar.

JavaScript SEO taraması: ham HTML ve render edilmiş HTML

Google'ın JavaScript SEO temel bilgileri sayfasında anlatıldığı gibi, Google önce HTML'i tarar, sayfayı daha sonra kaynaklar elverdiğinde render eder. Birçok yapay zeka crawler'ı hiç render etmeyebilir. Dolayısıyla asıl soru, render öncesinde neyin eksik olduğudur.

Yalnızca render edilmiş HTML'deNeova kontrolü
Ana metinAna metnin çoğu yalnızca render edilmiş HTML'de görünüyor
İç linklerİç linkler yalnızca render edilmiş HTML'de görünüyor
CanonicalCanonical yalnızca JavaScript ile ayarlanıyor
TitleTitle yalnızca render edilmiş HTML'de görünüyor
YönlendirmeHTML sayfası JavaScript ile yönlendiriyor

Render yavaş ve ağırdır. Büyük bir sitede önce şablon başına birkaç sayfayı render edin. Tamamen sunucu tarafında render edilen bir şablonun daha fazlasına ihtiyacı yoktur. JavaScript SEO crawler rehberi daha derine iniyor.

Kurumsal SEO crawler ihtiyaçları: ölçek, tuzaklar ve şablonlar

Google'ın tarama bütçesini yönetme notları kimin önemsemesi gerektiğini söyler.

SiteBenzersiz sayfalarİçerik değişikliği
Büyük1 milyon ya da daha fazlaHaftalık
Orta ya da daha büyük10.000 ya da daha fazlaGünlük

Bunun altında tarama bütçesi nadiren sorundur. SEO ProCheck, tarama bütçesinin ne zaman önemli olduğunu daha ayrıntılı anlatıyor. Büyük siteler yine de taramalarda öngörülebilir şekillerde sorun yaşar ve çoğu bir tarama tuzağıyla başlar.

Tarama tuzağıÖrnek URLOlağan çözüm
Takvim/events/2031/04/Kalıbı hariç tutun
Tekrarlanan klasör/shop/shop/shop/Göreli linki düzeltin
Oturum kimliği/?sid=8f3a2cKimlikleri linklerin dışında tutun
Filtre kombinasyonları?color=red&size=9&sort=priceHangi filtrelerin sayfa olacağını seçin
Sıralama ve görünüm?sort=price&view=gridYalın URL'ye canonical

Filtreler için SEO ProCheck'in faceted navigation rehberi, hangi filtrelerin kendi sayfasını hak ettiğini anlatıyor. Örnekleme de işe yarar: şablon başına sabit sayıda sayfa, her şablonu dakikalar içinde kapsar. Regex ile segmentler bölüm başına durum kodlarını gösterir; XPath, CSS seçici ya da regex ile çıkarma da fiyatları, yazarları veya schema alanlarını çeker.

Neova'da devam eden bir tarama: Keşif her dakika yeni URL'lerin nereden geldiğini bildirir ve tarama tuzağı kalıplarını işaretler, Canlı tarama haritası ise her tıklama derinliğini bir halkayla gösterir
Neova'da devam eden bir tarama: Keşif her dakika yeni URL'lerin nereden geldiğini bildirir ve tarama tuzağı kalıplarını işaretler, Canlı tarama haritası ise her tıklama derinliğini bir halkayla gösterir

Kendi sitemiz seoprocheck.com'da ölçek, 17 Ekim 2026: tam bir tarama 61 dakikada 10.222 URL aldı ve 1,66 GB ham sayfa gövdesi 340 MB olarak saklandı.

Tarama karşılaştırması: neyin değiştiğini görmek

Tek bir denetim size sitenin durumunu söyler. İkisini karşılaştırmak ise siteye ne olduğunu söyler. Şunlara bakın:

  • İki tarama arasında yeni, kaldırılmış ya da değişmiş URL'ler
  • Yeni işaretler ve çözülen işaretler
  • Öncesi ve sonrasıyla title'lar, meta description'lar ve H1'ler
  • Değişen robots.txt kuralları. Bkz. robots.txt kuralları önceki taramadan bu yana değişti.
  • Taranabilir URL sayısında keskin bir değişim

Benzerleri karşılaştırın: tam taramayı tam taramayla, aynı ayarlarla. Bir örneklemi tam taramayla karşılaştırmak yalnızca kapsamdan kaynaklanan farklar gösterir.

İzleme: zamanlanmış taramalar ve uyarılar

İzleme, kendi kendine çalışan tarama karşılaştırmasıdır. Zamanlamayı sitenin ne sıklıkta yayın yaptığına göre ayarlayın.

SiteTam taramaCore Web Vitals anlık görüntüsü
Yoğun mağazaGünlükHaftalık
Çoğu siteHaftalıkHaftalık
Sakin siteAylıkAylık

Core Web Vitals saha verisi için haftalık yeterlidir, çünkü Chrome UX Report 28 günlük kayan bir ortalamadır. İyi uyarı tetikleyicileri: son taramadan bu yana yeni işaretler, tıklamalarda düşüş, kötüleşen bir Core Web Vitals notu, takip edilen bir aramanın ilk 10'dan çıkması. Uyarıları insanların zaten baktığı yere gönderin ve sayılarını az tutun.

Site taşımaları ve staging siteleri

Taramanın kendini amorti ettiği yer site taşımalarıdır. Eski siteyi tarayın, staging'i tarayın; durum kodlarını, noindex'i, canonical'ları, title'ları, H1'leri ve yalnızca bir tarafta bulunan URL'leri karşılaştırın. Eskiden yeniye yönlendirme haritasını oluşturun ve yayına aldıktan sonra her canlı yönlendirmeyi kontrol edin.

Staging genellikle HTTP kimlik doğrulaması, her şeyi engelleyen bir robots.txt ve canlı alan adını gösteren linkler gerektirir. Canlı alan adı linklerini staging sunucusuna yeniden yazan bir crawler saatler kazandırır. SEO ProCheck'in site taşıma SSS sayfası yayın günü çıkan soruları yanıtlıyor.

Kendi sitemizde iki yayın hatası bulduk. 20 Kasım 2026'daki SEO çalışmamıza kadar http://neova.app, https'e 301 yerine 200 döndürüyordu ve bilinmeyen adresler 404 yerine bir "yakında" sayfasından 503 döndürüyordu. İkisi de artık düzeltildi ve ikisi de yayın öncesi ve sonrası bir taramanın yakalaması gereken şeyler. Bkz. HTTP URL'si HTTPS bir sitede 200 döndürüyor.

Otomasyon: CLI, CI ve API'ler

Ölçek büyüdükçe tarama, sürümün bir parçası olur.

ParçaİşNeova'da
Komut satırıTarama başlatın, sonuçları okuyunneova CLI
CI kapısıYeni işaretlerde build'i başarısız sayınneova check
APIDashboard'lar, şirket içi araçlarREST API, dakikada 60 istek
MCP sunucusuYapay zeka asistanları taramaları okur✓
Ticket'larSorun ve şablon başına bir taneJira, Linear, Asana

REST API, Desktop + Online planı ve üstünde Neova Online'ın bir parçasıdır. Bir CI kapısı, son sağlam sürümün temel (baseline) taramasıyla en iyi çalışır: build yalnızca yeni işaretlerde başarısız olur, böylece eski borçlar her deploy'u engellemez.

Neova gelişmiş taramayı nasıl ele alır

  • Render: Chrome'da tüm sayfaları ya da sayfa grubu başına birkaçını render eder ve her sayfayı Server-Rendered, Hydrated ya da Needs JavaScript olarak işaretler.
  • Ölçek: taramayı diskte tutar, Sayfa grubu başına örnek sunar ve Keşif her tuzak için Taramaya devam et, Atla ya da Hariç tut seçeneği verir.
  • Geçmiş: Taramaları karşılaştır; Geçmiş veriler de her taramayı, her robots.txt sürümünü ve XML site haritasını saklar.
  • Sunucu logları: Apache ya da Nginx logları veya kendi Cloudflare hesabınız; Googlebot, Bingbot ve yapay zeka crawler'ları yalnızca adresleri ilgili şirketin yayımladığı listede varsa sayılır.
  • Kaynakların ötesinde: Google 16 ayda sildikten sonra da Search Console verisinin her ayını saklar.
  • Site taşımaları: URL başına güven puanlı Yönlendirme haritası, Canlı yönlendirme kontrolü, Staging ve Production karşılaştırması ve URL yeniden yazma.

Tüm özellikleri özellikler sayfasında, Neova'nın nasıl karşılaştırıldığını da Karşılaştır sayfasında görün.

Sorular

Gelişmiş SEO crawler nedir?

Zor siteler için yapılmış bir crawler: JavaScript'i render eder ve ham HTML ile karşılaştırır, tarama tuzaklarını ve çok büyük siteleri ele alır, taramaları zaman içinde karşılaştırır, zamanlanmış olarak çalışır ve ticket'lara, CI'ya ve API'lere uyum sağlar.

Her sayfayı JavaScript ile render etmem gerekir mi?

Genellikle hayır. Önce şablon başına bir örneklem render edin. İçeriğinin tamamı sunucu HTML'inde olan şablonların tam render'a ihtiyacı yoktur; JavaScript'e bağlı şablonların vardır.

Tarama bütçesi ne zaman önemlidir?

Google'a göre esas olarak haftalık değişen 1 milyon ya da daha fazla benzersiz sayfası olan siteler veya günlük değişen 10.000 ya da daha fazla sayfası olan siteler için. Daha küçük siteler buna nadiren takılır.

Kurumsal bir SEO crawler ne kadar büyük bir siteyi kaldırabilir?

Araca ve masaüstü crawler'larda bilgisayara bağlıdır. Neova taramayı diskte tutar ve bilgisayarınıza bağlı olarak Desktop planında tarama başına 5 milyon URL'ye kadar çıkar. Bkz. fiyatlar.

SEO sorunlarında bir deploy'u başarısız sayabilir miyim?

Evet, bir CI kapısıyla. Neova'da neova check bir taramayı temel taramayla karşılaştırır ve yeni işaretler çıktığında hata koduyla çıkar; böylece pipeline sürümü durdurabilir.

Yanınıza alın

Asistan linkleri, bu sayfayla ilgili önceden yazılmış bir soruyla açılır.

Sitenizi Neova ile tarayınFree plan, Mac, Windows ve Linux'ta her kontrolü çalıştırır. Kredi kartı gerekmez.

Okumaya devam edin