NeovaGelişmiş SEO Platformu

SEO için bir web sitesi adım adım nasıl taranır

Bir web sitesini taramak, sayfalarını bir arama motorunun yaptığı gibi, sayfadan sayfaya linkleri izleyerek getirmek demektir. Bir web sitesini doğru şekilde, yani kibarca, eksiksiz ve engellenmeden nasıl tarayacağınız aşağıda.

Tarama ve indekslemeweb sitesi nasıl taranırGüncelleme: 21 Kasım 2026Neova ekibi

Bir web sitesini taramak ne demektir

SEO için bir web sitesi crawler'ı bir URL'den başlar, onu indirir, HTML'deki linkleri okur ve bir kuyruğa ekler. Sonra kuyruktan sıradaki URL'yi alır ve aynısını yapar; ta ki yeni bir şey çıkmayana ya da bir sınıra ulaşana kadar. Arama motorları bunu web ölçeğinde yapar. Bir SEO crawler'ı bunu tek bir site için yapar ve denetleyebilmeniz için her URL'nin ne yanıt verdiğini kaydeder.

Bir tarama her URL için genellikle durum kodunu, yanıt header'larını, title ve meta description'ı, canonical'ı, robots direktiflerini, gelen ve giden linkleri ve başlangıç sayfasından kaç tıklama uzakta olduğunu kaydeder. Google kendi crawler'larının ve fetcher'larının nasıl çalıştığını Google crawler'larına genel bakış sayfasında anlatır.

Taramadan önce: izin, robots.txt ve kapsam

Başlat'a basmadan önce yanıtlanacak üç soru:

  • Site sizin mi, ya da izniniz var mı? Kendi sitenizi ya da bir müşterinizinkini taramak olağandır. Başka birinin sitesinde kibar olun: robots.txt'e uyun ve hızı düşük tutun.
  • robots.txt ne diyor? /robots.txt'i açın ve okuyun. Crawler'lara neyi getiremeyeceklerini söyler ve genellikle XML site haritalarını listeler. Kurallar RFC 9309'u izler ve Google onları nasıl okuduğunu robots.txt tanıtımında açıklar. SEO ProCheck'teki eksiksiz robots.txt başvuru kaynağı satır satır ilerler.
  • Ne kadarına ihtiyacınız var? Tüm site, tek bir bölüm ya da her şablondan bir örnek. Bir örnek şablon sorularının çoğunu dakikalar içinde yanıtlar; kırık linkler ve yetim sayfalar için tam tarama gerekir.

Bir web sitesi adım adım nasıl taranır

  1. Doğru başlangıç URL'sini bulun. http ve https'i, www ile ve www olmadan isteyin. Biri 200 döndürmeli, diğerleri ona yönlendirmeli. Oradan başlayın.
  2. Bir mod seçin. Spider modu başlangıç URL'sinden linkleri izler. Liste modu yalnızca verdiğiniz URL'leri tarar; bir taşımadan sonra bir dizi eski URL'yi kontrol etmek için kullanışlıdır.
  3. XML site haritalarını ekleyin. Link verilen sayfalardan sonra site haritası URL'lerini taramak, sitenin listelediği ama hiç link vermediği sayfaları gösterir.
  4. Sınırlar koyun. Bir URL sınırı, bir derinlik sınırı ve sorgu parametreleri için kurallar, filtrelerin taramayı alıp götürmesini önler. SEO ProCheck'teki filtreli navigasyon SEO rehberi hangi filtre URL'lerinin taranmayı hak ettiğini gösterir.
  5. İhtiyacınız olmayanı hariç tutun. Yönetim alanları, sepet ve ödeme URL'leri, site içi arama sonuçları. Dahil etme ve hariç tutma kalıpları kullanın ve başlamadan önce bir URL'yi onlara karşı test edin.
  6. Bir user agent seçin. Crawler'ınızın kendi adı dürüst varsayılandır. Googlebot olarak taramak Google'a ne sunulduğunu gösterir, ama bazı sunucular sahte bir Googlebot'u saldırı olarak görür.
  7. Başlatın, sonra ilk birkaç dakikayı izleyin. Yeni URL sayısı sitenin boyutundan çok daha hızlı artıyorsa nereden geldiklerine bakın. Olağan neden takvimler ve sonsuz filtrelerdir.
  8. Kontrollerin çalışmasına izin verin. Tarama bittiğinde en çok dizine eklenebilir sayfaya dokunan sorunlarla başlayın.
Yeni tarama, Hız ve oluşturma: saniyedeki URL cinsinden hız (sunucu yavaşladığında düşürülür), her istekle gönderilen user agent ve JavaScript oluşturma
Yeni tarama, Hız ve oluşturma: saniyedeki URL cinsinden hız (sunucu yavaşladığında düşürülür), her istekle gönderilen user agent ve JavaScript oluşturma

Bir web sitesinde tüm URL'ler için nasıl tarama yapılır

Linkleri izlemek yalnızca linklerin ulaştığı sayfaları bulur. Bir web sitesinde tüm URL'leri taramak için birkaç kaynağı birleştirin:

KaynakLink verilen sayfalarLink verilmeyen sayfalarKaynağı
Link taraması✓–Başlangıç URL'si
XML site haritaları◐✓robots.txt ya da /sitemap.xml
Başlangıç URL'leri◐✓Kendi listeniz
Sunucu logları◐✓Sunucu ya da CDN
Search Console◐✓Google mülkünüz

Bunun ne kadar önemli olduğunu kendi sitemizde gördük. 17 Ekim 2026'daki tam Neova seoprocheck.com taramasında:

Ölçümseoprocheck.com
Alınan URL'ler10.222
Süre61 dakika
200 döndüren HTML sayfaları4.561
XML site haritalarındaki URL'ler1.835
Linklerle ulaşılan, hiçbir site haritasında olmayan2.727
Bir site haritasında, hiçbir linkle ulaşılmıyor1
Tamlık99.98%
Sayfa gövdeleri1,66 GB ham, 340 MB depolanan

Yalnızca site haritasına dayalı bir denetim 2.727 URL'yi, yalnızca linklere dayalı bir tarama ise tek yetim sayfayı kaçırırdı. Yalnızca site haritalarından, loglardan ya da Search Console'dan gelen sayfalar yetimdir. Arama trafiği alan dizine eklenebilir yetim sayfalar genellikle iç link ister. Burada bilmeye değer kontroller: Yetim URL 200 döndürüyor ve dizine eklenebilir, Dizine eklenebilir URL hiçbir XML site haritasında yok ve XML site haritası getirilemiyor ya da ayrıştırılamıyor.

Bir web sitesi engellenmeden nasıl taranır

Engellerin çoğu çok hızlı taramaktan ya da sunucunun güvenmediği bir bot gibi görünmekten gelir. Site sahibinin isteyeceği şekilde tarayın:

  • Hızı düşük tutun. Çoğu denetim için saniyede 2 ya da 3 URL yeterlidir. Daha hızlısı yalnızca kendi sitenizde.
  • Kim olduğunuzu söyleyin. Crawler hakkında bir sayfaya link veren net bir user agent'a izin vermek, sahte bir tarayıcı dizesine izin vermekten kolaydır.
  • robots.txt'e uyun. Sitenin açıkça belirttiği istektir; başkasının sitesinde onu yok saymak engellenmenin en hızlı yoludur.
  • İzin isteyin. Bir güvenlik duvarı ya da bot koruması arkasındaki bir müşteri sitesinde, BT ekibinden crawler'ınıza izin vermesini isteyin; örneğin yalnızca crawler'ınızın gönderdiği gizli bir header ile.

Sonra yanıtları okuyun. Her durum kodu farklı bir şey söyler:

AnswerAnlamıYapın
429Çok fazla istekHızı yarıya indirin, Retry-After'a uyun
503Sunucu meşgul ya da kapalıYavaşlayın, sonra yeniden deneyin
403ReddedildiDurun ve sorun
401Oturum açma gerekliErişim isteyin
Art arda 5xxSunucu zorlanıyorTaramayı duraklatın

Google'ın HTTP durum kodları ve ağ hataları sayfası, Googlebot'un kendisinin 429 ve 5xx yanıtlarını nasıl ele aldığını açıklar.

JavaScript web sitelerini taramak

Site React, Vue, Angular ya da benzer bir framework ile yapılmışsa, sunucunun gönderdiği HTML neredeyse boş olabilir ve içerik script'lerle eklenir. Düz bir tarama o zaman az link ve az metin bulur. Her sayfayı headless bir tarayıcıda yükleyen JavaScript oluşturmayı açın ve oluşturulmuş sayfayı ham HTML ile karşılaştırın. Önemli olan oluşturmadan önce eksik olanlardır: yalnızca script'ler çalıştıktan sonra görünen ana metin, linkler, title'lar ve canonical'lar. Oluşturma daha yavaştır; bu yüzden önce her şablondan bir örneği oluşturun.

Web sitemi Neova ile tarayın

Kendi web sitenizi Neova ile taramak için uygulamayı indirin, ardından Tara, Yeni tarama'yı seçin, adresi yazın ve Taramayı başlat'a tıklayın. İlk taramanız sayfası her ekranı gösterir.

AyarVarsayılan
Platformlar
User agentNeovaBot
HızSaniyede 3 URL
429 ya da 503'teHızı yarıya indirir, Retry-After'a uyar
robots.txtUyulur
CAPTCHAAsla çözülmez
Ücretsiz planTarama başına 1.000 URL
  • Başlangıç URL'si kontrolü, sitenin 200 döndüren sürümünü (http ya da https, www ile ya da www olmadan) seçer ve diğerlerinin ne yaptığını söyler.
  • Modlar ve kapsam: Spider ya da Liste, Tüm site, Belirli klasörler ya da Sayfa grubu başına örnek; ayrıca XML site haritaları, başlangıç URL'leri ve dahil etme ile hariç tutma kuralları.
  • Kendi siteniz: sizin olduğunu onayladığınızda Neova daha hızlı gidebilir ve robots.txt'i yok sayabilir. İzin listesi header'ı, yalnızca o siteye gönderilen gizli bir header oluşturur ve BT ekibine iletilecek kuralı verir.
  • Engellenen tarama açıklaması: bir site taramayı reddettiğinde Neova nedenini (hız sınırı, güvenlik duvarı engeli, yasak) ve sonra ne yapılacağını söyler.
  • Keşif ve URL dökümü: tarama sürerken bulunan her URL bir gruba düşer ve tarama tuzağı biçimleri işaretlenir; hemen orada Atla ya da Hariç tut seçenekleriyle.
  • Duraklat, Durdur ve Devam et: istediğiniz zaman durdurun ve kontrolleri taranmış olan üzerinde çalıştırın ya da daha sonra kaldığı yerden Devam et ile sürdürün.

Site sahipleri crawler'ın kendini nasıl tanıttığını ve nasıl engelleneceğini NeovaBot sayfasında okuyabilir.

Taramayla ne yapılmalı

Bir tarama bir anlık görüntüdür. Değeri, düzelttiklerinizdedir. Bulguları dokundukları dizine eklenebilir sayfa sayısına göre sıralayın, şablon sorunlarını sayfa sayfa değil bir kez düzeltin ve doğrulamak için yeniden tarayın. Genellikle karşılığını veren kısa bir ilk tur:

Teknik SEO denetimi kontrol listesi tüm incelemeyi sıraya koyar.

Sorular

Bir web sitesinde tüm URL'leri nasıl tararım?

Bir link taramasını XML site haritalarıyla birleştirin, ardından Google Search Console'dan ve sunucu loglarından URL'ler ekleyin. Yalnızca bu kaynakların bulduğu ve hiçbir iç linkin ulaşmadığı her sayfa, bakmaya değer bir yetim sayfadır.

Bir web sitesini engellenmeden nasıl tararım?

Yavaş tarayın, dürüst bir user agent kullanın, robots.txt'e uyun ve sunucu 429 ya da 503 döndürdüğünde yavaşlayın. Güvenlik duvarı arkasındaki bir müşteri sitesinde, engeli aşmaya çalışmak yerine BT ekibinden crawler'ınıza izin vermesini isteyin.

Bir web sitesini taramak yasal mı?

Herkese açık sayfaları taramak yaygın bir uygulamadır, ama kurallar ülkeye ve sitenin koşullarına göre değişir. Kendi sitelerinizi ve müşterilerinizinkileri rahatça tarayın, her yerde robots.txt'e uyun ve şüphe duyduğunuzda sitenin koşullarını okuyun. Bu hukuki tavsiye değildir.

Bir web sitesini taramak ne kadar sürer?

Kabaca URL sayısının hıza bölümü kadar. 17 Ekim 2026'daki tam seoprocheck.com taramamız 61 dakikada 10.222 URL getirdi; saniyede yaklaşık 2,8 URL. Saniyede 3 URL ile, oluşturma hariç, 1.000 URL yaklaşık 6 dakika, 100.000 URL yaklaşık 9 saat sürer. Her şablondan örnekleme çok daha hızlıdır.

Web sitemi ücretsiz tarayabilir miyim?

Evet. Neova'nın Ücretsiz planı Mac, Windows ve Linux'ta her kontrolle tarama başına 1.000 URL'ye kadar tarar. Daha büyük planlar için fiyatlandırma sayfasına bakın.

Yanınıza alın

Asistan linkleri, bu sayfayla ilgili önceden yazılmış bir soruyla açılır.

Sitenizi Neova ile tarayınFree plan, Mac, Windows ve Linux'ta her kontrolü çalıştırır. Kredi kartı gerekmez.

Okumaya devam edin