SEO için bir web sitesi adım adım nasıl taranır
Bir web sitesini taramak, sayfalarını bir arama motorunun yaptığı gibi, sayfadan sayfaya linkleri izleyerek getirmek demektir. Bir web sitesini doğru şekilde, yani kibarca, eksiksiz ve engellenmeden nasıl tarayacağınız aşağıda.
Bir web sitesini taramak ne demektir
SEO için bir web sitesi crawler'ı bir URL'den başlar, onu indirir, HTML'deki linkleri okur ve bir kuyruğa ekler. Sonra kuyruktan sıradaki URL'yi alır ve aynısını yapar; ta ki yeni bir şey çıkmayana ya da bir sınıra ulaşana kadar. Arama motorları bunu web ölçeğinde yapar. Bir SEO crawler'ı bunu tek bir site için yapar ve denetleyebilmeniz için her URL'nin ne yanıt verdiğini kaydeder.
Bir tarama her URL için genellikle durum kodunu, yanıt header'larını, title ve meta description'ı, canonical'ı, robots direktiflerini, gelen ve giden linkleri ve başlangıç sayfasından kaç tıklama uzakta olduğunu kaydeder. Google kendi crawler'larının ve fetcher'larının nasıl çalıştığını Google crawler'larına genel bakış sayfasında anlatır.
Taramadan önce: izin, robots.txt ve kapsam
Başlat'a basmadan önce yanıtlanacak üç soru:
- Site sizin mi, ya da izniniz var mı? Kendi sitenizi ya da bir müşterinizinkini taramak olağandır. Başka birinin sitesinde kibar olun: robots.txt'e uyun ve hızı düşük tutun.
- robots.txt ne diyor? /robots.txt'i açın ve okuyun. Crawler'lara neyi getiremeyeceklerini söyler ve genellikle XML site haritalarını listeler. Kurallar RFC 9309'u izler ve Google onları nasıl okuduğunu robots.txt tanıtımında açıklar. SEO ProCheck'teki eksiksiz robots.txt başvuru kaynağı satır satır ilerler.
- Ne kadarına ihtiyacınız var? Tüm site, tek bir bölüm ya da her şablondan bir örnek. Bir örnek şablon sorularının çoğunu dakikalar içinde yanıtlar; kırık linkler ve yetim sayfalar için tam tarama gerekir.
Bir web sitesi adım adım nasıl taranır
- Doğru başlangıç URL'sini bulun. http ve https'i, www ile ve www olmadan isteyin. Biri 200 döndürmeli, diğerleri ona yönlendirmeli. Oradan başlayın.
- Bir mod seçin. Spider modu başlangıç URL'sinden linkleri izler. Liste modu yalnızca verdiğiniz URL'leri tarar; bir taşımadan sonra bir dizi eski URL'yi kontrol etmek için kullanışlıdır.
- XML site haritalarını ekleyin. Link verilen sayfalardan sonra site haritası URL'lerini taramak, sitenin listelediği ama hiç link vermediği sayfaları gösterir.
- Sınırlar koyun. Bir URL sınırı, bir derinlik sınırı ve sorgu parametreleri için kurallar, filtrelerin taramayı alıp götürmesini önler. SEO ProCheck'teki filtreli navigasyon SEO rehberi hangi filtre URL'lerinin taranmayı hak ettiğini gösterir.
- İhtiyacınız olmayanı hariç tutun. Yönetim alanları, sepet ve ödeme URL'leri, site içi arama sonuçları. Dahil etme ve hariç tutma kalıpları kullanın ve başlamadan önce bir URL'yi onlara karşı test edin.
- Bir user agent seçin. Crawler'ınızın kendi adı dürüst varsayılandır. Googlebot olarak taramak Google'a ne sunulduğunu gösterir, ama bazı sunucular sahte bir Googlebot'u saldırı olarak görür.
- Başlatın, sonra ilk birkaç dakikayı izleyin. Yeni URL sayısı sitenin boyutundan çok daha hızlı artıyorsa nereden geldiklerine bakın. Olağan neden takvimler ve sonsuz filtrelerdir.
- Kontrollerin çalışmasına izin verin. Tarama bittiğinde en çok dizine eklenebilir sayfaya dokunan sorunlarla başlayın.

Bir web sitesinde tüm URL'ler için nasıl tarama yapılır
Linkleri izlemek yalnızca linklerin ulaştığı sayfaları bulur. Bir web sitesinde tüm URL'leri taramak için birkaç kaynağı birleştirin:
| Kaynak | Link verilen sayfalar | Link verilmeyen sayfalar | Kaynağı |
|---|---|---|---|
| Link taraması | ✓ | – | Başlangıç URL'si |
| XML site haritaları | ◐ | ✓ | robots.txt ya da /sitemap.xml |
| Başlangıç URL'leri | ◐ | ✓ | Kendi listeniz |
| Sunucu logları | ◐ | ✓ | Sunucu ya da CDN |
| Search Console | ◐ | ✓ | Google mülkünüz |
Bunun ne kadar önemli olduğunu kendi sitemizde gördük. 17 Ekim 2026'daki tam Neova seoprocheck.com taramasında:
| Ölçüm | seoprocheck.com |
|---|---|
| Alınan URL'ler | 10.222 |
| Süre | 61 dakika |
| 200 döndüren HTML sayfaları | 4.561 |
| XML site haritalarındaki URL'ler | 1.835 |
| Linklerle ulaşılan, hiçbir site haritasında olmayan | 2.727 |
| Bir site haritasında, hiçbir linkle ulaşılmıyor | 1 |
| Tamlık | 99.98% |
| Sayfa gövdeleri | 1,66 GB ham, 340 MB depolanan |
Yalnızca site haritasına dayalı bir denetim 2.727 URL'yi, yalnızca linklere dayalı bir tarama ise tek yetim sayfayı kaçırırdı. Yalnızca site haritalarından, loglardan ya da Search Console'dan gelen sayfalar yetimdir. Arama trafiği alan dizine eklenebilir yetim sayfalar genellikle iç link ister. Burada bilmeye değer kontroller: Yetim URL 200 döndürüyor ve dizine eklenebilir, Dizine eklenebilir URL hiçbir XML site haritasında yok ve XML site haritası getirilemiyor ya da ayrıştırılamıyor.
Bir web sitesi engellenmeden nasıl taranır
Engellerin çoğu çok hızlı taramaktan ya da sunucunun güvenmediği bir bot gibi görünmekten gelir. Site sahibinin isteyeceği şekilde tarayın:
- Hızı düşük tutun. Çoğu denetim için saniyede 2 ya da 3 URL yeterlidir. Daha hızlısı yalnızca kendi sitenizde.
- Kim olduğunuzu söyleyin. Crawler hakkında bir sayfaya link veren net bir user agent'a izin vermek, sahte bir tarayıcı dizesine izin vermekten kolaydır.
- robots.txt'e uyun. Sitenin açıkça belirttiği istektir; başkasının sitesinde onu yok saymak engellenmenin en hızlı yoludur.
- İzin isteyin. Bir güvenlik duvarı ya da bot koruması arkasındaki bir müşteri sitesinde, BT ekibinden crawler'ınıza izin vermesini isteyin; örneğin yalnızca crawler'ınızın gönderdiği gizli bir header ile.
Sonra yanıtları okuyun. Her durum kodu farklı bir şey söyler:
| Answer | Anlamı | Yapın |
|---|---|---|
| 429 | Çok fazla istek | Hızı yarıya indirin, Retry-After'a uyun |
| 503 | Sunucu meşgul ya da kapalı | Yavaşlayın, sonra yeniden deneyin |
| 403 | Reddedildi | Durun ve sorun |
| 401 | Oturum açma gerekli | Erişim isteyin |
| Art arda 5xx | Sunucu zorlanıyor | Taramayı duraklatın |
Google'ın HTTP durum kodları ve ağ hataları sayfası, Googlebot'un kendisinin 429 ve 5xx yanıtlarını nasıl ele aldığını açıklar.
JavaScript web sitelerini taramak
Site React, Vue, Angular ya da benzer bir framework ile yapılmışsa, sunucunun gönderdiği HTML neredeyse boş olabilir ve içerik script'lerle eklenir. Düz bir tarama o zaman az link ve az metin bulur. Her sayfayı headless bir tarayıcıda yükleyen JavaScript oluşturmayı açın ve oluşturulmuş sayfayı ham HTML ile karşılaştırın. Önemli olan oluşturmadan önce eksik olanlardır: yalnızca script'ler çalıştıktan sonra görünen ana metin, linkler, title'lar ve canonical'lar. Oluşturma daha yavaştır; bu yüzden önce her şablondan bir örneği oluşturun.
Web sitemi Neova ile tarayın
Kendi web sitenizi Neova ile taramak için uygulamayı indirin, ardından Tara, Yeni tarama'yı seçin, adresi yazın ve Taramayı başlat'a tıklayın. İlk taramanız sayfası her ekranı gösterir.
| Ayar | Varsayılan |
|---|---|
| Platformlar | |
| User agent | NeovaBot |
| Hız | Saniyede 3 URL |
| 429 ya da 503'te | Hızı yarıya indirir, Retry-After'a uyar |
| robots.txt | Uyulur |
| CAPTCHA | Asla çözülmez |
| Ücretsiz plan | Tarama başına 1.000 URL |
- Başlangıç URL'si kontrolü, sitenin 200 döndüren sürümünü (http ya da https, www ile ya da www olmadan) seçer ve diğerlerinin ne yaptığını söyler.
- Modlar ve kapsam: Spider ya da Liste, Tüm site, Belirli klasörler ya da Sayfa grubu başına örnek; ayrıca XML site haritaları, başlangıç URL'leri ve dahil etme ile hariç tutma kuralları.
- Kendi siteniz: sizin olduğunu onayladığınızda Neova daha hızlı gidebilir ve robots.txt'i yok sayabilir. İzin listesi header'ı, yalnızca o siteye gönderilen gizli bir header oluşturur ve BT ekibine iletilecek kuralı verir.
- Engellenen tarama açıklaması: bir site taramayı reddettiğinde Neova nedenini (hız sınırı, güvenlik duvarı engeli, yasak) ve sonra ne yapılacağını söyler.
- Keşif ve URL dökümü: tarama sürerken bulunan her URL bir gruba düşer ve tarama tuzağı biçimleri işaretlenir; hemen orada Atla ya da Hariç tut seçenekleriyle.
- Duraklat, Durdur ve Devam et: istediğiniz zaman durdurun ve kontrolleri taranmış olan üzerinde çalıştırın ya da daha sonra kaldığı yerden Devam et ile sürdürün.
Site sahipleri crawler'ın kendini nasıl tanıttığını ve nasıl engelleneceğini NeovaBot sayfasında okuyabilir.
Taramayla ne yapılmalı
Bir tarama bir anlık görüntüdür. Değeri, düzelttiklerinizdedir. Bulguları dokundukları dizine eklenebilir sayfa sayısına göre sıralayın, şablon sorunlarını sayfa sayfa değil bir kez düzeltin ve doğrulamak için yeniden tarayın. Genellikle karşılığını veren kısa bir ilk tur:
- 4xx ve 5xx URL'lere giden iç linkler. Bkz. İç URL 4xx, 5xx döndürüyor ya da yanıt vermiyor.
- İç URL'ler arasındaki yönlendirme zincirleri. Bkz. İç URL bir yönlendirme zincirinde.
- robots.txt'in engellediği dizine eklenebilir sayfalar. Bkz. İç URL robots.txt tarafından engelleniyor.
- Getirilemeyen bir robots.txt. Bkz. robots.txt erişilemiyor ya da çok büyük.
- XML site haritalarında eksik sayfalar ve yönlendiren ya da noindex olan sayfaları listeleyen site haritaları.
- Ana sayfadan 3 tıklamadan daha uzaktaki önemli sayfalar.
Teknik SEO denetimi kontrol listesi tüm incelemeyi sıraya koyar.
Sorular
Bir web sitesinde tüm URL'leri nasıl tararım?
Bir link taramasını XML site haritalarıyla birleştirin, ardından Google Search Console'dan ve sunucu loglarından URL'ler ekleyin. Yalnızca bu kaynakların bulduğu ve hiçbir iç linkin ulaşmadığı her sayfa, bakmaya değer bir yetim sayfadır.
Bir web sitesini engellenmeden nasıl tararım?
Yavaş tarayın, dürüst bir user agent kullanın, robots.txt'e uyun ve sunucu 429 ya da 503 döndürdüğünde yavaşlayın. Güvenlik duvarı arkasındaki bir müşteri sitesinde, engeli aşmaya çalışmak yerine BT ekibinden crawler'ınıza izin vermesini isteyin.
Bir web sitesini taramak yasal mı?
Herkese açık sayfaları taramak yaygın bir uygulamadır, ama kurallar ülkeye ve sitenin koşullarına göre değişir. Kendi sitelerinizi ve müşterilerinizinkileri rahatça tarayın, her yerde robots.txt'e uyun ve şüphe duyduğunuzda sitenin koşullarını okuyun. Bu hukuki tavsiye değildir.
Bir web sitesini taramak ne kadar sürer?
Kabaca URL sayısının hıza bölümü kadar. 17 Ekim 2026'daki tam seoprocheck.com taramamız 61 dakikada 10.222 URL getirdi; saniyede yaklaşık 2,8 URL. Saniyede 3 URL ile, oluşturma hariç, 1.000 URL yaklaşık 6 dakika, 100.000 URL yaklaşık 9 saat sürer. Her şablondan örnekleme çok daha hızlıdır.
Web sitemi ücretsiz tarayabilir miyim?
Evet. Neova'nın Ücretsiz planı Mac, Windows ve Linux'ta her kontrolle tarama başına 1.000 URL'ye kadar tarar. Daha büyük planlar için fiyatlandırma sayfasına bakın.