NeovaZaawansowana platforma SEO

Jak crawlować witrynę pod SEO krok po kroku

Crawlowanie witryny to pobieranie jej stron tak, jak robi to wyszukiwarka, podążając za linkami od strony do strony. Oto jak porządnie crawlować witrynę: grzecznie, kompletnie i bez blokad.

Crawlowanie i indeksowaniejak crawlować witrynęAktualizacja: 21 listopada 2026Autor: zespół Neova

Co oznacza crawlowanie witryny

Crawler SEO zaczyna od jednego adresu URL, pobiera go, czyta linki w HTML i dodaje je do kolejki. Potem bierze z kolejki następny URL i robi to samo, aż nie pojawi się nic nowego albo trafi na limit. Wyszukiwarki robią to w skali całej sieci. Crawler SEO robi to dla jednej witryny i zapisuje, co odpowiedział każdy URL, żebyś mógł go zaudytować.

Dla każdego adresu URL crawl zwykle zapisuje kod odpowiedzi, nagłówki odpowiedzi, title i meta description, canonical, dyrektywy robots, linki przychodzące i wychodzące oraz to, ile kliknięć dzieli go od strony startowej. Google opisuje, jak działają jego własne crawlery i fetchery, w przeglądzie crawlerów Google.

Zanim zaczniesz crawl: zgoda, robots.txt i zakres

Trzy pytania, na które warto odpowiedzieć przed naciśnięciem startu:

  • Czy to twoja witryna albo masz zgodę? Crawlowanie własnej witryny lub witryny klienta to rutyna. W przypadku cudzej witryny zachowuj się grzecznie: respektuj robots.txt i trzymaj niską prędkość.
  • Co mówi robots.txt? Otwórz /robots.txt i przeczytaj go. Mówi crawlerom, czego nie mogą pobierać, i zwykle wymienia mapy stron XML. Reguły są zgodne z RFC 9309, a Google wyjaśnia, jak je czyta, we wprowadzeniu do robots.txt. Pełne kompendium robots.txt na SEO ProCheck omawia go linia po linii.
  • Ile potrzebujesz? Całą witrynę, jedną sekcję albo próbkę z każdego szablonu. Próbka odpowiada na większość pytań o szablony w kilka minut; pełny crawl jest potrzebny do zepsutych linków i stron osieroconych.

Jak crawlować witrynę krok po kroku

  1. Znajdź właściwy startowy URL. Odpytaj http i https, z www i bez. Jeden powinien odpowiedzieć 200, a pozostałe przekierowywać do niego. Zacznij od niego.
  2. Wybierz tryb. Tryb Spider podąża za linkami od startowego URL. Tryb listy crawluje tylko podane adresy URL, co przydaje się do sprawdzenia zestawu starych adresów po migracji.
  3. Dodaj mapy stron XML. Crawlowanie adresów z map stron po linkowanych stronach pokazuje, które strony witryna wymienia, ale nigdy do nich nie linkuje.
  4. Ustaw limity. Limit adresów URL, limit głębokości i reguły dla parametrów zapytań nie pozwolą filtrom rozsadzić crawla. Poradnik o nawigacji fasetowej w SEO na SEO ProCheck pokazuje, które adresy filtrów warto crawlować.
  5. Wyklucz to, czego nie potrzebujesz. Panele administracyjne, adresy koszyka i kasy, wyniki wyszukiwania wewnętrznego. Użyj wzorców uwzględniania i wykluczania i przed startem przetestuj na nich URL.
  6. Wybierz user agenta. Własna nazwa twojego crawlera to uczciwy wybór domyślny. Crawl jako Googlebot pokazuje, co dostaje Google, ale niektóre serwery traktują fałszywego Googlebota jako atak.
  7. Uruchom, a potem obserwuj pierwsze minuty. Jeśli liczba nowych adresów URL rośnie znacznie szybciej, niż wynosi rozmiar witryny, sprawdź, skąd się biorą. Zwykłą przyczyną są kalendarze i niekończące się filtry.
  8. Pozwól działać testom. Po zakończeniu crawla zacznij od problemów, które dotyczą najwięcej indeksowalnych stron.
Nowy crawl, Szybkość i renderowanie: prędkość w adresach URL na sekundę, zmniejszana, gdy serwer zwalnia, user agent wysyłany z każdym żądaniem i renderowanie JavaScript
Nowy crawl, Szybkość i renderowanie: prędkość w adresach URL na sekundę, zmniejszana, gdy serwer zwalnia, user agent wysyłany z każdym żądaniem i renderowanie JavaScript

Jak crawlować witrynę, by znaleźć wszystkie adresy URL

Podążanie za linkami znajduje tylko strony, do których prowadzą linki. Aby przecrawlować witrynę w poszukiwaniu wszystkich adresów URL, połącz kilka źródeł:

ŹródłoLinkowane stronyStrony bez linkówSkąd pochodzi
Crawl po linkach✓–Startowy URL
Mapy stron XML◐✓robots.txt lub /sitemap.xml
Seed URLs◐✓Twoja własna lista
Logi serwera◐✓Serwer lub CDN
Search Console◐✓Twoja usługa w Google

Na własnej witrynie przekonaliśmy się, jak bardzo to ważne. W pełnym crawlu seoprocheck.com wykonanym przez Neova 17 października 2026:

Miaraseoprocheck.com
Pobrane adresy URL10 222
Czas61 minut
Strony HTML z kodem 2004 561
Adresy URL w mapach stron XML1 835
Osiągalne przez linki, poza mapą strony2 727
W mapie strony, bez żadnego linku1
Kompletność99.98%
Treść stron1,66 GB bez kompresji, 340 MB na dysku

Audyt oparty tylko na mapie strony pominąłby 2727 adresów URL, a crawl tylko po linkach pominąłby jedną stronę osieroconą. Strony, które pochodzą tylko z map stron, logów lub Search Console, są osierocone. Indeksowalne strony osierocone z ruchem z wyszukiwarki zwykle potrzebują linków wewnętrznych. Testy, które warto tu znać: Osierocony URL zwraca 200 i jest indeksowalny, Indeksowalnego URL nie ma w żadnej mapie strony XML oraz Mapy strony XML nie da się pobrać ani sparsować.

Jak crawlować witrynę bez blokad

Większość blokad wynika ze zbyt szybkiego crawlowania albo z wyglądania jak bot, któremu serwer nie ufa. Crawluj tak, jak chciałby właściciel witryny:

  • Trzymaj niską prędkość. 2 lub 3 adresy URL na sekundę wystarczą do większości audytów. Szybciej tylko na własnej witrynie.
  • Przedstaw się. Jasny user agent z linkiem do strony o crawlerze łatwiej dopuścić niż podrobiony ciąg przeglądarki.
  • Respektuj robots.txt. To wyrażona wola witryny, a ignorowanie go na cudzej witrynie to najszybszy sposób na blokadę.
  • Poproś o dostęp. Na witrynie klienta za firewallem lub ochroną przed botami poproś dział IT o dopuszczenie twojego crawlera, na przykład przez tajny nagłówek, który wysyła tylko twój crawler.

Potem czytaj odpowiedzi. Każdy kod odpowiedzi mówi coś innego:

AnswerZnaczyRób
429Zbyt wiele żądańZmniejsz prędkość o połowę, respektuj Retry-After
503Serwer zajęty lub niedostępnyZwolnij, spróbuj później
403OdmowaZatrzymaj się i zapytaj
401Wymagane logowaniePoproś o dostęp
Seria 5xxSerwer ma kłopotyWstrzymaj crawl

Strona Google o kodach stanu HTTP i błędach sieci wyjaśnia, jak sam Googlebot traktuje odpowiedzi 429 i 5xx.

Crawlowanie witryn w JavaScripcie

Jeśli witryna jest zbudowana w React, Vue, Angular lub podobnym frameworku, HTML wysyłany przez serwer może być prawie pusty, a treść dodają skrypty. Zwykły crawl znajdzie wtedy mało linków i mało tekstu. Włącz renderowanie JavaScript, które wczytuje każdą stronę w przeglądarce headless, i porównaj wyrenderowaną stronę z surowym HTML. Liczy się to, czego brakuje przed renderowaniem: główny tekst, linki, tytuły i canonicale, które pojawiają się dopiero po uruchomieniu skryptów. Renderowanie jest wolniejsze, więc najpierw wyrenderuj próbkę z każdego szablonu.

Przecrawluj swoją witrynę w Neova

Aby przecrawlować własną witrynę w Neova, pobierz aplikację, wybierz Crawl, Nowy crawl, wpisz adres i kliknij Uruchom crawl. Strona Twój pierwszy crawl pokazuje każdy ekran.

UstawienieDomyślnie
Działa na
User agentNeovaBot
Prędkość3 adresy URL na sekundę
Przy 429 lub 503Zmniejsza prędkość o połowę, respektuje Retry-After
robots.txtRespektowany
CAPTCHANigdy nie rozwiązywana
Darmowy plan1000 adresów URL na crawl
  • Sprawdzenie URL startowego wybiera wersję witryny (http lub https, z www lub bez), która odpowiada 200, i mówi, co robią pozostałe.
  • Tryby i zakres: Spider lub Lista, Cała witryna, Wybrane foldery lub Próbka na grupę stron, a do tego mapy stron XML, adresy startowe (seed) oraz reguły uwzględniania i wykluczania.
  • Twoja własna witryna: gdy potwierdzisz, że jest twoja, Neova może crawlować szybciej i ignorować robots.txt. Nagłówek listy dozwolonych tworzy tajny nagłówek wysyłany tylko do tej witryny, z regułą do przekazania działowi IT.
  • Zablokowany crawl wyjaśniony: gdy witryna odmawia crawla, Neova mówi dlaczego (limit żądań, blokada przez firewall, zabroniony dostęp) i co zrobić dalej.
  • Odkrywanie i Podział URL: w trakcie działania każdy znaleziony URL trafia do jednej kategorii, a kształty pułapek crawla są oznaczane, z opcjami Pomiń lub Wyklucz od ręki.
  • Wstrzymaj, Zatrzymaj i Wznów: zatrzymaj, kiedy chcesz, i uruchom testy na tym, co zostało przecrawlowane, albo Wznów później od miejsca, w którym crawl się zatrzymał.

Właściciele witryn mogą przeczytać, jak crawler się przedstawia i jak go zablokować, na stronie NeovaBot.

Co zrobić z crawlem

Crawl to migawka. Jego wartość tkwi w tym, co naprawisz. Posortuj uwagi według liczby indeksowalnych stron, których dotyczą, naprawiaj problemy szablonów raz, a nie strona po stronie, i przecrawluj ponownie, by to potwierdzić. Krótki pierwszy przegląd, który zwykle się opłaca:

Checklista audytu SEO technicznego porządkuje cały przegląd.

Pytania

Jak przecrawlować witrynę, by znaleźć wszystkie adresy URL?

Połącz crawl po linkach z mapami stron XML, a potem dodaj adresy URL z Google Search Console i z logów serwera. Każda strona, którą znajdują tylko te źródła i do której nie prowadzi żaden link wewnętrzny, to strona osierocona warta uwagi.

Jak crawlować witrynę bez blokad?

Crawluj powoli, używaj uczciwego user agenta, respektuj robots.txt i zwalniaj, gdy serwer odpowiada 429 lub 503. Na witrynie klienta za firewallem poproś dział IT o dopuszczenie crawlera, zamiast próbować obejść blokadę.

Czy crawlowanie witryny jest legalne?

Crawlowanie publicznych stron to powszechna praktyka, ale przepisy różnią się w zależności od kraju i regulaminu witryny. Swobodnie crawluj własne witryny i witryny klientów, wszędzie respektuj robots.txt, a w razie wątpliwości przeczytaj regulamin witryny. To nie jest porada prawna.

Ile trwa crawl witryny?

Mniej więcej liczba adresów URL podzielona przez prędkość. Nasz pełny crawl seoprocheck.com 17 października 2026 pobrał 10 222 adresy URL w 61 minut, około 2,8 adresu URL na sekundę. Przy 3 adresach na sekundę 1000 adresów URL zajmuje około 6 minut, a 100 000 około 9 godzin, bez renderowania. Próbka z każdego szablonu jest znacznie szybsza.

Czy mogę przecrawlować witrynę za darmo?

Tak. Plan Free w Neova crawluje do 1000 adresów URL na crawl ze wszystkimi testami, na Macu, Windows i Linuksie. Większe plany znajdziesz w cenniku.

Zabierz to ze sobą

Linki do asystentów otwierają się z gotowym pytaniem o tę stronę.

Crawluj swoją witrynę w NeovaPlan Free uruchamia wszystkie testy na komputerach Mac, Windows i Linux. Bez karty płatniczej.

Czytaj dalej