Jak crawlować witrynę pod SEO krok po kroku
Crawlowanie witryny to pobieranie jej stron tak, jak robi to wyszukiwarka, podążając za linkami od strony do strony. Oto jak porządnie crawlować witrynę: grzecznie, kompletnie i bez blokad.
Co oznacza crawlowanie witryny
Crawler SEO zaczyna od jednego adresu URL, pobiera go, czyta linki w HTML i dodaje je do kolejki. Potem bierze z kolejki następny URL i robi to samo, aż nie pojawi się nic nowego albo trafi na limit. Wyszukiwarki robią to w skali całej sieci. Crawler SEO robi to dla jednej witryny i zapisuje, co odpowiedział każdy URL, żebyś mógł go zaudytować.
Dla każdego adresu URL crawl zwykle zapisuje kod odpowiedzi, nagłówki odpowiedzi, title i meta description, canonical, dyrektywy robots, linki przychodzące i wychodzące oraz to, ile kliknięć dzieli go od strony startowej. Google opisuje, jak działają jego własne crawlery i fetchery, w przeglądzie crawlerów Google.
Zanim zaczniesz crawl: zgoda, robots.txt i zakres
Trzy pytania, na które warto odpowiedzieć przed naciśnięciem startu:
- Czy to twoja witryna albo masz zgodę? Crawlowanie własnej witryny lub witryny klienta to rutyna. W przypadku cudzej witryny zachowuj się grzecznie: respektuj robots.txt i trzymaj niską prędkość.
- Co mówi robots.txt? Otwórz /robots.txt i przeczytaj go. Mówi crawlerom, czego nie mogą pobierać, i zwykle wymienia mapy stron XML. Reguły są zgodne z RFC 9309, a Google wyjaśnia, jak je czyta, we wprowadzeniu do robots.txt. Pełne kompendium robots.txt na SEO ProCheck omawia go linia po linii.
- Ile potrzebujesz? Całą witrynę, jedną sekcję albo próbkę z każdego szablonu. Próbka odpowiada na większość pytań o szablony w kilka minut; pełny crawl jest potrzebny do zepsutych linków i stron osieroconych.
Jak crawlować witrynę krok po kroku
- Znajdź właściwy startowy URL. Odpytaj http i https, z www i bez. Jeden powinien odpowiedzieć 200, a pozostałe przekierowywać do niego. Zacznij od niego.
- Wybierz tryb. Tryb Spider podąża za linkami od startowego URL. Tryb listy crawluje tylko podane adresy URL, co przydaje się do sprawdzenia zestawu starych adresów po migracji.
- Dodaj mapy stron XML. Crawlowanie adresów z map stron po linkowanych stronach pokazuje, które strony witryna wymienia, ale nigdy do nich nie linkuje.
- Ustaw limity. Limit adresów URL, limit głębokości i reguły dla parametrów zapytań nie pozwolą filtrom rozsadzić crawla. Poradnik o nawigacji fasetowej w SEO na SEO ProCheck pokazuje, które adresy filtrów warto crawlować.
- Wyklucz to, czego nie potrzebujesz. Panele administracyjne, adresy koszyka i kasy, wyniki wyszukiwania wewnętrznego. Użyj wzorców uwzględniania i wykluczania i przed startem przetestuj na nich URL.
- Wybierz user agenta. Własna nazwa twojego crawlera to uczciwy wybór domyślny. Crawl jako Googlebot pokazuje, co dostaje Google, ale niektóre serwery traktują fałszywego Googlebota jako atak.
- Uruchom, a potem obserwuj pierwsze minuty. Jeśli liczba nowych adresów URL rośnie znacznie szybciej, niż wynosi rozmiar witryny, sprawdź, skąd się biorą. Zwykłą przyczyną są kalendarze i niekończące się filtry.
- Pozwól działać testom. Po zakończeniu crawla zacznij od problemów, które dotyczą najwięcej indeksowalnych stron.

Jak crawlować witrynę, by znaleźć wszystkie adresy URL
Podążanie za linkami znajduje tylko strony, do których prowadzą linki. Aby przecrawlować witrynę w poszukiwaniu wszystkich adresów URL, połącz kilka źródeł:
| Źródło | Linkowane strony | Strony bez linków | Skąd pochodzi |
|---|---|---|---|
| Crawl po linkach | ✓ | – | Startowy URL |
| Mapy stron XML | ◐ | ✓ | robots.txt lub /sitemap.xml |
| Seed URLs | ◐ | ✓ | Twoja własna lista |
| Logi serwera | ◐ | ✓ | Serwer lub CDN |
| Search Console | ◐ | ✓ | Twoja usługa w Google |
Na własnej witrynie przekonaliśmy się, jak bardzo to ważne. W pełnym crawlu seoprocheck.com wykonanym przez Neova 17 października 2026:
| Miara | seoprocheck.com |
|---|---|
| Pobrane adresy URL | 10 222 |
| Czas | 61 minut |
| Strony HTML z kodem 200 | 4 561 |
| Adresy URL w mapach stron XML | 1 835 |
| Osiągalne przez linki, poza mapą strony | 2 727 |
| W mapie strony, bez żadnego linku | 1 |
| Kompletność | 99.98% |
| Treść stron | 1,66 GB bez kompresji, 340 MB na dysku |
Audyt oparty tylko na mapie strony pominąłby 2727 adresów URL, a crawl tylko po linkach pominąłby jedną stronę osieroconą. Strony, które pochodzą tylko z map stron, logów lub Search Console, są osierocone. Indeksowalne strony osierocone z ruchem z wyszukiwarki zwykle potrzebują linków wewnętrznych. Testy, które warto tu znać: Osierocony URL zwraca 200 i jest indeksowalny, Indeksowalnego URL nie ma w żadnej mapie strony XML oraz Mapy strony XML nie da się pobrać ani sparsować.
Jak crawlować witrynę bez blokad
Większość blokad wynika ze zbyt szybkiego crawlowania albo z wyglądania jak bot, któremu serwer nie ufa. Crawluj tak, jak chciałby właściciel witryny:
- Trzymaj niską prędkość. 2 lub 3 adresy URL na sekundę wystarczą do większości audytów. Szybciej tylko na własnej witrynie.
- Przedstaw się. Jasny user agent z linkiem do strony o crawlerze łatwiej dopuścić niż podrobiony ciąg przeglądarki.
- Respektuj robots.txt. To wyrażona wola witryny, a ignorowanie go na cudzej witrynie to najszybszy sposób na blokadę.
- Poproś o dostęp. Na witrynie klienta za firewallem lub ochroną przed botami poproś dział IT o dopuszczenie twojego crawlera, na przykład przez tajny nagłówek, który wysyła tylko twój crawler.
Potem czytaj odpowiedzi. Każdy kod odpowiedzi mówi coś innego:
| Answer | Znaczy | Rób |
|---|---|---|
| 429 | Zbyt wiele żądań | Zmniejsz prędkość o połowę, respektuj Retry-After |
| 503 | Serwer zajęty lub niedostępny | Zwolnij, spróbuj później |
| 403 | Odmowa | Zatrzymaj się i zapytaj |
| 401 | Wymagane logowanie | Poproś o dostęp |
| Seria 5xx | Serwer ma kłopoty | Wstrzymaj crawl |
Strona Google o kodach stanu HTTP i błędach sieci wyjaśnia, jak sam Googlebot traktuje odpowiedzi 429 i 5xx.
Crawlowanie witryn w JavaScripcie
Jeśli witryna jest zbudowana w React, Vue, Angular lub podobnym frameworku, HTML wysyłany przez serwer może być prawie pusty, a treść dodają skrypty. Zwykły crawl znajdzie wtedy mało linków i mało tekstu. Włącz renderowanie JavaScript, które wczytuje każdą stronę w przeglądarce headless, i porównaj wyrenderowaną stronę z surowym HTML. Liczy się to, czego brakuje przed renderowaniem: główny tekst, linki, tytuły i canonicale, które pojawiają się dopiero po uruchomieniu skryptów. Renderowanie jest wolniejsze, więc najpierw wyrenderuj próbkę z każdego szablonu.
Przecrawluj swoją witrynę w Neova
Aby przecrawlować własną witrynę w Neova, pobierz aplikację, wybierz Crawl, Nowy crawl, wpisz adres i kliknij Uruchom crawl. Strona Twój pierwszy crawl pokazuje każdy ekran.
| Ustawienie | Domyślnie |
|---|---|
| Działa na | |
| User agent | NeovaBot |
| Prędkość | 3 adresy URL na sekundę |
| Przy 429 lub 503 | Zmniejsza prędkość o połowę, respektuje Retry-After |
| robots.txt | Respektowany |
| CAPTCHA | Nigdy nie rozwiązywana |
| Darmowy plan | 1000 adresów URL na crawl |
- Sprawdzenie URL startowego wybiera wersję witryny (http lub https, z www lub bez), która odpowiada 200, i mówi, co robią pozostałe.
- Tryby i zakres: Spider lub Lista, Cała witryna, Wybrane foldery lub Próbka na grupę stron, a do tego mapy stron XML, adresy startowe (seed) oraz reguły uwzględniania i wykluczania.
- Twoja własna witryna: gdy potwierdzisz, że jest twoja, Neova może crawlować szybciej i ignorować robots.txt. Nagłówek listy dozwolonych tworzy tajny nagłówek wysyłany tylko do tej witryny, z regułą do przekazania działowi IT.
- Zablokowany crawl wyjaśniony: gdy witryna odmawia crawla, Neova mówi dlaczego (limit żądań, blokada przez firewall, zabroniony dostęp) i co zrobić dalej.
- Odkrywanie i Podział URL: w trakcie działania każdy znaleziony URL trafia do jednej kategorii, a kształty pułapek crawla są oznaczane, z opcjami Pomiń lub Wyklucz od ręki.
- Wstrzymaj, Zatrzymaj i Wznów: zatrzymaj, kiedy chcesz, i uruchom testy na tym, co zostało przecrawlowane, albo Wznów później od miejsca, w którym crawl się zatrzymał.
Właściciele witryn mogą przeczytać, jak crawler się przedstawia i jak go zablokować, na stronie NeovaBot.
Co zrobić z crawlem
Crawl to migawka. Jego wartość tkwi w tym, co naprawisz. Posortuj uwagi według liczby indeksowalnych stron, których dotyczą, naprawiaj problemy szablonów raz, a nie strona po stronie, i przecrawluj ponownie, by to potwierdzić. Krótki pierwszy przegląd, który zwykle się opłaca:
- Linki wewnętrzne do adresów 4xx i 5xx. Zobacz Wewnętrzny URL zwraca 4xx, 5xx lub brak odpowiedzi.
- Łańcuchy przekierowań między wewnętrznymi adresami URL. Zobacz Wewnętrzny URL jest w łańcuchu przekierowań.
- Indeksowalne strony zablokowane w robots.txt. Zobacz Wewnętrzny URL jest zablokowany w robots.txt.
- robots.txt, którego nie da się pobrać. Zobacz robots.txt jest nieosiągalny lub za duży.
- Strony, których brakuje w mapach stron XML, oraz mapy stron wymieniające strony, które przekierowują lub mają noindex.
- Ważne strony oddalone o więcej niż 3 kliknięcia od strony głównej.
Checklista audytu SEO technicznego porządkuje cały przegląd.
Pytania
Jak przecrawlować witrynę, by znaleźć wszystkie adresy URL?
Połącz crawl po linkach z mapami stron XML, a potem dodaj adresy URL z Google Search Console i z logów serwera. Każda strona, którą znajdują tylko te źródła i do której nie prowadzi żaden link wewnętrzny, to strona osierocona warta uwagi.
Jak crawlować witrynę bez blokad?
Crawluj powoli, używaj uczciwego user agenta, respektuj robots.txt i zwalniaj, gdy serwer odpowiada 429 lub 503. Na witrynie klienta za firewallem poproś dział IT o dopuszczenie crawlera, zamiast próbować obejść blokadę.
Czy crawlowanie witryny jest legalne?
Crawlowanie publicznych stron to powszechna praktyka, ale przepisy różnią się w zależności od kraju i regulaminu witryny. Swobodnie crawluj własne witryny i witryny klientów, wszędzie respektuj robots.txt, a w razie wątpliwości przeczytaj regulamin witryny. To nie jest porada prawna.
Ile trwa crawl witryny?
Mniej więcej liczba adresów URL podzielona przez prędkość. Nasz pełny crawl seoprocheck.com 17 października 2026 pobrał 10 222 adresy URL w 61 minut, około 2,8 adresu URL na sekundę. Przy 3 adresach na sekundę 1000 adresów URL zajmuje około 6 minut, a 100 000 około 9 godzin, bez renderowania. Próbka z każdego szablonu jest znacznie szybsza.
Czy mogę przecrawlować witrynę za darmo?
Tak. Plan Free w Neova crawluje do 1000 adresów URL na crawl ze wszystkimi testami, na Macu, Windows i Linuksie. Większe plany znajdziesz w cenniku.