Crawler SEO techniczny: co robi i jak go wybrać
Crawler SEO techniczny czyta witrynę tak jak wyszukiwarka i mówi, co stoi na przeszkodzie. Oto co powinien sprawdzać, liczby stojące za każdym testem, co pokazał pełny crawl naszej własnej witryny i jak wybrać narzędzie.
Co robi crawler SEO techniczny
Crawler SEO techniczny zaczyna od jednego URL, pobiera go, czyta linki i podąża za nimi, w tej samej pętli co Googlebot. Dla każdego URL zapisuje kod odpowiedzi, nagłówki, HTML, canonical, dyrektywy robots oraz linki przychodzące i wychodzące.
Crawl to połowa pracy. Druga połowa to porównywanie stron między sobą i z regułami publikowanymi przez wyszukiwarki. Jeden niedziałający link łatwo zobaczyć. Canonical wskazujący przekierowanie na 3000 stron produktów już nie, i właśnie tu crawler pokazuje swoją wartość.
Większość crawlerów czyta też mapy stron XML i robots.txt, więc pokazują, które strony witryna uznaje za ważne, które blokuje i gdzie te dwie wersje się rozjeżdżają.
Co powinno sprawdzać narzędzie do audytu SEO technicznego
Każdy poważny crawler do audytu witryn obejmuje te same podstawowe obszary. Oto one, z celem, do którego warto dążyć, i testem Neova, który oznacza odstępstwo.
| Obszar | Cel | Test w Neova |
|---|---|---|
| Kody odpowiedzi | 0 linków wewnętrznych do 4xx lub 5xx | Wewnętrzny URL zwraca 4xx, 5xx lub brak odpowiedzi |
| Przekierowania | 1 przeskok, bez łańcuchów | Wewnętrzny URL jest w łańcuchu przekierowań |
| Canonicale | Wskazuje URL odpowiadający 200 | Canonical wskazuje przekierowujący URL |
| Rozmiar mapy strony XML | 50 000 URL, 50 MB na plik | Mapa strony XML ma ponad 50 000 wpisów |
| Pokrycie mapy strony XML | Każda indeksowalna strona na liście | Indeksowalnego URL nie ma w żadnej mapie strony XML |
| robots.txt | 500 KiB czytane przez Google | Plik robots.txt jest nieosiągalny lub za duży |
| Głębokość crawla | 3 kliknięcia lub mniej | Indeksowalny URL jest na głębokości crawla 4 lub większej |
| Tytuły | 60 znaków (częsta wartość domyślna) | Tytuł ma ponad 60 znaków |
| Meta description | 155 znaków (częsta wartość domyślna) | Meta description dłuższa niż 155 znaków |
| hreflang | Link zwrotny na każdym celu | Brak zwrotnego linku hreflang |
Twarde limity pochodzą ze źródeł: 50 000 URL i 50 MB na plik z protokołu sitemaps.org, 500 KiB ze specyfikacji robots.txt od Google, linki zwrotne z poradnika Google o hreflang. Długości tytułu i opisu to domyślne wartości wyświetlania, a nie reguły: Google przycina według szerokości w pikselach, więc traktuj je jako Do sprawdzenia, a nie Do naprawy.
Dłuższe omówienie każdego obszaru znajdziesz w checkliście audytu technicznego SEO na SEO ProCheck.
Co znalazł pełny crawl naszej własnej witryny
Przecrawlowaliśmy naszą własną witrynę seoprocheck.com w Neova 17 października 2026, pełnym crawlem z mapami stron XML. Oto liczby.
| Miara | seoprocheck.com, 17 października 2026 |
|---|---|
| Pobrane adresy URL | 10 222 |
| Czas | 61 minut |
| Strony HTML z kodem 200 | 4 561 |
| Adresy URL w mapach stron XML | 1 835 |
| Osiągalne przez linki, poza mapą strony | 2 727 |
| W mapie strony, bez żadnego linku | 1 |
| Kompletność | 99.98% |
| Treść stron | 1,66 GB bez kompresji, 340 MB na dysku |
| Uwaga | Adresy URL |
|---|---|
| Meta description dłuższa niż 155 znaków | 582 |
| Tytuł ma ponad 60 znaków | 557 |
| Zduplikowany tag title na stronach HTML | 56 |
| Canonical do innego wewnętrznego URL | 5 |
| Obraz nie ma tekstu alternatywnego | 2 |
Dwie lekcje. Po pierwsze, mapy stron mówiły tylko połowę prawdy: 2727 URL było osiągalnych przez linki, ale nigdzie niewymienionych, a pokazać to może tylko crawl, który podąża za linkami i czyta mapy stron. Po drugie, największe liczby dotyczyły uwag o długości, czyli kwestii do oceny. 5 canonicali i 2 brakujące teksty alt to mniej, ale szybciej do rozstrzygnięcia. Sortuj według tego, na co wpływa uwaga, a nie według wielkości liczby.
Jak przeprowadzić techniczny crawl SEO
- Wybierz URL startowy. Użyj wersji strony głównej, która odpowiada 200. Jeśli http lub drugi host też odpowiada 200, to twoje pierwsze ustalenie.
- Ustal zakres. Cała witryna, kilka folderów albo próbka z każdego szablonu. Na dużej witrynie próbka z każdego szablonu szybciej znajduje wzorzec.
- Włącz mapy stron XML. Crawlowanie ich po linkach pokazuje strony, które wymieniają mapy stron, ale do których nie prowadzi żaden link.
- Zdecyduj o renderowaniu JavaScriptu. Na witrynie opartej na frameworku wyrenderuj próbkę i porównaj ją z surowym HTML.
- Ustaw rozsądną szybkość. Kilka URL na sekundę w zupełności wystarczy. Szybciej crawluj tylko witrynę, która należy do ciebie.
- Obserwuj pierwsze minuty. Jeśli liczba URL rośnie dużo szybciej, niż się spodziewasz, znalazłeś pułapkę crawlera: kalendarz, filtr fasetowy lub identyfikator sesji. Wyklucz ją i crawluj dalej.
- Najpierw przeczytaj podsumowanie. Zacznij od problemów, które dotyczą największej liczby indeksowalnych stron.
Dopiero zaczynasz? Twój pierwszy crawl przeprowadzi cię przez to w Neova.
Jak czytać wyniki i nie utonąć
Pełny audyt średniej witryny może dać tysiące uwag. Większość ma kilka przyczyn, zwykle szablon.
- Grupuj według szablonu. Jeśli 90% stron produktów ma tę samą uwagę, to jedna poprawka, a nie 4000 ticketów.
- Uwzględnij ruch. Uszkodzona strona, która ma kliknięcia z wyszukiwarki, jest ważniejsza niż taka, której nikt nie odwiedza. Połącz dane z Google Search Console z crawlem.
- Oddziel Do naprawy od Do sprawdzenia. 5xx na kluczowej stronie to coś do naprawy. Tytuł o kilka znaków za długi to kwestia oceny.
- Sprawdzaj źródło. Gdy deweloper pyta, po co istnieje reguła, odpowiedz dokumentem Google lub W3C. Przewodnik po kodach odpowiedzi HTTP na SEO ProCheck wyjaśnia, co oznacza każdy kod.
- Crawluj ponownie po poprawce. Porównanie dwóch crawli to jedyny dowód, że poprawka trafiła na produkcję i nic innego nie zepsuła.

Jak wybrać najlepszy crawler SEO dla siebie
Nie ma jednego najlepszego crawlera SEO. Freelancer audytujący małe witryny potrzebuje czegoś innego niż zespół in-house z milionem URL. Te pytania pomogą to uporządkować.
| Pytanie | Szukaj | Neova |
|---|---|---|
| Gdzie działa? | Twoje komputery lub przeglądarka | |
| Jak duży może być crawl? | Limit URL, zapis na dysku | Do 5 milionów URL |
| Czy renderuje JavaScript? | Surowy i wyrenderowany obok siebie | ✓ |
| Czy testy są wyjaśnione? | Reguła, znaczenie, poprawka, źródło | 694 testów |
| Czy porównuje crawle? | Nowe, naprawione, zmienione URL | ✓ |
| Co potem? | Eksporty, tickety, alerty | ✓ |
| Czy można wypróbować za darmo? | Plan lub okres próbny | 1000 adresów URL, każdy test |
5 milionów dotyczy planu Desktop i zależy od twojego komputera. Nasza strona porównania zestawia Neova ze Screaming Frog, Sitebulb i innymi, wiersz po wierszu, na podstawie ich własnej dokumentacji.
Jak Neova crawluje pod kątem technicznego SEO
Neova to desktopowy crawler SEO na Maca (Apple silicon), Windows i Linux, z Neova Online w przeglądarce na tym samym koncie. Crawluje od URL startowego, jego linków i map stron XML, a potem uruchamia 694 testów. Każdy test mówi, kiedy zgłasza uwagę, co ona zwykle oznacza i co możesz zrobić, oraz linkuje do źródła.
- Zakres: pełny crawl, foldery, próbka z każdej grupy stron lub lista URL.
- Domyślnie oszczędny dla serwera: 3 URL na sekundę, sam zwalnia, gdy serwer odpowiada 429 lub 503.
- Każdy URL policzony: każdy znaleziony URL trafia do jednej grupy, a Odkrywanie proponuje wykluczenie pułapki crawlera bez zatrzymywania.
- Renderowanie: opcjonalne renderowanie JavaScriptu w Chrome, porównane z surowym HTML.
- Po crawlu: uwagi Do naprawy i Do sprawdzenia, tickety dla każdego testu i grupy stron, Plan działań, Porównaj crawle i eksporty od CSV po PDF z własną marką.
Strona funkcji zawiera pełną listę, a Porównanie zestawia ją z innymi crawlerami.
Krótka checklista technicznego crawla SEO
- Jedna wersja strony głównej odpowiada 200; pozostałe na nią przekierowują.
- Brak linków wewnętrznych do URL z 4xx lub 5xx.
- Brak łańcuchów i pętli przekierowań między wewnętrznymi URL.
- Canonicale wskazują indeksowalne URL, które odpowiadają 200.
- Każda indeksowalna strona jest w mapie strony XML i nie ma w niej niczego innego.
- Żadna kluczowa strona nie jest głębiej niż 3 kliknięcia od strony głównej.
- Żadna strona nie odpowiada 200 z komunikatem „nie znaleziono”. Zobacz Tytuł lub H1 zawiera frazę soft 404.
- Tytuły, linki i tekst główny są w surowym HTML.
- robots.txt blokuje tylko to, co ma blokować.
Podczas pracy miej otwarty poradnik Google o kanonicznych URL, a do pytań klientów FAQ o audycie SEO na SEO ProCheck.
Pytania
Czym jest crawler SEO techniczny?
To program, który pobiera witrynę strona po stronie, podążając za linkami tak jak wyszukiwarka, i zapisuje kody odpowiedzi, dyrektywy, canonicale i linki. Następnie porównuje te dane z regułami wyszukiwarek i oznacza to, co utrudnia crawlowanie i indeksowanie.
Jaki jest najlepszy crawler SEO?
Taki, który pasuje do twoich witryn. Porównaj, gdzie działa, jak duży może być crawl, czy renderuje JavaScript, jak jasno wyjaśnia każde ustalenie i czy porównuje crawle. Wypróbuj go na własnej witrynie, zanim zdecydujesz.
Czy crawler do audytu witryn to to samo co Google Search Console?
Nie. Search Console pokazuje, co Google zobaczyło i zrobiło. Crawler pokazuje, co twoja witryna serwuje teraz, na każdym URL, do którego może dotrzeć. Najlepiej działają razem, dlatego wiele crawlerów łączy dane z Search Console z crawlem.
Ile trwa techniczny crawl SEO?
To zależy od wielkości witryny i ustawionej szybkości. Nasz własny pełny crawl seoprocheck.com pobrał 10 222 URL w 61 minut 17 października 2026. Próbka z każdego szablonu zajmuje kilka minut.
Jak często przeprowadzać techniczny crawl SEO?
Po każdym istotnym wydaniu i co tydzień w przypadku witryn, które często się zmieniają. Porównuj każdy crawl z poprzednim, żeby zmiany od razu rzucały się w oczy.
Czy mogę wypróbować Neova za darmo?
Tak. Plan Free crawluje do 1000 URL na crawl z każdym testem, a plan Desktop ma 14-dniowy okres próbny bez karty. Zobacz cennik lub pobierz Neova.