NeovaZaawansowana platforma SEO

Crawler SEO techniczny: co robi i jak go wybrać

Crawler SEO techniczny czyta witrynę tak jak wyszukiwarka i mówi, co stoi na przeszkodzie. Oto co powinien sprawdzać, liczby stojące za każdym testem, co pokazał pełny crawl naszej własnej witryny i jak wybrać narzędzie.

Wybór crawleracrawler seo technicznyAktualizacja: 21 listopada 2026Autor: zespół Neova

Co robi crawler SEO techniczny

Crawler SEO techniczny zaczyna od jednego URL, pobiera go, czyta linki i podąża za nimi, w tej samej pętli co Googlebot. Dla każdego URL zapisuje kod odpowiedzi, nagłówki, HTML, canonical, dyrektywy robots oraz linki przychodzące i wychodzące.

Crawl to połowa pracy. Druga połowa to porównywanie stron między sobą i z regułami publikowanymi przez wyszukiwarki. Jeden niedziałający link łatwo zobaczyć. Canonical wskazujący przekierowanie na 3000 stron produktów już nie, i właśnie tu crawler pokazuje swoją wartość.

Większość crawlerów czyta też mapy stron XML i robots.txt, więc pokazują, które strony witryna uznaje za ważne, które blokuje i gdzie te dwie wersje się rozjeżdżają.

Co powinno sprawdzać narzędzie do audytu SEO technicznego

Każdy poważny crawler do audytu witryn obejmuje te same podstawowe obszary. Oto one, z celem, do którego warto dążyć, i testem Neova, który oznacza odstępstwo.

ObszarCelTest w Neova
Kody odpowiedzi0 linków wewnętrznych do 4xx lub 5xxWewnętrzny URL zwraca 4xx, 5xx lub brak odpowiedzi
Przekierowania1 przeskok, bez łańcuchówWewnętrzny URL jest w łańcuchu przekierowań
CanonicaleWskazuje URL odpowiadający 200Canonical wskazuje przekierowujący URL
Rozmiar mapy strony XML50 000 URL, 50 MB na plikMapa strony XML ma ponad 50 000 wpisów
Pokrycie mapy strony XMLKażda indeksowalna strona na liścieIndeksowalnego URL nie ma w żadnej mapie strony XML
robots.txt500 KiB czytane przez GooglePlik robots.txt jest nieosiągalny lub za duży
Głębokość crawla3 kliknięcia lub mniejIndeksowalny URL jest na głębokości crawla 4 lub większej
Tytuły60 znaków (częsta wartość domyślna)Tytuł ma ponad 60 znaków
Meta description155 znaków (częsta wartość domyślna)Meta description dłuższa niż 155 znaków
hreflangLink zwrotny na każdym celuBrak zwrotnego linku hreflang

Twarde limity pochodzą ze źródeł: 50 000 URL i 50 MB na plik z protokołu sitemaps.org, 500 KiB ze specyfikacji robots.txt od Google, linki zwrotne z poradnika Google o hreflang. Długości tytułu i opisu to domyślne wartości wyświetlania, a nie reguły: Google przycina według szerokości w pikselach, więc traktuj je jako Do sprawdzenia, a nie Do naprawy.

Dłuższe omówienie każdego obszaru znajdziesz w checkliście audytu technicznego SEO na SEO ProCheck.

Co znalazł pełny crawl naszej własnej witryny

Przecrawlowaliśmy naszą własną witrynę seoprocheck.com w Neova 17 października 2026, pełnym crawlem z mapami stron XML. Oto liczby.

Miaraseoprocheck.com, 17 października 2026
Pobrane adresy URL10 222
Czas61 minut
Strony HTML z kodem 2004 561
Adresy URL w mapach stron XML1 835
Osiągalne przez linki, poza mapą strony2 727
W mapie strony, bez żadnego linku1
Kompletność99.98%
Treść stron1,66 GB bez kompresji, 340 MB na dysku
UwagaAdresy URL
Meta description dłuższa niż 155 znaków582
Tytuł ma ponad 60 znaków557
Zduplikowany tag title na stronach HTML56
Canonical do innego wewnętrznego URL5
Obraz nie ma tekstu alternatywnego2

Dwie lekcje. Po pierwsze, mapy stron mówiły tylko połowę prawdy: 2727 URL było osiągalnych przez linki, ale nigdzie niewymienionych, a pokazać to może tylko crawl, który podąża za linkami i czyta mapy stron. Po drugie, największe liczby dotyczyły uwag o długości, czyli kwestii do oceny. 5 canonicali i 2 brakujące teksty alt to mniej, ale szybciej do rozstrzygnięcia. Sortuj według tego, na co wpływa uwaga, a nie według wielkości liczby.

Jak przeprowadzić techniczny crawl SEO

  1. Wybierz URL startowy. Użyj wersji strony głównej, która odpowiada 200. Jeśli http lub drugi host też odpowiada 200, to twoje pierwsze ustalenie.
  2. Ustal zakres. Cała witryna, kilka folderów albo próbka z każdego szablonu. Na dużej witrynie próbka z każdego szablonu szybciej znajduje wzorzec.
  3. Włącz mapy stron XML. Crawlowanie ich po linkach pokazuje strony, które wymieniają mapy stron, ale do których nie prowadzi żaden link.
  4. Zdecyduj o renderowaniu JavaScriptu. Na witrynie opartej na frameworku wyrenderuj próbkę i porównaj ją z surowym HTML.
  5. Ustaw rozsądną szybkość. Kilka URL na sekundę w zupełności wystarczy. Szybciej crawluj tylko witrynę, która należy do ciebie.
  6. Obserwuj pierwsze minuty. Jeśli liczba URL rośnie dużo szybciej, niż się spodziewasz, znalazłeś pułapkę crawlera: kalendarz, filtr fasetowy lub identyfikator sesji. Wyklucz ją i crawluj dalej.
  7. Najpierw przeczytaj podsumowanie. Zacznij od problemów, które dotyczą największej liczby indeksowalnych stron.

Dopiero zaczynasz? Twój pierwszy crawl przeprowadzi cię przez to w Neova.

Jak czytać wyniki i nie utonąć

Pełny audyt średniej witryny może dać tysiące uwag. Większość ma kilka przyczyn, zwykle szablon.

  • Grupuj według szablonu. Jeśli 90% stron produktów ma tę samą uwagę, to jedna poprawka, a nie 4000 ticketów.
  • Uwzględnij ruch. Uszkodzona strona, która ma kliknięcia z wyszukiwarki, jest ważniejsza niż taka, której nikt nie odwiedza. Połącz dane z Google Search Console z crawlem.
  • Oddziel Do naprawy od Do sprawdzenia. 5xx na kluczowej stronie to coś do naprawy. Tytuł o kilka znaków za długi to kwestia oceny.
  • Sprawdzaj źródło. Gdy deweloper pyta, po co istnieje reguła, odpowiedz dokumentem Google lub W3C. Przewodnik po kodach odpowiedzi HTTP na SEO ProCheck wyjaśnia, co oznacza każdy kod.
  • Crawluj ponownie po poprawce. Porównanie dwóch crawli to jedyny dowód, że poprawka trafiła na produkcję i nic innego nie zepsuła.
Wszystkie uwagi w Neova: 12 testów Do naprawy i 30 Do sprawdzenia w crawlu demo, każdy z polami Oznaczane, gdy, Co to zwykle oznacza i Co możesz zrobić
Wszystkie uwagi w Neova: 12 testów Do naprawy i 30 Do sprawdzenia w crawlu demo, każdy z polami Oznaczane, gdy, Co to zwykle oznacza i Co możesz zrobić

Jak wybrać najlepszy crawler SEO dla siebie

Nie ma jednego najlepszego crawlera SEO. Freelancer audytujący małe witryny potrzebuje czegoś innego niż zespół in-house z milionem URL. Te pytania pomogą to uporządkować.

PytanieSzukajNeova
Gdzie działa?Twoje komputery lub przeglądarka
Jak duży może być crawl?Limit URL, zapis na dyskuDo 5 milionów URL
Czy renderuje JavaScript?Surowy i wyrenderowany obok siebie✓
Czy testy są wyjaśnione?Reguła, znaczenie, poprawka, źródło694 testów
Czy porównuje crawle?Nowe, naprawione, zmienione URL✓
Co potem?Eksporty, tickety, alerty✓
Czy można wypróbować za darmo?Plan lub okres próbny1000 adresów URL, każdy test

5 milionów dotyczy planu Desktop i zależy od twojego komputera. Nasza strona porównania zestawia Neova ze Screaming Frog, Sitebulb i innymi, wiersz po wierszu, na podstawie ich własnej dokumentacji.

Jak Neova crawluje pod kątem technicznego SEO

Neova to desktopowy crawler SEO na Maca (Apple silicon), Windows i Linux, z Neova Online w przeglądarce na tym samym koncie. Crawluje od URL startowego, jego linków i map stron XML, a potem uruchamia 694 testów. Każdy test mówi, kiedy zgłasza uwagę, co ona zwykle oznacza i co możesz zrobić, oraz linkuje do źródła.

  • Zakres: pełny crawl, foldery, próbka z każdej grupy stron lub lista URL.
  • Domyślnie oszczędny dla serwera: 3 URL na sekundę, sam zwalnia, gdy serwer odpowiada 429 lub 503.
  • Każdy URL policzony: każdy znaleziony URL trafia do jednej grupy, a Odkrywanie proponuje wykluczenie pułapki crawlera bez zatrzymywania.
  • Renderowanie: opcjonalne renderowanie JavaScriptu w Chrome, porównane z surowym HTML.
  • Po crawlu: uwagi Do naprawy i Do sprawdzenia, tickety dla każdego testu i grupy stron, Plan działań, Porównaj crawle i eksporty od CSV po PDF z własną marką.

Strona funkcji zawiera pełną listę, a Porównanie zestawia ją z innymi crawlerami.

Krótka checklista technicznego crawla SEO

  • Jedna wersja strony głównej odpowiada 200; pozostałe na nią przekierowują.
  • Brak linków wewnętrznych do URL z 4xx lub 5xx.
  • Brak łańcuchów i pętli przekierowań między wewnętrznymi URL.
  • Canonicale wskazują indeksowalne URL, które odpowiadają 200.
  • Każda indeksowalna strona jest w mapie strony XML i nie ma w niej niczego innego.
  • Żadna kluczowa strona nie jest głębiej niż 3 kliknięcia od strony głównej.
  • Żadna strona nie odpowiada 200 z komunikatem „nie znaleziono”. Zobacz Tytuł lub H1 zawiera frazę soft 404.
  • Tytuły, linki i tekst główny są w surowym HTML.
  • robots.txt blokuje tylko to, co ma blokować.

Podczas pracy miej otwarty poradnik Google o kanonicznych URL, a do pytań klientów FAQ o audycie SEO na SEO ProCheck.

Pytania

Czym jest crawler SEO techniczny?

To program, który pobiera witrynę strona po stronie, podążając za linkami tak jak wyszukiwarka, i zapisuje kody odpowiedzi, dyrektywy, canonicale i linki. Następnie porównuje te dane z regułami wyszukiwarek i oznacza to, co utrudnia crawlowanie i indeksowanie.

Jaki jest najlepszy crawler SEO?

Taki, który pasuje do twoich witryn. Porównaj, gdzie działa, jak duży może być crawl, czy renderuje JavaScript, jak jasno wyjaśnia każde ustalenie i czy porównuje crawle. Wypróbuj go na własnej witrynie, zanim zdecydujesz.

Czy crawler do audytu witryn to to samo co Google Search Console?

Nie. Search Console pokazuje, co Google zobaczyło i zrobiło. Crawler pokazuje, co twoja witryna serwuje teraz, na każdym URL, do którego może dotrzeć. Najlepiej działają razem, dlatego wiele crawlerów łączy dane z Search Console z crawlem.

Ile trwa techniczny crawl SEO?

To zależy od wielkości witryny i ustawionej szybkości. Nasz własny pełny crawl seoprocheck.com pobrał 10 222 URL w 61 minut 17 października 2026. Próbka z każdego szablonu zajmuje kilka minut.

Jak często przeprowadzać techniczny crawl SEO?

Po każdym istotnym wydaniu i co tydzień w przypadku witryn, które często się zmieniają. Porównuj każdy crawl z poprzednim, żeby zmiany od razu rzucały się w oczy.

Czy mogę wypróbować Neova za darmo?

Tak. Plan Free crawluje do 1000 URL na crawl z każdym testem, a plan Desktop ma 14-dniowy okres próbny bez karty. Zobacz cennik lub pobierz Neova.

Zabierz to ze sobą

Linki do asystentów otwierają się z gotowym pytaniem o tę stronę.

Crawluj swoją witrynę w NeovaPlan Free uruchamia wszystkie testy na komputerach Mac, Windows i Linux. Bez karty płatniczej.

Czytaj dalej