Crawl budget: czym jest, jak go sprawdzić i jak przestać go marnować
Crawl budget to liczba adresów URL, które Googlebot może i chce pobrać z twojej witryny. Większość witryn nigdy nie musi się nim przejmować. Duże lub szybko zmieniające się witryny muszą, a poprawka jest zwykle ta sama: nie pozwól Googlebotowi tracić czasu na adresy URL, które nie mają znaczenia.
Czym jest crawl budget?
Google definiuje crawl budget jako zbiór adresów URL, które Googlebot może i chce crawlować w witrynie. W swoim poradniku o zarządzaniu crawl budgetem dzieli go na dwie części:
- Limit wydajności crawlowania. Ile Googlebot może pobrać bez przeciążania serwera. Jeśli witryna odpowiada szybko, limit rośnie. Jeśli zwalnia lub zwraca błędy serwera, Googlebot się wycofuje.
- Zapotrzebowanie na crawlowanie. Ile Google chce crawlować. Popularne adresy URL i te, które się zmieniają, są crawlowane częściej. Nieaktualne lub mało wartościowe rzadziej.
Razem crawl budget w SEO to punkt spotkania tego, co twój serwer udźwignie, i tego, co Google uważa za warte pobrania. Nie da się go dokupić. Można lepiej wykorzystać to, co dostajesz.
Czy crawl budget ma znaczenie dla twojej witryny?
Google pisze, że crawl budget dotyczy głównie trzech rodzajów witryn. Z jego poradnika o crawl budgecie:
| Witryna | Unikalne strony | Zmiany treści | Problem |
|---|---|---|---|
| Duża | 1 000 000+ | Co tydzień | ✓ |
| Średnia lub większa | 10 000+ | Codziennie | ✓ |
| Wiele stron Wykryte, ale nie zaindeksowane | Dowolna liczba | Dowolna liczba | ✓ |
| Większość pozostałych witryn | Kilka tysięcy | Dowolna liczba | – |
Jeśli nowe strony są crawlowane w ciągu dnia lub dwóch, crawl budget nie jest twoim problemem. Przyjrzyj się raczej jakości treści, linkom wewnętrznym i indeksowalności. Poradnik o statusie Wykryto, obecnie nie zindeksowano na SEO ProCheck omawia ten status i jego przyczyny.
Nawyki, które oszczędzają crawl budget, takie jak czyste adresy URL, mało przekierowań i brak pułapek crawla, pomagają każdej witrynie. Sprawiają też, że twoje własne crawle są szybsze, a audyty czytelniejsze.
Jak sprawdzić crawl budget
Nie ma jednej liczby crawl budgetu. Odczytujesz go z trzech miejsc.
1. Raport Statystyki indeksowania w Search Console
Otwórz Ustawienia, a potem Statystyki indeksowania. Dostajesz łączną liczbę żądań, łączny rozmiar pobranych danych i średni czas odpowiedzi z ostatnich 90 dni, w podziale na kod odpowiedzi, typ pliku, cel (wykrywanie lub odświeżanie) i typ Googlebota. Stan hosta pokazuje, czy były problemy z pobieraniem robots.txt, DNS lub połączeniem z serwerem.
Na co patrzeć: rosnący udział odpowiedzi 3xx i 4xx, rosnący czas odpowiedzi albo większość żądań idąca na odświeżanie, podczas gdy nowe strony czekają.
2. Logi serwera
Statystyki indeksowania to podsumowanie. Logi pokazują każde żądanie, więc widzisz dokładnie, które adresy URL Googlebot pobiera, jak często i których nigdy nie dotyka. Import zamiast połączenia wymienia formaty logów, które czyta Neova, i miejsca, gdzie przechowuje je każdy hosting.
3. Twój własny crawl
Crawler pokazuje adresy URL ujawniane przez twoje linki i mapy stron. Porównaj ich liczbę z liczbą stron, które naprawdę chcesz mieć w indeksie. Zrobiliśmy to na własnej witrynie:
| seoprocheck.com, 17 października 2026 | Adresy URL |
|---|---|
| Pobrane przez pełny crawl | 10 222 |
| Strony HTML z kodem 200 | 4 561 |
| W mapach stron XML | 1 835 |
| Osiągalne przez linki, poza mapą strony | 2 727 |
Mniej niż połowa pobranych adresów URL to strony HTML, które odpowiedziały 200; reszta to pliki, przekierowania i inne odpowiedzi, na które bot też wydaje żądania. A 2727 linkowanych adresów URL nie ma w żadnej mapie strony, co warto sprawdzić, zanim zrzucisz winę na Google. Jeśli witryna z 20 000 produktów generuje 400 000 adresów URL do crawlowania, znalazłeś swoje marnowanie crawl budgetu.
Skąd się bierze marnowanie crawl budgetu
| Źródło | Jak wygląda | Typowa poprawka |
|---|---|---|
| Nawigacja fasetowa | URL dla każdej kombinacji filtrów | Zablokuj mało wartościowe kombinacje |
| Parametry | Śledzenie, sesja, sortowanie | Usuń z linków wewnętrznych |
| Pułapki dla crawlera | Kalendarze, powtarzające się foldery | Ogranicz, zablokuj lub popraw linki |
| Łańcuchy przekierowań | 2 lub więcej przeskoków | Linkuj do docelowego URL |
| Soft 404 | Nie znaleziono, a odpowiada 200 | Zwróć 404 lub 410 |
| Zduplikowane adresy URL | Wielkość liter, ukośnik, kolejność parametrów | Przekieruj na jedną wersję |
| Brudne mapy stron | Przekierowania, noindex, błędy | Tylko indeksowalne adresy z 200 |
| Wolne odpowiedzi | Rosnący czas odpowiedzi | Przyspiesz serwer |
W większości sklepów największym źródłem jest nawigacja fasetowa; objaśnienie crawl budgetu na SEO ProCheck pokazuje, kiedy liczy się każde źródło.
Optymalizacja crawl budgetu krok po kroku
- Policz, co powinno być w indeksie. Zapisz, ile stron chcesz mieć w Google. Wszystko ponad to jest kandydatem do marnowania.
- Przecrawluj witrynę i posortuj adresy URL. Oddziel czyste adresy stron od wariantów z parametrami, błędnych adresów, pułapek crawla i zasobów.
- Znajdź wzorce. Marnowanie rzadko jest przypadkowe. To jeden filtr, jeden kalendarz, jeden zepsuty link względny powtórzony tysiące razy.
- Zablokuj to, czego nigdy nie trzeba crawlować. Użyj robots.txt dla wzorców URL bez wartości dla wyszukiwarki, takich jak wyniki wyszukiwania wewnętrznego czy sortowania. Przetestuj regułę na przecrawlowanych adresach URL, zanim ją wdrożysz.
- Popraw linki, które tworzą marnowanie. Blokowanie ukrywa adresy URL; poprawienie linków sprawia, że przestają powstawać.
- Wyczyść mapy stron XML. Tylko indeksowalne adresy URL odpowiadające 200, z datami lastmod, które zmieniają się razem ze stroną.
- Zwracaj właściwe kody odpowiedzi. 404 lub 410 dla stron, których już nie ma, a nie 200 z komunikatem o braku strony.
- Skróć łańcuchy przekierowań i zaktualizuj linki wewnętrzne, by wskazywały docelowe adresy URL.
- Obserwuj logi i Statystyki indeksowania przez kilka tygodni, aby potwierdzić, że Googlebot przenosi się na ważne strony.
Czego nie robić
Kilka popularnych porad o crawl budgecie nie działa tak, jak ludzie się spodziewają. Z poradnika Google o crawl budgecie i jego strony o zmniejszaniu częstotliwości crawlowania:
| Porada | Oszczędza budżet | Dlaczego |
|---|---|---|
| Dodaj noindex | – | Strona i tak jest pobierana |
| Blokuj strony na jakiś czas | – | Google to odradza |
| Crawl-delay w robots.txt | – | Googlebot to ignoruje |
| Zwróć 503 lub 429 | ◐ | Awarie, 1 do 2 dni |
| Wypisz adresy URL w mapie strony | ◐ | Wskazówka, nie polecenie |
| Zablokuj w robots.txt na stałe | ✓ | URL nigdy nie jest pobierany |
Noindex pomaga w indeksacji, nie w crawlowaniu. W robots.txt blokuj tylko adresy URL, których nigdy nie chcesz crawlować, i popraw linki, które je tworzą.
Jak Neova pomaga z crawl budgetem
Neova to crawler, a nie Googlebot, więc nie pokaże własnego budżetu Google. Pokazuje za to, gdzie twoja witryna daje Googlebotowi dodatkową pracę:
- Odkrywanie działa w trakcie crawla. Co minutę pokazuje według wzorca, skąd biorą się nowe adresy URL, i oznacza kształty pułapek crawla, takie jak kalendarze, powtarzające się foldery, identyfikatory sesji, wiele parametrów i bardzo głębokie adresy URL, z opcjami Crawluj dalej, Pomiń lub Wyklucz od ręki.
- Podział URL umieszcza każdy URL w jednej kategorii: czyste adresy stron, warianty z parametrami, błędne adresy, pułapki crawla i zasoby. Liczba jest zawsze wyjaśniona.
- Tester robots.txt wyjaśnia każdą linię, a test wersji roboczej wypisuje adresy URL, które zmiana nowo zablokuje lub odblokuje, zanim ją wdrożysz.
- Log serwera w aplikacji desktopowej wypisuje strony HTML, których Googlebot nie odwiedził w okresie logu, oraz adresy URL, o które pytają boty, a których crawl nie zna.
- Testy, takie jak indeksowalne adresy URL z parametrami wyszukiwania lub filtrów, te same parametry w innej kolejności, frazy typowe dla soft 404, przekierowujące adresy URL w mapach stron XML oraz odstęp ponownego crawlowania przez Googlebota dłuższy o 50% lub więcej.

Neova też crawluje grzecznie: domyślnie 3 adresy URL na sekundę, o połowę wolniej, gdy serwer zwalnia lub odpowiada 429 albo 503. Zobacz Funkcje albo pobierz Neova, by to wypróbować.
Checklista crawl budgetu
| Sygnał | Zdrowo | Lokalizacja |
|---|---|---|
| Czas odpowiedzi | Stały lub malejący | Statystyki indeksowania |
| Udział 3xx i 4xx | Nie rośnie | Statystyki indeksowania, logi |
| Adresy do crawlowania a strony docelowe | Blisko 1 do 1 | Twój crawl |
| Pułapki dla crawlera | 0 | Twój crawl |
| Przeskoki przekierowań | Najwyżej 1 | Twój crawl |
| Usunięte strony | 404 lub 410 | Twój crawl |
| Wpisy w mapie strony | Tylko indeksowalne z 200 | Twój crawl |
| Adresy URL na plik mapy strony | Maks. 50 000 | Twój crawl |
| Dni przeczytanych logów | 30 lub więcej | Logi serwera |
| Nowe kluczowe strony | Odwiedzone przez Googlebota | Logi serwera |
Pytania
Czym jest crawl budget w SEO?
To liczba adresów URL, które wyszukiwarka może i chce crawlować w twojej witrynie w danym czasie. Google opisuje go jako połączenie wydajności crawlowania i zapotrzebowania na crawlowanie.
Czy crawl budget ma znaczenie dla małych witryn?
Zwykle nie. Google pisze, że dotyczy głównie bardzo dużych witryn, witryn zmieniających się codziennie i witryn z wieloma stronami wykrytymi, ale nie zaindeksowanymi. Małe witryny zyskają więcej na lepszej treści i linkach wewnętrznych.
Jak zwiększyć crawl budget?
Zadbaj o szybki i stabilny serwer i daj Google powody do crawlowania: strony, do których ludzie linkują i które odwiedzają, oraz treść, która się zmienia. Potem przestań marnować to, co masz, na parametry, przekierowania i duplikaty.
Czy noindex oszczędza crawl budget?
Nie. Google musi przecrawlować stronę, by przeczytać jej noindex. Aby na stałe trzymać Googlebota z dala od wzorca URL, zablokuj go w robots.txt i popraw linki, które go tworzą.
Czy Googlebot respektuje crawl-delay?
Nie. Google nie obsługuje crawl-delay w robots.txt. Bing ma udokumentowaną obsługę tej dyrektywy. Neova oznacza crawl-delay ustawiony dla wszystkich user agentów, abyś mógł zdecydować, czy jest nadal potrzebny.