Analiza logów serwera pod SEO: jak odczytać, co naprawdę robi Googlebot
Crawler mówi ci, co wyszukiwarka mogła pobrać. Logi serwera mówią, co faktycznie pobrała. Analiza logów w SEO to nawyk czytania tych logów, aby zobaczyć, gdzie Googlebot, Bingbot i crawlery AI spędzają czas, a gdzie nigdy nie zaglądają.
Czym jest analiza logów serwera?
Każdy serwer WWW zapisuje wiersz dla każdego żądania, na które odpowiada: kto pytał, o jaki URL, kiedy i co odpowiedział serwer. Te wiersze trafiają do logu dostępu. Analiza logów to czytanie tego logu, zwykle zawężonego do wyszukiwarek i crawlerów AI, i zamienianie go w odpowiedzi.
W SEO pytania są proste. Które strony odwiedza Googlebot i jak często? Których nie odwiedza nigdy? Gdzie trafia na przekierowania i błędy? Czy marnuje żądania na adresy URL, które nie powinny istnieć?
Żadne inne źródło nie odpowiada na nie z taką dokładnością. Raport Statystyki indeksowania w Search Console daje podsumowanie. Crawl pokazuje, co odsłaniają twoje linki. Tylko log pokazuje każde prawdziwe żądanie.
| Źródło | Każde żądanie | Każdy bot | Dla każdego URL |
|---|---|---|---|
| Log serwera | ✓ | ✓ | ✓ |
| Statystyki indeksowania | – | ◐ | ◐ |
| Twój własny crawl | – | – | ✓ |
Statystyki indeksowania obejmują tylko Googlebota, z 90 dni, z przykładowymi adresami URL. Dłuższe omówienie metody znajdziesz w artykule analiza logów w SEO na SEO ProCheck.
Dlaczego analiza logów ma znaczenie dla SEO
- Znajdź strony, które Googlebot ignoruje. Strona podlinkowana, indeksowalna i w mapie witryny, ale nigdy nieodwiedzana, to strona, której Google nie uważa za wartą fatygi.
- Wyłap marnowanie crawl budgetu. Parametry, adresy URL z filtrów fasetowych i stare przekierowania pojawiają się w logach długo po tym, jak o nich zapomnisz.
- Zobacz błędy tak, jak widzi je Googlebot. 5xx występujący tylko pod obciążeniem albo 429 z firewalla może nigdy nie pojawić się w twoim własnym crawlu.
- Znajdź sieroty. Adresy URL, o które pytają boty, a do których nie prowadzi żaden link wewnętrzny, to często stare strony, które wciąż przyciągają uwagę.
- Zobacz crawlery AI. GPTBot, ClaudeBot, PerplexityBot i inne też zostawiają wiersze, więc widzisz, co pobierają i czego im odmówiono.
- Sprawdź migrację. Po przeprowadzce log pokazuje, czy Googlebot podąża za twoimi przekierowaniami i dociera do nowych adresów URL.
Co zawiera wiersz logu serwera
Najpopularniejszy format to combined log format Apache, który jest też domyślnym formatem Nginx. Jeden wiersz wygląda tak:
66.249.66.1 - - [10/Nov/2026:13:55:36 -0600] "GET /shoes/ HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
| Terenowe | Przykład | Dlaczego to ważne |
|---|---|---|
| IP klienta | 66.249.66.1 | Jedyny sposób, by sprawdzić, że bot jest prawdziwy |
| Czas | 10/Nov/2026:13:55:36 | Częstotliwość crawlowania i odstępy między ponownymi wizytami |
| Żądanie | GET /shoes/ | Który URL został pobrany |
| Status | 200 | Sukces, przekierowanie lub błąd |
| Bajty | 2326 | Rozmiar odpowiedzi |
| User agent | Googlebot/2.1 | Który crawler podaje się za pytającego |
IIS zapisuje format W3C extended, z wierszem #Fields: nazywającym kolumny. CDN i load balancery, takie jak Cloudflare, CloudFront, load balancery AWS, Google Cloud, Akamai i Fastly, mają własne układy, często w JSON. Zwykły format common w Apache nie ma user agenta, więc nie da się w nim odróżnić żadnego bota. Poproś o format combined.
Jak zdobyć logi serwera
| Host | Gdzie jest log |
|---|---|
| cPanel | Metrics, Raw Access (.gz) |
| Plesk | Logs, Manage Log Files |
| Amazon | Bucket S3, po włączeniu logowania |
| Google Cloud | Cloud Logging, po włączeniu |
| Cloudflare | Logpush albo twoje własne konto |
| Ktokolwiek inny | Zapytaj dział IT lub hosting |
W Amazon i Google Cloud logowanie dostępu jest wyłączone, dopóki go nie włączysz. Gdy prosisz o log, niech prośba będzie mała i łatwa do zatwierdzenia:
| Poproś o | Wartość |
|---|---|
| Dni | 30 lub więcej |
| Wiersze | Tylko crawlery |
| Pola | Czas, URL, status, user agent, IP |
| Format | Combined, nie common |
Pominięcie zwykłych odwiedzających trzyma dane osobowe z dala od prośby, co docenią zespoły bezpieczeństwa. Przy mniej niż 30 dniach strony crawlowane rzadko wyglądają, jakby nigdy nie były odwiedzane.
Zweryfikuj Googlebota, zanim zaufasz wierszowi
Każdy może wpisać Googlebot w ciąg user agenta. Scrapery robią to cały czas. Zanim policzysz żądanie, sprawdź, czy pochodzi od firmy, którą wymienia:
| Bot | Reverse DNS kończy się na | Opublikowana lista IP |
|---|---|---|
| Googlebot | googlebot.com, google.com, googleusercontent.com | ✓ |
| Bingbot | search.msn.com | ✓ |
| GPTBot, OAI-SearchBot, ChatGPT-User | Użyj listy IP | ✓ |
| PerplexityBot, Perplexity-User | Użyj listy IP | ✓ |
Dla DNS wykonaj odwrotne wyszukiwanie IP, sprawdź nazwę, a potem wyszukiwanie w przód, aby potwierdzić, że wskazuje z powrotem na ten sam IP. Żądanie, które podaje nazwę bota, ale nie przechodzi sprawdzenia, nie jest tym botem. Licz je osobno. Jeśli niezweryfikowane żądania podające się za crawlera AI dostają odpowiedzi 200, ktoś zbiera twoją treść pod pożyczoną nazwą; Neova oznacza to jako Niezweryfikowane żądania crawlerów AI dostały odpowiedź 2xx, a jako Nazwa crawlera AI pojawia się tylko w niezweryfikowanych żądaniach, gdy żadne żądanie nie przechodzi weryfikacji.
Na co zwracać uwagę: checklista analizy logów
Czytaj log w zestawieniu z crawlem. Nasz pełny crawl seoprocheck.com 17 października 2026 znalazł 4561 stron HTML odpowiadających 200: z tą listą porównuje się log tej witryny, strona po stronie. Sygnały warte uwagi, z progami używanymi przez testy logów w Neova, tam gdzie taki próg istnieje:
| Sygnał | Zdrowo | Niepokój, gdy |
|---|---|---|
| Udział 3xx, 4xx, 5xx dla każdego bota | Niski i stały | Ponad 1% i podwojony |
| 429 i 403 dla botów | 0 | Dowolna liczba |
| Kluczowe strony nigdy nieodwiedzone | 0 | Dowolna liczba |
| Odstęp ponownych wizyt Googlebota | Stały | Wzrost o 50% lub więcej |
| Nowe, niewidziane adresy URL dziennie | Stały | 10+ dziennie, podwojone |
| Pobierane CSS i JS | Odpowiadają 200 | Jakikolwiek błąd |
Licz też zweryfikowane żądania dziennie dla każdego bota i przeglądaj adresy URL, o które pytają boty, a których twój crawl nie znalazł: sieroty, stare strony, parametry albo linki z innych witryn. Nagły wzrost nowych, niewidzianych adresów URL często oznacza, że w sieci pojawiła się pułapka na crawlery lub zepsuty szablon.
Analiza logów w Neova
Aplikacja desktopowa Neova ma narzędzie Log serwera, które łączy log z crawlem, więc przy każdym URL widać, co znalazł crawl i co zrobiły boty.
- 8 źródeł logów, rozpoznawanych z samych wierszy: Apache i Nginx combined, IIS W3C, Amazon CloudFront, load balancery Amazon, Cloudflare Logpush, load balancing Google Cloud, Akamai DataStream oraz Fastly lub inne logi JSON i CSV z typowymi nazwami pól. Zwykłe, .gz albo kilka plików w jednym .zip.
- Tylko zweryfikowane boty. Żądanie liczy się dla Googlebota, Bingbota lub crawlera AI tylko wtedy, gdy jego adres jest na liście publikowanej przez daną firmę. Dla Google i Microsoft można też włączyć reverse DNS.
- Nigdy nieodwiedzone i sieroty: strony HTML, których Googlebot nie odwiedził w oknie logu, oraz adresy URL, o które pytały boty, a których crawl nie zna.
- Odmowy: odpowiedzi 429 i 403, które dostał każdy bot.
- Cloudflare: dla witryny za Cloudflare Neova może zbierać żądania crawlerów na twoim własnym koncie Cloudflare, bez dostępu do serwera.
- Poproś o log pisze prośbę do wysłania działowi IT: tylko wiersze crawlerów, nic do instalowania.
- Czytanie na twoim komputerze. Plik nigdy go nie opuszcza, a żaden adres IP nie jest nigdzie zapisywany.
Testy logów obejmują rosnący udział odpowiedzi 3xx, 4xx lub 5xx dla botów wyszukiwarek, odstęp ponownych wizyt Googlebota dłuższy o 50% lub więcej, podwojenie żądań botów o niewidziane wcześniej adresy URL oraz indeksowalne sieroty znalezione w logu. Instrukcja krok po kroku jest w Import zamiast połączenia, a Cennik pokazuje, które plany obejmują logi serwera.
Częste błędy
- Ufanie user agentowi. Bez weryfikacji IP fałszywe Googleboty zawyżają każdą liczbę.
- Logi z jednego tygodnia. Wiele stron jest crawlowanych rzadziej. Używaj co najmniej 30 dni.
- Analizowanie liczby trafień zamiast żądań. Podsumowanie logów to dobry przegląd, ale szczegóły są w surowych wierszach. Poproś o nie.
- Zapominanie o CDN. Jeśli CDN odpowiada z cache, log twojego serwera źródłowego nie widzi tych żądań. Użyj logów CDN.
- Czytanie logów bez crawla. Sam log nie powie, które strony boty pominęły. Potrzebujesz listy istniejących stron do porównania.
FAQ o analizie logów na SEO ProCheck odpowiada na pytania, które pojawiają się w następnej kolejności.
Pytania
Czym jest analiza logów w SEO?
To czytanie logów dostępu twojego serwera, aby zobaczyć, o które adresy URL prosiły wyszukiwarki i crawlery AI, jak często i co odpowiedział serwer. Pokazuje prawdziwe zachowanie crawlerów, a nie to, do czego crawler mógłby dotrzeć.
Z ilu dni potrzebuję logów?
Co najmniej 30 dni. Krótsze okna sprawiają, że strony odwiedzane przez Googlebota co kilka tygodni wyglądają, jakby nigdy nie były crawlowane.
Czy mogę analizować logi bez dostępu do serwera?
Często tak. Jeśli witryna jest za CDN, np. Cloudflare lub CloudFront, jego logi zawierają żądania crawlerów. Neova może zbierać żądania crawlerów na twoim własnym koncie Cloudflare bez dostępu do serwera.
Czy Statystyki indeksowania w Search Console zastępują logi serwera?
Nie. Statystyki indeksowania podają sumy i próbki dla Googlebota. Logi zawierają każde żądanie, każdego bota, dla każdego URL, więc możesz je zestawić ze swoim crawlem.
Czy logi serwera zawierają dane osobowe?
Zawierają adresy IP odwiedzających, więc obchodź się z nimi ostrożnie. Proś tylko o wiersze crawlerów. Neova czyta logi na twoim komputerze i nigdzie nie zapisuje adresów IP.