Tester robots.txt: jak testować reguły robots.txt, zanim zablokują niewłaściwe strony
robots.txt to krótki plik tekstowy o wielkiej mocy. Jeden wiersz może trzymać wyszukiwarkę z dala od folderu, który chciałeś ukryć, albo od całej witryny, którą chciałeś pozycjonować. Tester robots.txt mówi ci, URL po URL, co każdy crawler może pobrać, więc dowiadujesz się o tym przed Googlebotem.
Co robi tester robots.txt
Tester robots.txt bierze plik robots.txt i URL, wybiera grupę reguł, która dotyczy danego user agenta, i mówi, czy ten URL jest dozwolony, czy zablokowany, oraz który wiersz o tym zdecydował. Dobry tester wskazuje też wiersze, których parser nie potrafi odczytać, pola, które ignoruje, i reguły, które się wzajemnie znoszą.
Testowanie jednego URL naraz przydaje się przy szybkim pytaniu. Testowanie każdego URL z crawla wyłapuje niespodzianki: regułę napisaną dla jednego folderu, która pasuje też do filtra produktów, albo wildcard, który blokuje CSS potrzebny stronom do renderowania.
Google wycofało swój tester robots.txt
Przez lata Search Console miało Tester robots.txt, w którym można było edytować plik i testować na nim adresy URL. Pod koniec 2023 Google go wycofało i zastąpiło raportem robots.txt. Raport pokazuje, jakie pliki robots.txt Google znalazło dla 20 głównych hostów usługi, kiedy każdy był ostatnio crawlowany oraz wszelkie ostrzeżenia i błędy. Pozwala też poprosić o ponowne pobranie pliku po pilnej poprawce.
Raport mówi ci, jak Google odczytało twój aktywny plik. Nie testuje reguły, która jeszcze nie działa, i nie sprawdza całej listy twoich adresów URL względem pliku. Do tego potrzebujesz osobnego testera. Google publikuje własny parser robots.txt open source, a Bing Webmaster Tools ma tester robots.txt, który przydaje się do sprawdzenia, jak plik czyta Bingbot.
Jak działają reguły robots.txt
Plik znajduje się w katalogu głównym hosta, na przykład https://www.example.com/robots.txt. Reguły definiuje RFC 9309, Robots Exclusion Protocol, a Google opisuje, jak je czyta, w dokumencie Jak Google interpretuje specyfikację robots.txt. Plik składa się z grup. Każda grupa zaczyna się od jednego lub więcej wierszy User-agent, po których następują reguły Allow i Disallow:
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
Punkty, które sprawdzają testery, zgodnie z dokumentacją Google. Kompletny przewodnik SEO ProCheck po robots.txt omawia każde pole.
- Jedna grupa na crawler. Crawler stosuje się tylko do najbardziej szczegółowej grupy pasującej do jego nazwy. Jeśli Googlebot ma własną grupę, całkowicie ignoruje grupę
*. - Wygrywa najdłuższe dopasowanie. Gdy do URL pasują zarówno Allow, jak i Disallow, stosuje się regułę z dłuższą ścieżką. Przy remisie Google używa reguły najmniej restrykcyjnej.
- Dwa symbole wieloznaczne.
*pasuje do dowolnego ciągu znaków, a$oznacza koniec URL. - Ścieżki rozróżniają wielkość liter.
Disallow: /Adminnie blokuje/admin. - Jeden plik na host. Reguły dotyczą tylko protokołu, hosta i portu, z których serwowany jest plik. Subdomena potrzebuje własnego pliku.
Czego robots.txt nie robi
robots.txt kontroluje crawlowanie, a nie indeksowanie. Wprowadzenie Google do robots.txt jasno mówi, że zablokowany URL nadal może zostać zaindeksowany, jeśli linkują do niego inne strony, zwykle bez opisu. Jeśli chcesz usunąć stronę z wyników wyszukiwania, pozwól ją crawlować i użyj zamiast tego noindex. Strona, której Google nie może pobrać, to strona, której noindex nigdy nie zobaczy.
Kilka innych ograniczeń, które warto znać:
- Brak wiersza noindex. Google przestało obsługiwać noindex w robots.txt w 2019, razem z regułami nofollow i crawl-delay w tym pliku.
- Brak crawl-delay dla Google. Googlebot ignoruje
Crawl-delay. Niektóre inne crawlery go czytają, dlatego wartość ustawiona dla wszystkich user agentów może je mocno spowolnić. - Brak zabezpieczenia. Plik jest publiczny, a kulturalne crawlery stosują się do niego z wyboru. Wszystko, co prywatne, wymaga logowania.
Częste błędy w robots.txt, które wyłapie tester
| Błąd | Skutek | Poprawka |
|---|---|---|
Disallow: / zostawione ze stagingu | Cała witryna zablokowana | Usuń ten wiersz |
| Nazwana grupa bez wspólnych reguł | Reguły * pominięte dla tego bota | Skopiuj wspólne reguły |
| Zablokowane CSS, JavaScript, obrazy | Strona nie może się wyrenderować | Zezwól na te pliki |
| Zbyt szeroki wildcard | /*? blokuje filtry, strony | Zawęź wzorzec |
| Reguła przed User-agent, literówka | Wiersz pominięty | Popraw składnię |
| Disallow, by usunąć z indeksu | noindex nigdy nieodczytany | Zezwól, potem noindex |
| www i bez www się różnią | Reguły różne dla hostów | Serwuj jeden plik |
Blokowanie URL, który jednocześnie wymieniasz w mapie strony XML, wysyła sprzeczne sygnały. Ten aspekt omawia poradnik Walidator mapy strony XML.
Błędy serwera i rozmiar pliku
Sposób serwowania pliku ma takie samo znaczenie jak jego treść. Google dokumentuje każdy przypadek:
| Przypadek | Co robi Google | Jak długo |
|---|---|---|
| 4xx, ale nie 429 | Crawluje, jakby pliku nie było | Do czasu naprawy |
| 5xx lub 429 | Przestaje crawlować witrynę | Pierwsze 12 godzin |
| Błąd nadal trwa | Używa ostatniej dobrej kopii | Do 30 dni |
| Plik ponad 500 KiB | Ignoruje resztę | Powyżej 500 KiB |
| Dowolna zmiana | Używa kopii z cache | Do 24 godzin |
Prośba o ponowne pobranie w raporcie robots.txt służy do pilnych poprawek. robots.txt, który w złym momencie przekroczy limit czasu, może wstrzymać crawlowanie całej witryny; poradnik o crawl budget wyjaśnia, dlaczego ma to największe znaczenie w dużych witrynach.
Co znaleźliśmy w naszym własnym robots.txt
Nasz własny przegląd SEO neova.app 20 listopada 2026 znalazł dwie reguły, które blokowały więcej, niż chcieliśmy:
| Co było zablokowane | Dotknięte strony | Co widziało Google | Poprawka |
|---|---|---|---|
| Skrypt e-mail Cloudflare pod /cdn-cgi/ | 1 320 | Skrypt, którego nie mogło pobrać | Zezwolono na ten skrypt |
| /favicon i /apple-touch-icon.png | Każdy wynik | Zwykła litera, bez logo | Zezwolono na oba pliki |
Pliki faviconu były za regułą Disallow: /. Wytyczne Google dotyczące faviconów wymagają, by plik był crawlowalny dla Googlebot-Image, więc wyniki wyszukiwania pokazywały literę zamiast naszego logo obok neova.app. Żadna z reguł nie wyglądała w pliku na błędną. Obie wyszły na jaw dopiero, gdy przetestowano reguły względem każdego URL i pliku wczytywanego przez strony.
Jak bezpiecznie testować robots.txt
- Przecrawluj witrynę, aby mieć pełną listę prawdziwych adresów URL, a nie tylko tych kilku, które pamiętasz.
- Przetestuj aktywny plik względem tej listy dla każdego ważnego dla ciebie crawlera: Googlebot, Googlebot-Image, Bingbot i crawlery AI.
- Zapisz zmianę jako szkic i przetestuj szkic na tej samej liście. Przejrzyj adresy URL, które zostaną nowo zablokowane i nowo dozwolone.
- Sprawdź zasoby. Upewnij się, że żadna indeksowalna strona nie traci swoich skryptów, arkuszy stylów ani obrazów.
- Wdróż, a potem potwierdź w raporcie robots.txt w Search Console, że Google pobrało nową wersję bez błędów.
- Przecrawluj ponownie i porównaj, aby wyłapać przypadkową zmianę w przyszłości.
Jeśli decydujesz, co mogą pobierać crawlery AI, poradnik o crawlerach AI wymienia ich nazwy i to, co robi każdy z nich. Zablokowane strony pojawiają się też w poradniku o sprawdzaniu indeksowalności.
Testuj robots.txt z Neova
Tester robots.txt w Neova wyjaśnia prostymi słowami każdy wiersz aktywnego pliku lub szkicu, tak jak dokumentuje to Google i definiuje RFC 9309, wraz z przecrawlowanymi adresami URL, do których pasuje każda reguła. Jego widok Wszystkie crawlery pokazuje, co mogą pobierać Googlebot, Bingbot i crawlery AI, z adresami URL zablokowanymi dla każdego z nich. Informuje, gdy własna grupa crawlera pomija reguły grupy *, a test szkicu wymienia każdy URL z crawla, który zmiana nowo zablokuje lub nowo dopuści. Możesz potem crawlować z zachowaniem szkicu, aby zobaczyć pełny efekt. Testy, na których to się opiera:
- Plik robots.txt ma nieprawidłową składnię lub nieznane pola
- Plik robots.txt jest nieosiągalny lub za duży, dla 5xx, 429, braku odpowiedzi lub ponad 500 KiB
- Wewnętrzny URL jest zablokowany w robots.txt
- Strona HTML używa pliku JavaScript zablokowanego w robots.txt, arkusza stylów i obrazu
- Crawl-delay ustawiony dla wszystkich user agentów w robots.txt
- Plik robots.txt wariantu hosta różni się od pliku hosta kanonicznego
- Reguły robots.txt zmieniły się od poprzedniego crawla
- Brak faviconu, favicon uszkodzony lub zablokowany, w tym favicon zablokowany dla Googlebot-Image
- Mapa strony XML zawiera URL zablokowany w robots.txt
Neova przechowuje każdą wersję robots.txt odczytaną przez jej crawle, więc widzisz, kiedy zmieniła się reguła. Ustawienie User agent pozwala crawlować jako Googlebot, Bingbot, crawler AI lub z własnym ciągiem. Zobacz Funkcje albo pobierz Neova.
Pytania
Czy Google nadal ma tester robots.txt?
Nie. Google wycofało Tester robots.txt w Search Console w 2023 i zastąpiło go raportem robots.txt, który pokazuje, jak Google odczytało twój aktywny plik, i wszelkie błędy. Aby przetestować zmianę, zanim zacznie działać, użyj osobnego testera robots.txt.
Jak sprawdzić, czy URL jest zablokowany przez robots.txt?
Znajdź grupę pasującą do user agenta crawlera, a potem najdłuższą ścieżkę Allow lub Disallow pasującą do URL. Ta reguła decyduje. Tester robots.txt robi to za ciebie i wskazuje wiersz, dla jednego URL lub każdego URL z crawla. FAQ SEO ProCheck o robots.txt odpowiada na przypadki brzegowe.
Czy robots.txt powstrzymuje zaindeksowanie strony?
Nie. Zatrzymuje crawlowanie. Zablokowany URL nadal może zostać zaindeksowany, jeśli linkują do niego inne strony. Jeśli chcesz usunąć stronę z wyników wyszukiwania, użyj noindex na stronie, którą Google może crawlować.
Dlaczego Googlebot ignoruje moje reguły User-agent: *?
Bo plik ma grupę nazwaną dla Googlebota. Crawler stosuje się tylko do najbardziej szczegółowej pasującej grupy, więc skopiuj wspólne reguły także do grupy Googlebota.
Po jakim czasie działa zmiana w robots.txt?
Google zwykle cache'uje robots.txt do 24 godzin. Po pilnej poprawce możesz poprosić o ponowne pobranie w raporcie robots.txt w Search Console.