Crawlery AI: co robią GPTBot, ClaudeBot i PerplexityBot i jak nimi sterować
Crawlery AI pobierają twoje strony, by trenować modele językowe, budować indeksy wyszukiwania AI albo od razu odpowiedzieć na pytanie konkretnej osoby. Każdy rodzaj ma w robots.txt własną nazwę, więc możesz jednym zezwolić, a innych zablokować. Oto kim są, co robi każdy z nich i jak sprawdzić, co faktycznie dostają.
Czym są crawlery AI?
Crawlery AI, nazywane też crawlerami LLM, to boty firm AI. Nie wszystkie są takie same, a traktowanie ich jak jednej grupy prowadzi do złych reguł robots.txt. Są trzy rodzaje:
- Crawlery treningowe zbierają strony, które mogą posłużyć do trenowania przyszłych modeli. Najbardziej znane to GPTBot i ClaudeBot.
- Crawlery wyszukiwania budują indeks, który asystent AI przeszukuje, gdy odpowiada ze źródłami i linkami. Do tej grupy należą OAI-SearchBot, Claude-SearchBot i PerplexityBot.
- Pobieranie na żądanie użytkownika ładuje stronę, bo ktoś zapytał o nią asystenta, np. wklejając URL. Tak działają ChatGPT-User, Claude-User i Perplexity-User.
Zablokowanie crawlera treningowego trzyma twoje strony z dala od przyszłych zbiorów treningowych. Zablokowanie crawlera wyszukiwania może wyłączyć cię z odpowiedzi AI z cytowaniami, a to często przeciwieństwo tego, czego chce firma.
Główne crawlery AI i ich tokeny w robots.txt
Każdy dostawca dokumentuje własne boty. Oto nazwy do użycia w robots.txt, z linkiem do strony dostawcy:
| Token | Firma | Rodzaj | Własny bot |
|---|---|---|---|
| GPTBot | OpenAI | Trening | ✓ |
| OAI-SearchBot | OpenAI | Wyszukiwanie AI | ✓ |
| ChatGPT-User | OpenAI | Żądanie użytkownika | ✓ |
| ClaudeBot | Anthropic | Trening | ✓ |
| Claude-SearchBot | Anthropic | Wyszukiwanie AI | ✓ |
| Claude-User | Anthropic | Żądanie użytkownika | ✓ |
| PerplexityBot | Perplexity | Wyszukiwanie AI | ✓ |
| Perplexity-User | Perplexity | Żądanie użytkownika | ✓ |
| Google-Extended | Użycie treści przez Gemini | – | |
| Applebot-Extended | Apple | Trening modeli Apple | – |
| CCBot | Common Crawl | Otwarte archiwum sieci | ✓ |
Google-Extended i Applebot-Extended to tokeny, a nie osobne boty: określają, jak można używać treści, które Googlebot lub Applebot już crawlują. Google podaje, że Google-Extended nie wpływa na obecność w wyszukiwarce Google ani na pozycje. Aby ograniczyć sposób, w jaki twoje treści pojawiają się we własnych funkcjach AI w wyszukiwarce, Google wskazuje kontrolki snippetów, np. nosnippet. Dłuższą listę z każdym botem i jego celem znajdziesz na mapie crawlerów AI w SEO ProCheck.
Czy blokować crawlery LLM?
Nie ma jednej dobrej odpowiedzi. Zależy to od tego, czemu służą twoje treści. W kategoriach robots.txt większość witryn obejmują trzy polityki:
| Polityka | Trening | Wyszukiwanie AI | Żądanie użytkownika |
|---|---|---|---|
| Otwarte dla wszystkich | ✓ | ✓ | ✓ |
| Cytowane, bez trenowania | – | ✓ | ✓ |
| Zamknięte dla AI | – | – | ◐ |
- Zezwól crawlerom wyszukiwania, jeśli chcesz być cytowany i linkowany w wyszukiwaniu ChatGPT, Claude i Perplexity. Dla większości firm to widoczność, której chcą.
- Rozważ blokadę crawlerów treningowych, jeśli twoje treści są twoim produktem: newsy, badania, kursy, płatne dane. Blokada zatrzymuje przyszłe zbieranie; nie usuwa tego, co już zebrano.
- Zastanów się dwa razy przed blokowaniem pobierania na żądanie. Działa ono w imieniu osoby, która zapytała o twoją stronę, a niektórzy dostawcy piszą, że może nie stosować się do robots.txt tak jak crawlery, stąd „częściowo” powyżej.
Zapisz decyzję: które boty mają dostęp, które są zablokowane i dlaczego. Potem dopasuj do niej robots.txt. Spisana polityka powstrzymuje przyszłego developera przed zablokowaniem wszystkiego podczas redesignu.
robots.txt dla botów AI: przykłady
Oto popularna konfiguracja: zezwól na wyszukiwanie AI, zablokuj trening.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
Kilka linii User-agent może dzielić jedną grupę reguł. Uważaj na jedną pułapkę. Zgodnie ze standardem robots.txt, RFC 9309, crawler stosuje się tylko do najbardziej szczegółowej grupy, która go wymienia. Jeśli dodasz grupę dla GPTBot, GPTBot całkowicie zignoruje grupę *, łącznie z twoim Disallow: /search/. Dlatego grupa wyszukiwania powyżej powtarza dwie wspólne reguły. Wszystko, czego nazwana grupa nie blokuje, jest dozwolone.
Aby zablokować dla treningu jeden folder zamiast całej witryny:
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
Przy pobieraniu na żądanie użytkownika przeczytaj stronę każdego dostawcy, zanim zaczniesz polegać na robots.txt.
Przetestuj każdą regułę na prawdziwych URL, zanim trafi na produkcję. Na neova.app 20 listopada 2026 znaleźliśmy dwie reguły, które blokowały więcej, niż miały:
| Trafiona reguła | Skutek | Zasięg |
|---|---|---|
| /cdn-cgi/ zablokowane | Zablokowany skrypt e-mail Cloudflare | 1320 stron |
| Disallow: / nad faviconami | Zwykła litera zamiast logo w Google | Każdy wynik wyszukiwania |
Oba problemy naprawiło zezwolenie na te ścieżki. Disallow napisany dla jednego bota lub jednego folderu obejmuje każdy plik pod nim, łącznie ze skryptami i ikonami.
Poza robots.txt: firewalle, CDN i weryfikacja
robots.txt to prośba, nie zamek. Wymienione wyżej firmy AI dokumentują, jak ich crawlery go traktują, ale inne boty mogą go ignorować.
- Sprawdź też firewall. Niektóre CDN i WAF mają ustawienia blokujące crawlery AI, czasem domyślnie. Witryna może zezwalać GPTBot w robots.txt, a mimo to odpowiadać mu 403. Testuj, co każdy crawler faktycznie dostaje.
- Weryfikuj, zanim zaufasz. OpenAI i Perplexity publikują listy IP swoich botów, Google i Microsoft też. Żądanie podpisane nazwą bota z adresu spoza listy jego firmy nie pochodzi od tego bota.
- Blokuj złych aktorów na brzegu. Na scrapery ignorujące robots.txt działają tylko reguły w CDN lub na serwerze.
Jak często to zawodzi w praktyce: SEO ProCheck sprawdził, co crawlery AI faktycznie dostają na 400 witrynach, w Can AI Crawlers Actually Read Your Site? 400 Sites Measured.
Spraw, by crawlery AI mogły czytać twoje strony
Zezwolenie crawlerowi to połowa SEO pod crawlery AI. Druga połowa to pewność, że przeczyta to, co pobierze.
- Umieść główną treść w HTML. Nie każdy crawler uruchamia JavaScript. Jeśli tekst pojawia się dopiero po uruchomieniu skryptów, zakładaj, że niektóre crawlery AI nigdy go nie zobaczą.
- Przejdź do rzeczy szybko. Długie menu i powtarzalne elementy przed głównym tekstem spychają odpowiedź w dół strony.
- Nie chowaj kluczowych faktów w obrazach, PDF-ach ani widżetach. Ceny, specyfikacje i dane kontaktowe powinny być zwykłym tekstem HTML.
- Zwracaj prawdziwe kody odpowiedzi. Niedziałająca lub przekierowana strona cytowana w odpowiedziach AI wysyła czytelników na błąd.
- Utrzymuj lekki HTML. Googlebot czyta pierwsze 2 MB pliku HTML; Neova oznacza strony powyżej tej wielkości w teście HTML ma ponad 2 MB lub Core Web Vitals poza dobrym zakresem.
- llms.txt jest opcjonalny. To proponowany format, a nie standard sieciowy. Jeśli go publikujesz, dbaj, by był poprawny i aktualny.
Jak sprawdzić, co widzą crawlery AI
Neova pokazuje, na co każdy crawler AI ma zezwolenie i co faktycznie dostaje, w aplikacji desktopowej i w Neova Online:
- Co dostaje każdy asystent AI odpytuje wybrane strony jako 10 agentów AI, w tym ChatGPT, Claude i Perplexity oraz ich crawlery, Meta AI, Google-Extended i Common Crawl, i pokazuje, kto ma pełny dostęp i na co pozwala robots.txt.
- Crawluj jako crawler AI. Uruchom cały crawl jako GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot lub inny user agent AI.
- Tester robots.txt pokazuje, co mogą pobrać Googlebot, Bingbot i crawlery AI, wraz z URL zablokowanymi dla każdego z nich, i informuje, gdy własna grupa crawlera pomija reguły grupy
*. - Ekran Renderowanie pokazuje, ile stron wymaga JavaScriptu i co dostaje każdy crawler AI.
- Log serwera w aplikacji desktopowej pokazuje zweryfikowane wizyty crawlerów AI i odmowy dla każdego URL.
- Cytowania AI z Bing Webmaster Tools i z AI Visibility w Microsoft Clarity, gdy je połączysz. Zobacz Microsoft Clarity.
Testy na początek: żądanie z user agentem crawlera wyszukiwania AI jest blokowane, reguła dla crawlera AI w robots.txt różni się od spisanej polityki, pobieranie AI na żądanie użytkownika jest blokowane, kluczowa strona ogranicza snippety lub blokuje crawlery wyszukiwania AI oraz boty AI żądają URL odpowiadających błędem. Plan Free obejmuje widoki Wyszukiwania AI; zobacz Cennik lub pobierz Neova.
Checklista SEO pod crawlery AI
| Element | Gotowe, gdy |
|---|---|
| Spisana polityka | Każdy bot AI: zezwól lub zablokuj |
| robots.txt | Zgodny z polityką |
| Nazwane grupy | Wspólne reguły powtórzone |
| Crawlery wyszukiwania AI | Dozwolone na stronach do cytowania |
| Firewall i CDN | Tak samo jak polityka |
| Co dostaje każdy crawler | 200 i pełna strona |
| Główna treść | W HTML, wcześnie |
| Kluczowe fakty | W tekście, nie w obrazach |
| Logi | Zweryfikowane wizyty, fałszywe liczone osobno |
| Cytowane strony | Odpowiadają 200 |
Pytania
Czym jest GPTBot?
GPTBot to crawler OpenAI zbierający treści, które mogą posłużyć do trenowania ich modeli. Jest oddzielny od OAI-SearchBot, który znajduje strony dla wyszukiwania ChatGPT. Zobacz stronę OpenAI o crawlerach.
Czy zablokowanie GPTBot usuwa moją witrynę z wyszukiwania ChatGPT?
Nie. OpenAI używa osobnych botów i każdy czyta własne reguły robots.txt. Wyszukiwanie ChatGPT opiera się na OAI-SearchBot, więc możesz zablokować GPTBot i nadal zezwalać OAI-SearchBot.
Czy Google-Extended wpływa na moje pozycje w Google?
Google podaje, że nie wpływa na obecność w wyszukiwarce Google i nie jest sygnałem rankingowym. Określa, czy twoje treści mogą być używane przez modele Gemini.
Jak zablokować crawlery LLM?
Dodaj do robots.txt grupę wymieniającą każdy crawler, np. GPTBot, ClaudeBot i CCBot, z Disallow: /. Na boty ignorujące robots.txt dodaj regułę w firewallu lub CDN.
Skąd mam wiedzieć, czy crawlery AI odwiedzają moją witrynę?
Przeczytaj logi serwera lub CDN i zweryfikuj każde żądanie z listą IP publikowaną przez daną firmę. Narzędzie Log serwera w Neova robi to dla każdego URL. Formaty logów opisuje Import zamiast połączenia.