AI 크롤러: GPTBot, ClaudeBot, PerplexityBot이 하는 일과 제어하는 법
AI 크롤러는 언어 모델을 학습시키거나, AI 검색 색인을 만들거나, 한 사람의 질문에 즉석에서 답하려고 페이지를 가져갑니다. 종류마다 robots.txt에서 쓰는 이름이 따로 있어서 일부는 허용하고 일부는 차단할 수 있습니다. 누가 있는지, 각각 무엇을 하는지, 실제로 무엇을 받아 가는지 확인하는 법을 정리했습니다.
AI 크롤러란 무엇인가요?
LLM 크롤러라고도 하는 AI 크롤러는 AI 기업이 운영하는 봇입니다. 모두 같지 않으며, 하나로 묶어 다루면 잘못된 robots.txt 규칙이 나옵니다. 세 종류가 있습니다.
- 학습용 크롤러는 향후 모델 학습에 쓰일 수 있는 페이지를 수집합니다. GPTBot과 ClaudeBot이 가장 잘 알려져 있습니다.
- 검색용 크롤러는 AI 어시스턴트가 출처와 링크를 붙여 답할 때 검색하는 색인을 만듭니다. OAI-SearchBot, Claude-SearchBot, PerplexityBot이 여기에 속합니다.
- 사용자 요청형 페처는 사람이 어시스턴트에게 그 페이지에 대해 물었을 때, 예를 들어 URL을 붙여 넣었을 때 페이지를 불러옵니다. ChatGPT-User, Claude-User, Perplexity-User가 이렇게 동작합니다.
학습용 크롤러를 차단하면 향후 학습 데이터에서 페이지가 빠집니다. 검색용 크롤러를 차단하면 인용이 달린 AI 답변에서 빠질 수 있으며, 이는 대개 기업이 원하는 것과 정반대입니다.
주요 AI 크롤러와 robots.txt 토큰
각 업체는 자사 봇을 문서로 공개합니다. robots.txt에 쓸 이름과 업체의 공식 페이지 링크입니다.
| 토큰 | 회사 | 종류 | 자체 봇 |
|---|---|---|---|
| GPTBot | OpenAI | 학습 | ✓ |
| OAI-SearchBot | OpenAI | AI 검색 | ✓ |
| ChatGPT-User | OpenAI | 사용자 요청 | ✓ |
| ClaudeBot | Anthropic | 학습 | ✓ |
| Claude-SearchBot | Anthropic | AI 검색 | ✓ |
| Claude-User | Anthropic | 사용자 요청 | ✓ |
| PerplexityBot | Perplexity | AI 검색 | ✓ |
| Perplexity-User | Perplexity | 사용자 요청 | ✓ |
| Google-Extended | Gemini의 콘텐츠 사용 | – | |
| Applebot-Extended | Apple | Apple 모델 학습 | – |
| CCBot | Common Crawl | 공개 웹 아카이브 | ✓ |
Google-Extended와 Applebot-Extended는 별도의 봇이 아니라 토큰입니다. Googlebot이나 Applebot이 이미 크롤링한 콘텐츠를 어떻게 쓸 수 있는지 제어합니다. Google은 Google-Extended가 Google 검색 포함 여부나 순위에 영향을 주지 않는다고 말합니다. Google의 검색의 AI 기능에 콘텐츠가 표시되는 방식을 제한하려면, Google은 nosnippet 같은 스니펫 제어를 안내합니다. 모든 봇과 용도를 담은 더 긴 목록은 SEO ProCheck의 AI 크롤러 지도를 참고하세요.
LLM 크롤러를 차단해야 할까요?
정답은 하나가 아닙니다. 콘텐츠의 목적에 따라 다릅니다. robots.txt 기준으로는 세 가지 정책이 대부분의 사이트를 아우릅니다.
| 정책 | 학습 | AI 검색 | 사용자 요청 |
|---|---|---|---|
| 모두 허용 | ✓ | ✓ | ✓ |
| 인용은 허용, 학습은 차단 | – | ✓ | ✓ |
| AI 전면 차단 | – | – | ◐ |
- ChatGPT 검색, Claude, Perplexity에서 인용되고 링크되길 원한다면 검색용 크롤러를 허용하세요. 대부분의 기업에게 이는 원하는 노출입니다.
- 뉴스, 연구, 강의, 유료 데이터처럼 콘텐츠가 곧 상품이라면 학습용 크롤러 차단을 고려하세요. 차단은 향후 수집을 막을 뿐, 이미 수집된 것을 지우지는 않습니다.
- 사용자 요청형 페처 차단은 신중히 생각하세요. 이들은 페이지에 대해 물은 사람을 대신해 움직이며, 일부 업체는 크롤러처럼 robots.txt를 따르지 않을 수 있다고 말합니다. 위 표에 "부분"이라고 표시한 이유입니다.
결정을 문서로 남기세요. 어떤 봇을 허용하고 어떤 봇을 차단하는지, 그리고 그 이유. 그다음 robots.txt를 그에 맞추세요. 문서화된 정책이 있어야 나중에 개발자가 리디자인 중에 모든 것을 차단하는 일을 막을 수 있습니다.
AI 봇용 robots.txt 예시
흔한 설정입니다. AI 검색은 허용하고 학습은 차단합니다.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
여러 User-agent 줄이 하나의 규칙 그룹을 공유할 수 있습니다. 한 가지 함정을 주의하세요. robots.txt 표준인 RFC 9309에 따르면 크롤러는 자신을 지정한 가장 구체적인 그룹만 따릅니다. GPTBot용 그룹을 추가하면 GPTBot은 Disallow: /search/를 포함한 * 그룹을 완전히 무시합니다. 그래서 위의 검색 그룹이 공통 규칙 두 개를 반복하는 것입니다. 이름이 지정된 그룹에서 disallow하지 않은 것은 모두 허용됩니다.
사이트 전체가 아니라 폴더 하나만 학습에서 막으려면:
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
사용자 요청형 페처는 robots.txt에 기대기 전에 각 업체의 페이지를 읽어 보세요.
모든 규칙은 배포 전에 실제 URL로 테스트하세요. 2026년 11월 20일 neova.app에서 의도보다 더 많이 막는 규칙 두 개를 발견했습니다.
| 걸린 규칙 | 영향 | 영향 범위 |
|---|---|---|
| /cdn-cgi/ 차단 | Cloudflare 이메일 스크립트 차단 | 1,320페이지 |
| 파비콘까지 덮은 Disallow: / | Google에서 로고 대신 글자 하나가 표시됨 | 모든 검색 결과 |
둘 다 해당 경로를 허용해 해결했습니다. 봇 하나나 폴더 하나를 위해 쓴 Disallow는 스크립트와 아이콘을 포함해 그 아래 모든 파일에 적용됩니다.
robots.txt 너머: 방화벽, CDN, 인증
robots.txt는 자물쇠가 아니라 요청입니다. 위의 AI 기업들은 자사 크롤러가 이를 어떻게 다루는지 문서로 밝히지만, 다른 봇은 무시할 수 있습니다.
- 방화벽도 확인하세요. 일부 CDN과 WAF에는 AI 크롤러를 차단하는 설정이 있고, 기본값으로 켜져 있기도 합니다. robots.txt에서 GPTBot을 허용해도 403으로 응답할 수 있습니다. 각 크롤러가 실제로 무엇을 받는지 테스트하세요.
- 믿기 전에 확인하세요. OpenAI와 Perplexity는 자사 봇의 IP 목록을 공개하고, Google과 Microsoft도 마찬가지입니다. 봇 이름을 대면서 그 회사 목록에 없는 주소에서 온 요청은 그 봇이 아닙니다.
- 악성 봇은 엣지에서 차단하세요. robots.txt를 무시하는 스크레이퍼에는 CDN이나 서버의 규칙만이 통합니다.
실제로 이런 일이 얼마나 자주 생기는지: SEO ProCheck는 Can AI Crawlers Actually Read Your Site? 400 Sites Measured에서 400개 사이트에서 AI 크롤러가 실제로 받는 것을 테스트했습니다.
AI 크롤러가 페이지를 읽을 수 있게 하기
크롤러를 허용하는 것은 AI 크롤러 SEO의 절반입니다. 나머지 절반은 가져간 것을 읽을 수 있게 하는 것입니다.
- 주요 콘텐츠는 HTML에 넣으세요. 모든 크롤러가 JavaScript를 실행하지는 않습니다. 스크립트가 실행된 뒤에만 텍스트가 나타난다면 일부 AI 크롤러는 그것을 결코 보지 못한다고 가정하세요.
- 요점을 앞에 두세요. 본문 앞의 긴 메뉴와 상용구는 답을 페이지 아래로 밀어냅니다.
- 핵심 정보를 이미지, PDF, 위젯에 숨기지 마세요. 가격, 사양, 연락처는 일반 HTML 텍스트에 있어야 합니다.
- 실제 상태 코드를 반환하세요. AI 답변이 인용한 페이지가 깨지거나 리디렉션되면 독자를 오류 페이지로 보냅니다.
- HTML을 가볍게 유지하세요. Googlebot은 HTML 파일의 처음 2MB를 읽습니다. Neova는 이를 넘는 페이지에 HTML이 2MB를 넘거나 Core Web Vitals가 좋음 범위에 못 미침으로 플래그를 지정합니다.
- llms.txt는 선택 사항입니다. 웹 표준이 아니라 제안된 형식입니다. 게시한다면 유효하고 최신 상태로 유지하세요.
AI 크롤러가 보는 것을 확인하는 법
Neova는 데스크톱 앱과 Neova Online에서 각 AI 크롤러에게 무엇이 허용되고 실제로 무엇이 제공되는지 보여 줍니다.
- AI 어시스턴트별 제공 내용은 ChatGPT, Claude, Perplexity와 그 크롤러, Meta AI, Google-Extended, Common Crawl 등 10개 AI 에이전트로서 샘플 페이지를 요청하고, 누가 전체 접근을 받는지와 robots.txt가 무엇을 허용하는지 보여 줍니다.
- AI 크롤러로 크롤링하기. GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot 또는 다른 AI user agent로 전체 크롤링을 실행합니다.
- robots.txt 테스터는 Googlebot, Bingbot, AI 크롤러가 무엇을 가져갈 수 있는지 각각 차단된 URL과 함께 보여 주고, 크롤러 전용 그룹이
*그룹의 규칙을 버리게 되는 경우를 알려 줍니다. - 렌더링 화면은 JavaScript가 필요한 페이지 수와 각 AI 크롤러가 받는 내용을 보여 줍니다.
- 데스크톱 앱의 서버 로그는 확인된 AI 크롤러 방문과 거부를 URL별로 보여 줍니다.
- Bing Webmaster Tools와 Microsoft Clarity의 AI Visibility를 연결하면 AI 인용을 볼 수 있습니다. Microsoft Clarity를 참고하세요.
먼저 볼 점검 항목: AI 검색 크롤러 user agent로 보낸 요청이 차단됨, robots.txt의 AI 크롤러 규칙이 문서화된 정책과 다름, 사용자 요청형 AI 페처가 차단됨, 주요 페이지가 스니펫을 제한하거나 AI 검색 크롤러를 차단함, AI 봇이 오류를 반환하는 URL을 요청함. Free 요금제에 AI 검색 화면이 포함됩니다. 가격을 보거나 Neova를 다운로드하세요.
AI 크롤러 SEO 체크리스트
| 항목 | 완료 기준 |
|---|---|
| 문서화된 정책 | AI 봇마다 허용 또는 차단 |
| robots.txt | 정책과 일치 |
| 이름 지정 그룹 | 공통 규칙 반복 |
| AI 검색 크롤러 | 인용될 페이지에서 허용 |
| 방화벽과 CDN | 정책과 동일 |
| 각 크롤러가 받는 것 | 200과 전체 페이지 |
| 주요 콘텐츠 | HTML에, 앞쪽에 |
| 핵심 정보 | 이미지가 아닌 텍스트로 |
| 로그 | 확인된 방문, 가짜는 따로 집계 |
| 인용된 페이지 | 200으로 응답 |
자주 묻는 질문
GPTBot이란 무엇인가요?
GPTBot은 OpenAI가 모델 학습에 쓰일 수 있는 콘텐츠를 수집하는 크롤러입니다. ChatGPT 검색용 페이지를 찾는 OAI-SearchBot과는 별개입니다. OpenAI 크롤러 페이지를 참고하세요.
GPTBot을 차단하면 ChatGPT 검색에서 사이트가 빠지나요?
아니요. OpenAI는 봇을 따로 쓰며, 각 봇은 자기 robots.txt 규칙을 읽습니다. ChatGPT 검색은 OAI-SearchBot에 의존하므로 GPTBot은 차단하고 OAI-SearchBot은 허용할 수 있습니다.
Google-Extended가 Google 순위에 영향을 주나요?
Google은 Google 검색 포함 여부에 영향을 주지 않으며 순위 신호도 아니라고 말합니다. 콘텐츠가 Gemini 모델에 쓰일 수 있는지를 제어합니다.
LLM 크롤러는 어떻게 차단하나요?
robots.txt에 GPTBot, ClaudeBot, CCBot처럼 각 크롤러 이름을 지정한 그룹을 Disallow: /와 함께 추가하세요. robots.txt를 무시하는 봇에는 방화벽이나 CDN에 규칙을 추가하세요.
AI 크롤러가 내 사이트를 방문하는지 어떻게 알 수 있나요?
서버나 CDN 로그를 읽고, 각 요청을 그 회사가 공개한 IP 목록과 대조하세요. Neova의 서버 로그 도구가 URL별로 이 작업을 합니다. 로그 형식은 연결하지 않고 가져오기를 참고하세요.