robots.txt 테스터: 엉뚱한 페이지를 막기 전에 규칙을 테스트하는 법
robots.txt는 짧지만 힘이 큰 텍스트 파일입니다. 한 줄로 숨기려던 폴더를 검색엔진에서 막을 수도 있고, 순위를 올리려던 사이트 전체를 막아 버릴 수도 있습니다. robots.txt 테스터는 크롤러마다 무엇을 가져가도 되는지 URL별로 알려 주므로, Googlebot보다 먼저 알 수 있습니다.
robots.txt 테스터가 하는 일
robots.txt 테스터는 robots.txt 파일과 URL을 받아, 주어진 사용자 에이전트에 적용되는 규칙 그룹을 고르고, 그 URL이 허용되는지 차단되는지, 어느 줄이 그렇게 결정했는지 알려 줍니다. 좋은 테스터는 파서가 읽지 못하는 줄, 무시되는 필드, 서로 상쇄되는 규칙도 짚어 줍니다.
URL을 하나씩 테스트하는 것은 빠르게 확인할 때 유용합니다. 크롤링의 모든 URL을 테스트해야 뜻밖의 문제가 잡힙니다. 한 폴더용으로 쓴 규칙이 상품 필터까지 막거나, 와일드카드가 페이지 렌더링에 필요한 CSS를 막는 경우입니다.
Google의 robots.txt 테스터 지원 종료
오랫동안 Search Console에는 파일을 편집하고 URL을 테스트할 수 있는 robots.txt 테스터가 있었습니다. 2023년 말 Google은 이를 종료하고 robots.txt 보고서로 대체했습니다. 이 보고서는 속성의 상위 20개 호스트에서 Google이 찾은 robots.txt 파일, 각 파일의 마지막 크롤링 시점, 경고나 오류를 보여 줍니다. 급한 수정 후 파일 재크롤링을 요청할 수도 있습니다.
이 보고서는 Google이 라이브 파일을 어떻게 읽었는지 알려 줍니다. 아직 반영되지 않은 규칙은 테스트하지 않으며, URL 목록 전체를 파일에 대조하지도 않습니다. 그러려면 별도의 테스터가 필요합니다. Google은 자체 오픈소스 robots.txt 파서를 공개하고 있으며, Bing Webmaster Tools에는 Bingbot이 파일을 어떻게 읽는지 확인하기 좋은 robots.txt 테스터가 있습니다.
robots.txt 규칙의 작동 방식
파일은 호스트 루트에 있습니다. 예를 들어 https://www.example.com/robots.txt입니다. 규칙은 로봇 배제 프로토콜인 RFC 9309가 정의하며, Google은 Google의 robots.txt 사양 해석 방법에서 읽는 방식을 문서화합니다. 파일은 그룹으로 이루어집니다. 각 그룹은 User-agent 줄 하나 이상으로 시작하고, 그 뒤에 Allow와 Disallow 규칙이 옵니다.
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
Google 문서 기준으로 테스터가 확인하는 사항입니다. SEO ProCheck의 robots.txt 전체 레퍼런스가 모든 필드를 다룹니다.
- 크롤러당 그룹 하나. 크롤러는 자기 이름과 맞는 가장 구체적인 그룹 하나만 따릅니다. Googlebot 전용 그룹이 있으면
*그룹은 완전히 무시합니다. - 가장 긴 경로가 우선합니다. Allow와 Disallow가 모두 URL과 일치하면 경로가 더 긴 규칙이 적용됩니다. 길이가 같으면 Google은 덜 제한적인 규칙을 씁니다.
- 와일드카드 두 개.
*는 어떤 문자열과도 일치하고$는 URL의 끝을 나타냅니다. - 경로는 대소문자를 구분합니다.
Disallow: /Admin은/admin을 막지 않습니다. - 호스트당 파일 하나. 규칙은 파일이 제공되는 프로토콜, 호스트, 포트에만 적용됩니다. 하위 도메인에는 자체 파일이 필요합니다.
robots.txt가 하지 않는 일
robots.txt는 색인이 아니라 크롤링을 제어합니다. Google의 robots.txt 소개는 차단된 URL도 다른 페이지가 링크하면 색인될 수 있으며, 보통 설명 없이 표시된다고 분명히 말합니다. 페이지를 검색 결과에서 빼고 싶다면 크롤링을 허용하고 noindex를 쓰세요. Google이 가져올 수 없는 페이지는 noindex도 볼 수 없는 페이지입니다.
알아 둘 만한 다른 한계:
- noindex 줄 없음. Google은 2019년에 robots.txt의 nofollow, crawl-delay 규칙과 함께 noindex 지원을 중단했습니다.
- Google에는 crawl-delay 없음. Googlebot은
Crawl-delay를 무시합니다. 일부 다른 크롤러는 이를 읽으므로, 모든 사용자 에이전트에 설정한 값이 그 크롤러들을 크게 늦출 수 있습니다. - 보안 기능 아님. 파일은 공개되어 있고, 규칙을 지키는 크롤러가 자발적으로 따를 뿐입니다. 비공개여야 할 것은 로그인이 필요합니다.
테스터가 잡아내는 흔한 robots.txt 실수
| 실수 | 영향 | 해결 방법 |
|---|---|---|
스테이징에서 남은 Disallow: / | 사이트 전체 차단 | 해당 줄 제거 |
| 공통 규칙 없는 이름 지정 그룹 | 그 봇에는 * 규칙이 적용되지 않음 | 공통 규칙 복사 |
| CSS, JavaScript, 이미지 차단 | 페이지 렌더링 불가 | 파일 허용 |
| 너무 넓은 와일드카드 | /*?가 필터와 페이지를 막음 | 패턴 좁히기 |
| User-agent 앞의 규칙, 오타 | 줄을 건너뜀 | 구문 수정 |
| 색인 제거용 Disallow | noindex를 끝내 읽지 못함 | 허용 후 noindex |
| www와 non-www가 다름 | 호스트마다 규칙이 다름 | 파일 하나만 제공 |
XML 사이트맵에 나열한 URL을 막으면 엇갈린 신호를 보냅니다. 그쪽은 XML 사이트맵 검사 가이드에서 다룹니다.
서버 오류와 파일 크기
파일이 어떻게 제공되는지는 무엇이 쓰여 있는지만큼 중요합니다. Google은 경우별 처리 방식을 문서로 공개합니다.
| 경우 | Google의 처리 | 기간 |
|---|---|---|
| 4xx(429 제외) | 파일이 없는 것처럼 크롤링 | 고칠 때까지 |
| 5xx 또는 429 | 사이트 크롤링 중단 | 처음 12시간 |
| 계속 실패 | 마지막 정상 사본 사용 | 최대 30일 |
| 500 KiB 초과 파일 | 나머지 무시 | 500 KiB 이후 |
| 모든 변경 | 캐시된 사본 사용 | 최대 24시간 |
robots.txt 보고서의 재크롤링 요청은 급한 수정용입니다. 하필 그때 시간 초과가 난 robots.txt는 사이트 전체의 크롤링을 멈출 수 있습니다. 대규모 사이트에서 이것이 가장 중요한 이유는 크롤링 예산 가이드에서 설명합니다.
저희 robots.txt에서 찾은 것
2026년 11월 20일 neova.app 자체 SEO 점검에서 의도보다 더 많이 막는 규칙 두 개를 찾았습니다.
| 차단된 것 | 영향받은 페이지 | Google이 본 것 | 해결 방법 |
|---|---|---|---|
| /cdn-cgi/ 아래의 Cloudflare 이메일 스크립트 | 1,320 | 가져올 수 없는 스크립트 | 그 스크립트를 허용 |
| /favicon과 /apple-touch-icon.png | 모든 검색 결과 | 로고 대신 글자 하나만 표시 | 두 파일 모두 허용 |
파비콘 파일이 Disallow: / 규칙 뒤에 있었습니다. Google의 파비콘 가이드라인은 Googlebot-Image가 파일을 크롤링할 수 있어야 한다고 요구하므로, 검색 결과에서 neova.app 옆에 저희 로고 대신 글자가 표시되었습니다. 두 규칙 모두 파일만 봐서는 잘못돼 보이지 않았습니다. 페이지가 불러오는 모든 URL과 파일에 규칙을 대조해 테스트했을 때에야 드러났습니다.
robots.txt를 안전하게 테스트하는 법
- 기억나는 몇 개가 아니라 실제 URL의 전체 목록을 갖도록 사이트를 크롤링하세요.
- 중요한 크롤러마다 그 목록으로 라이브 파일을 테스트하세요. Googlebot, Googlebot-Image, Bingbot, AI 크롤러입니다.
- 변경 사항을 초안으로 작성하고 같은 목록으로 초안을 테스트하세요. 새로 차단되는 URL과 새로 허용되는 URL을 보세요.
- 리소스를 확인하세요. 색인 가능한 페이지가 스크립트, 스타일시트, 이미지를 잃지 않는지 확인합니다.
- 배포한 뒤 확인하세요. Search Console robots.txt 보고서에서 Google이 새 버전을 오류 없이 가져갔는지 봅니다.
- 다시 크롤링해 비교하면, 나중에 생기는 실수도 잡을 수 있습니다.
AI 크롤러가 무엇을 가져가도 되는지 정하고 있다면 AI 크롤러 가이드에 이름과 각자 하는 일이 나와 있습니다. 차단된 페이지는 색인 가능 여부 검사 가이드에서도 다룹니다.
Neova로 robots.txt 테스트하기
Neova의 robots.txt 테스터는 라이브 파일이나 초안의 모든 줄을 Google 문서와 RFC 9309 정의에 따라 쉬운 말로 설명하고, 각 규칙과 일치하는 크롤링된 URL을 보여 줍니다. 모든 크롤러 화면은 Googlebot, Bingbot, AI 크롤러가 무엇을 가져갈 수 있는지, 각각 어떤 URL에서 차단되는지 보여 줍니다. 크롤러 전용 그룹 때문에 * 그룹 규칙이 빠지는 경우를 알려 주고, 초안 테스트는 변경으로 새로 차단되거나 새로 허용될 크롤링의 모든 URL을 나열합니다. 그런 다음 초안을 따르며 크롤링해 전체 효과를 볼 수 있습니다. 바탕이 되는 점검은 다음과 같습니다.
- robots.txt에 잘못된 구문이나 알 수 없는 필드가 있음
- robots.txt에 연결할 수 없거나 너무 큼: 5xx, 429, 응답 없음, 500 KiB 초과
- 내부 URL이 robots.txt에서 Disallow됨
- HTML 페이지가 robots.txt에서 차단된 JavaScript 파일을 사용함, 스타일시트, 이미지
- robots.txt에서 모든 사용자 에이전트에 Crawl-delay가 설정됨
- 호스트 변형의 robots.txt가 캐노니컬 호스트와 다름
- 이전 크롤링 이후 robots.txt 규칙이 바뀜
- 파비콘이 없거나, 깨졌거나, 차단됨: Googlebot-Image에 차단된 파비콘 포함
- robots.txt에서 차단된 URL이 XML 사이트맵에 나열됨
Neova는 크롤링이 읽은 robots.txt 버전을 모두 보관하므로 규칙이 언제 바뀌었는지 볼 수 있습니다. 사용자 에이전트 설정으로 Googlebot, Bingbot, AI 크롤러, 사용자 지정 문자열로 크롤링할 수 있습니다. 기능을 보거나 Neova를 다운로드하세요.
자주 묻는 질문
Google에 아직 robots.txt 테스터가 있나요?
아니요. Google은 2023년 Search Console의 robots.txt 테스터를 종료하고 robots.txt 보고서로 대체했습니다. 이 보고서는 Google이 라이브 파일을 어떻게 읽었는지와 오류를 보여 줍니다. 반영 전에 변경을 테스트하려면 별도의 robots.txt 테스터를 쓰세요.
URL이 robots.txt로 차단되는지 어떻게 테스트하나요?
크롤러의 사용자 에이전트와 일치하는 그룹을 찾고, 그다음 URL과 일치하는 가장 긴 Allow 또는 Disallow 경로를 찾으세요. 그 규칙이 결정합니다. robots.txt 테스터는 URL 하나 또는 크롤링의 모든 URL에 대해 이를 대신 해 주고 해당 줄을 알려 줍니다. 예외적인 경우는 SEO ProCheck의 robots.txt FAQ가 답합니다.
robots.txt로 페이지 색인을 막을 수 있나요?
아니요. 크롤링을 막을 뿐입니다. 차단된 URL도 다른 페이지가 링크하면 색인될 수 있습니다. 검색 결과에서 빼고 싶다면 Google이 크롤링할 수 있는 페이지에 noindex를 쓰세요.
Googlebot이 User-agent: * 규칙을 무시하는 이유는?
파일에 Googlebot 이름의 그룹이 있기 때문입니다. 크롤러는 자기와 맞는 가장 구체적인 그룹 하나만 따르므로, 공통 규칙을 Googlebot 그룹에도 복사하세요.
robots.txt 변경이 적용되기까지 얼마나 걸리나요?
Google은 일반적으로 robots.txt를 최대 24시간 캐시합니다. 급한 수정 후에는 Search Console robots.txt 보고서에서 재크롤링을 요청할 수 있습니다.