Neova고급 SEO 플랫폼

robots.txt 테스터: 엉뚱한 페이지를 막기 전에 규칙을 테스트하는 법

robots.txt는 짧지만 힘이 큰 텍스트 파일입니다. 한 줄로 숨기려던 폴더를 검색엔진에서 막을 수도 있고, 순위를 올리려던 사이트 전체를 막아 버릴 수도 있습니다. robots.txt 테스터는 크롤러마다 무엇을 가져가도 되는지 URL별로 알려 주므로, Googlebot보다 먼저 알 수 있습니다.

크롤링과 색인robots.txt 테스터2026년 11월 21일 업데이트Neova 팀 작성

robots.txt 테스터가 하는 일

robots.txt 테스터는 robots.txt 파일과 URL을 받아, 주어진 사용자 에이전트에 적용되는 규칙 그룹을 고르고, 그 URL이 허용되는지 차단되는지, 어느 줄이 그렇게 결정했는지 알려 줍니다. 좋은 테스터는 파서가 읽지 못하는 줄, 무시되는 필드, 서로 상쇄되는 규칙도 짚어 줍니다.

URL을 하나씩 테스트하는 것은 빠르게 확인할 때 유용합니다. 크롤링의 모든 URL을 테스트해야 뜻밖의 문제가 잡힙니다. 한 폴더용으로 쓴 규칙이 상품 필터까지 막거나, 와일드카드가 페이지 렌더링에 필요한 CSS를 막는 경우입니다.

Google의 robots.txt 테스터 지원 종료

오랫동안 Search Console에는 파일을 편집하고 URL을 테스트할 수 있는 robots.txt 테스터가 있었습니다. 2023년 말 Google은 이를 종료하고 robots.txt 보고서로 대체했습니다. 이 보고서는 속성의 상위 20개 호스트에서 Google이 찾은 robots.txt 파일, 각 파일의 마지막 크롤링 시점, 경고나 오류를 보여 줍니다. 급한 수정 후 파일 재크롤링을 요청할 수도 있습니다.

이 보고서는 Google이 라이브 파일을 어떻게 읽었는지 알려 줍니다. 아직 반영되지 않은 규칙은 테스트하지 않으며, URL 목록 전체를 파일에 대조하지도 않습니다. 그러려면 별도의 테스터가 필요합니다. Google은 자체 오픈소스 robots.txt 파서를 공개하고 있으며, Bing Webmaster Tools에는 Bingbot이 파일을 어떻게 읽는지 확인하기 좋은 robots.txt 테스터가 있습니다.

robots.txt 규칙의 작동 방식

파일은 호스트 루트에 있습니다. 예를 들어 https://www.example.com/robots.txt입니다. 규칙은 로봇 배제 프로토콜인 RFC 9309가 정의하며, Google은 Google의 robots.txt 사양 해석 방법에서 읽는 방식을 문서화합니다. 파일은 그룹으로 이루어집니다. 각 그룹은 User-agent 줄 하나 이상으로 시작하고, 그 뒤에 Allow와 Disallow 규칙이 옵니다.

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

Google 문서 기준으로 테스터가 확인하는 사항입니다. SEO ProCheck의 robots.txt 전체 레퍼런스가 모든 필드를 다룹니다.

  • 크롤러당 그룹 하나. 크롤러는 자기 이름과 맞는 가장 구체적인 그룹 하나만 따릅니다. Googlebot 전용 그룹이 있으면 * 그룹은 완전히 무시합니다.
  • 가장 긴 경로가 우선합니다. Allow와 Disallow가 모두 URL과 일치하면 경로가 더 긴 규칙이 적용됩니다. 길이가 같으면 Google은 덜 제한적인 규칙을 씁니다.
  • 와일드카드 두 개. *는 어떤 문자열과도 일치하고 $는 URL의 끝을 나타냅니다.
  • 경로는 대소문자를 구분합니다. Disallow: /Admin은 /admin을 막지 않습니다.
  • 호스트당 파일 하나. 규칙은 파일이 제공되는 프로토콜, 호스트, 포트에만 적용됩니다. 하위 도메인에는 자체 파일이 필요합니다.

robots.txt가 하지 않는 일

robots.txt는 색인이 아니라 크롤링을 제어합니다. Google의 robots.txt 소개는 차단된 URL도 다른 페이지가 링크하면 색인될 수 있으며, 보통 설명 없이 표시된다고 분명히 말합니다. 페이지를 검색 결과에서 빼고 싶다면 크롤링을 허용하고 noindex를 쓰세요. Google이 가져올 수 없는 페이지는 noindex도 볼 수 없는 페이지입니다.

알아 둘 만한 다른 한계:

  • noindex 줄 없음. Google은 2019년에 robots.txt의 nofollow, crawl-delay 규칙과 함께 noindex 지원을 중단했습니다.
  • Google에는 crawl-delay 없음. Googlebot은 Crawl-delay를 무시합니다. 일부 다른 크롤러는 이를 읽으므로, 모든 사용자 에이전트에 설정한 값이 그 크롤러들을 크게 늦출 수 있습니다.
  • 보안 기능 아님. 파일은 공개되어 있고, 규칙을 지키는 크롤러가 자발적으로 따를 뿐입니다. 비공개여야 할 것은 로그인이 필요합니다.

테스터가 잡아내는 흔한 robots.txt 실수

실수영향해결 방법
스테이징에서 남은 Disallow: /사이트 전체 차단해당 줄 제거
공통 규칙 없는 이름 지정 그룹그 봇에는 * 규칙이 적용되지 않음공통 규칙 복사
CSS, JavaScript, 이미지 차단페이지 렌더링 불가파일 허용
너무 넓은 와일드카드/*?가 필터와 페이지를 막음패턴 좁히기
User-agent 앞의 규칙, 오타줄을 건너뜀구문 수정
색인 제거용 Disallownoindex를 끝내 읽지 못함허용 후 noindex
www와 non-www가 다름호스트마다 규칙이 다름파일 하나만 제공

XML 사이트맵에 나열한 URL을 막으면 엇갈린 신호를 보냅니다. 그쪽은 XML 사이트맵 검사 가이드에서 다룹니다.

서버 오류와 파일 크기

파일이 어떻게 제공되는지는 무엇이 쓰여 있는지만큼 중요합니다. Google은 경우별 처리 방식을 문서로 공개합니다.

경우Google의 처리기간
4xx(429 제외)파일이 없는 것처럼 크롤링고칠 때까지
5xx 또는 429사이트 크롤링 중단처음 12시간
계속 실패마지막 정상 사본 사용최대 30일
500 KiB 초과 파일나머지 무시500 KiB 이후
모든 변경캐시된 사본 사용최대 24시간

robots.txt 보고서의 재크롤링 요청은 급한 수정용입니다. 하필 그때 시간 초과가 난 robots.txt는 사이트 전체의 크롤링을 멈출 수 있습니다. 대규모 사이트에서 이것이 가장 중요한 이유는 크롤링 예산 가이드에서 설명합니다.

저희 robots.txt에서 찾은 것

2026년 11월 20일 neova.app 자체 SEO 점검에서 의도보다 더 많이 막는 규칙 두 개를 찾았습니다.

차단된 것영향받은 페이지Google이 본 것해결 방법
/cdn-cgi/ 아래의 Cloudflare 이메일 스크립트1,320가져올 수 없는 스크립트그 스크립트를 허용
/favicon과 /apple-touch-icon.png모든 검색 결과로고 대신 글자 하나만 표시두 파일 모두 허용

파비콘 파일이 Disallow: / 규칙 뒤에 있었습니다. Google의 파비콘 가이드라인은 Googlebot-Image가 파일을 크롤링할 수 있어야 한다고 요구하므로, 검색 결과에서 neova.app 옆에 저희 로고 대신 글자가 표시되었습니다. 두 규칙 모두 파일만 봐서는 잘못돼 보이지 않았습니다. 페이지가 불러오는 모든 URL과 파일에 규칙을 대조해 테스트했을 때에야 드러났습니다.

robots.txt를 안전하게 테스트하는 법

  1. 기억나는 몇 개가 아니라 실제 URL의 전체 목록을 갖도록 사이트를 크롤링하세요.
  2. 중요한 크롤러마다 그 목록으로 라이브 파일을 테스트하세요. Googlebot, Googlebot-Image, Bingbot, AI 크롤러입니다.
  3. 변경 사항을 초안으로 작성하고 같은 목록으로 초안을 테스트하세요. 새로 차단되는 URL과 새로 허용되는 URL을 보세요.
  4. 리소스를 확인하세요. 색인 가능한 페이지가 스크립트, 스타일시트, 이미지를 잃지 않는지 확인합니다.
  5. 배포한 뒤 확인하세요. Search Console robots.txt 보고서에서 Google이 새 버전을 오류 없이 가져갔는지 봅니다.
  6. 다시 크롤링해 비교하면, 나중에 생기는 실수도 잡을 수 있습니다.

AI 크롤러가 무엇을 가져가도 되는지 정하고 있다면 AI 크롤러 가이드에 이름과 각자 하는 일이 나와 있습니다. 차단된 페이지는 색인 가능 여부 검사 가이드에서도 다룹니다.

Neova로 robots.txt 테스트하기

Neova의 robots.txt 테스터는 라이브 파일이나 초안의 모든 줄을 Google 문서와 RFC 9309 정의에 따라 쉬운 말로 설명하고, 각 규칙과 일치하는 크롤링된 URL을 보여 줍니다. 모든 크롤러 화면은 Googlebot, Bingbot, AI 크롤러가 무엇을 가져갈 수 있는지, 각각 어떤 URL에서 차단되는지 보여 줍니다. 크롤러 전용 그룹 때문에 * 그룹 규칙이 빠지는 경우를 알려 주고, 초안 테스트는 변경으로 새로 차단되거나 새로 허용될 크롤링의 모든 URL을 나열합니다. 그런 다음 초안을 따르며 크롤링해 전체 효과를 볼 수 있습니다. 바탕이 되는 점검은 다음과 같습니다.

Neova는 크롤링이 읽은 robots.txt 버전을 모두 보관하므로 규칙이 언제 바뀌었는지 볼 수 있습니다. 사용자 에이전트 설정으로 Googlebot, Bingbot, AI 크롤러, 사용자 지정 문자열로 크롤링할 수 있습니다. 기능을 보거나 Neova를 다운로드하세요.

자주 묻는 질문

Google에 아직 robots.txt 테스터가 있나요?

아니요. Google은 2023년 Search Console의 robots.txt 테스터를 종료하고 robots.txt 보고서로 대체했습니다. 이 보고서는 Google이 라이브 파일을 어떻게 읽었는지와 오류를 보여 줍니다. 반영 전에 변경을 테스트하려면 별도의 robots.txt 테스터를 쓰세요.

URL이 robots.txt로 차단되는지 어떻게 테스트하나요?

크롤러의 사용자 에이전트와 일치하는 그룹을 찾고, 그다음 URL과 일치하는 가장 긴 Allow 또는 Disallow 경로를 찾으세요. 그 규칙이 결정합니다. robots.txt 테스터는 URL 하나 또는 크롤링의 모든 URL에 대해 이를 대신 해 주고 해당 줄을 알려 줍니다. 예외적인 경우는 SEO ProCheck의 robots.txt FAQ가 답합니다.

robots.txt로 페이지 색인을 막을 수 있나요?

아니요. 크롤링을 막을 뿐입니다. 차단된 URL도 다른 페이지가 링크하면 색인될 수 있습니다. 검색 결과에서 빼고 싶다면 Google이 크롤링할 수 있는 페이지에 noindex를 쓰세요.

Googlebot이 User-agent: * 규칙을 무시하는 이유는?

파일에 Googlebot 이름의 그룹이 있기 때문입니다. 크롤러는 자기와 맞는 가장 구체적인 그룹 하나만 따르므로, 공통 규칙을 Googlebot 그룹에도 복사하세요.

robots.txt 변경이 적용되기까지 얼마나 걸리나요?

Google은 일반적으로 robots.txt를 최대 24시간 캐시합니다. 급한 수정 후에는 Search Console robots.txt 보고서에서 재크롤링을 요청할 수 있습니다.

이 글 활용하기

어시스턴트 링크를 열면 이 페이지에 대한 질문이 미리 작성되어 있습니다.

Neova로 사이트를 크롤링하세요Free 요금제는 Mac, Windows, Linux에서 모든 점검을 실행합니다. 신용카드가 필요 없습니다.

계속 읽기