noindex 검사: 트래픽을 잃기 전에 noindex 페이지 찾기
HTML 한 줄이 페이지를 Google에서 빼냅니다. 진단 페이지에는 딱 원하는 일이지만, 개발자가 오픈 후 되돌리는 것을 잊은 상품 페이지에는 결코 원하지 않는 일입니다. noindex 검사는 어떤 페이지에 noindex가 있는지, 어디에서 설정되었는지, Google이 그것을 볼 수나 있는지 알려 줍니다.
noindex 검사가 하는 일
noindex 검사는 URL을 가져와 두 곳을 읽습니다. HTML의 meta robots 태그와 HTTP 응답 헤더의 X-Robots-Tag입니다. 둘 중 하나가 noindex나 none이라고 하는지, 어떤 크롤러에 대해서인지 보고합니다.
URL 하나를 확인하면 간단한 질문에 답할 수 있습니다. 크롤링의 모든 URL을 확인하면 쓸모 있는 질문에 답합니다. 순위를 노린 색인 가능 페이지 중 어떤 것에 noindex가 있는지, 어떤 noindex 페이지가 아직 XML 사이트맵에 있는지, 어떤 페이지는 robots.txt가 막아서 Google이 읽을 수 없는지입니다.
noindex를 설정하는 두 가지 방법
Google의 noindex로 색인 생성 차단 문서는 두 방법의 효과가 같다고 말합니다. 파일 유형에 맞는 쪽을 고르세요.
| 방법 | 위치 | 적용 대상 | 확인 위치 |
|---|---|---|---|
| meta robots 태그 | HTML head | HTML 페이지 | 페이지 소스 |
| X-Robots-Tag 헤더 | HTTP 응답 | 모든 파일, PDF, 이미지 | 응답 헤더 |
| robots.txt noindex 줄 | robots.txt | – 지원되지 않음 | Google이 무시함 |
<!-- in the <head> -->
<meta name="robots" content="noindex">
# as an HTTP response header
X-Robots-Tag: noindex
robots를 googlebot 같은 크롤러 이름으로 바꾸면 규칙을 한 크롤러에만 적용할 수 있습니다. SEO ProCheck의 meta robots 및 X-Robots-Tag 참고 자료에 모든 값이 나와 있습니다.
robots 지시어 한눈에 보기
Google이 robots meta 태그 사양에 문서화한 값과 각 값이 하는 일입니다.
| 지시어 | 영향 | 흔한 용도 |
|---|---|---|
noindex | 검색 결과에 표시 안 됨 | 진단 페이지, 사이트 내 검색 |
nofollow | 페이지의 링크를 따라가지 않음 | 신뢰할 수 없는 사용자 페이지 |
없음 | noindex와 nofollow 함께 | 맞는 선택인 경우가 드묾 |
nosnippet | 텍스트 스니펫 없음 | 유료 콘텐츠나 법률 문구 |
max-snippet:[n] | 스니펫 최대 n자 | 더 짧은 스니펫 |
unavailable_after:[date] | 날짜 이후 제외 | 이벤트, 할인 행사 |
index, follow | 기본값, 효과 없음 | 생략 가능 |
두 지시어가 충돌하면 Google은 더 제한적인 쪽을 적용합니다. HTML에 index, 헤더에 noindex가 있는 페이지는 결국 색인되지 않습니다.
엉뚱한 페이지를 숨기는 noindex 실수
| 실수 | 영향 | 해결 방법 |
|---|---|---|
| 스테이징 noindex를 오픈 때 그대로 둠 | 사이트 전체가 빠짐 | 제거하고 재크롤링 |
| noindex와 robots.txt Disallow 함께 | noindex를 끝내 읽지 못함 | 크롤링 허용 |
| JavaScript가 noindex를 제거 | Google이 렌더링을 건너뛸 수 있음 | 최종 태그를 제공 |
| XML 사이트맵에 noindex URL | 엇갈린 신호 | 사이트맵에서 제외 |
| canonical과 noindex 함께 | 충돌하는 신호 | 하나만 선택 |
| head 밖의 meta robots | 태그가 무시될 수 있음 | head 안으로 이동 |
| 헤더와 HTML이 다름 | 더 엄격한 쪽 적용 | 출처를 하나로 |
| hreflang이 noindex를 가리킴 | 언어 세트가 깨짐 | 색인 가능한 URL을 가리키기 |
가장 흔히 놀라는 것은 두 번째 행입니다. Google은 robots.txt가 페이지를 막으면 크롤러가 noindex 규칙을 결코 보지 못하며, URL은 링크만으로도 검색 결과에 나타날 수 있다고 말합니다. 세 번째는 Google의 JavaScript SEO 기본사항에서 나옵니다. Google이 원본 HTML에서 noindex를 발견하면 렌더링을 건너뛸 수 있으므로, 나중에 이를 지우는 스크립트는 실행되지 않을 수 있습니다. 크롤링 쪽은 robots.txt 테스터 가이드에서 다룹니다.
noindex가 반영되는 데 걸리는 시간과 더 빠른 방법
Google은 페이지를 크롤링해 noindex를 읽으면 페이지를 뺍니다. 언제 다시 오느냐에 달려 있으며, Google은 일부 페이지는 몇 달이 걸릴 수 있다고 말합니다. 목표에 따라 도구를 고르세요.
| 목표 | 사용 | 속도 |
|---|---|---|
| 지금 바로 검색 결과에서 제외 | 삭제 도구, 그다음 noindex | 가장 빠름 |
| 검색 결과에서 영구 제외 | noindex, 404 또는 410 | 다음 크롤링 |
| 크롤링은 되지만 색인은 안 됨 | noindex | 다음 크롤링 |
| 아예 크롤링 안 됨 | robots.txt Disallow | 다음 robots.txt 가져오기 |
| 검색 결과로 복귀 | noindex 제거, 색인 생성 요청 | 며칠에서 몇 주 |
삭제 도구는 URL을 약 6개월 동안만 숨기므로, 그 뒤에는 noindex, 404, 410이 필요합니다. 고친 뒤 중요한 페이지 몇 개는 URL 검사의 색인 생성 요청을 쓰세요.
noindex를 직접 확인하는 법
URL 하나라면 두 곳을 모두 확인하세요. 먼저 헤더, 그다음 HTML입니다.
curl -sI https://example.com/page | grep -i x-robots-tag
curl -s https://example.com/page | grep -io '<meta[^>]*robots[^>]*>'
그다음 Google이 본 것을 확인하세요. Search Console의 URL 검사는 Googlebot이 받은 HTML을 보여 주고, 페이지 색인 생성 보고서는 'noindex' 태그에 의해 제외됨으로 제외된 모든 페이지를 나열합니다. 릴리스마다 그 목록을 보세요. 검색에 나오길 원하는 페이지는 절대 그 목록에 있어서는 안 됩니다.
수동 확인에는 함정이 두 가지 있습니다. 사이트가 크롤러 사용자 에이전트에 브라우저와 다르게 응답할 수 있고, JavaScript가 추가하는 태그는 curl이 아니라 렌더링된 HTML에만 보입니다. 원본 HTML과 렌더링된 HTML을 모두 가져오는 크롤러는 둘 다 봅니다.
사이트 전체의 noindex 점검하기
- 홈페이지에서 사이트를 크롤링하세요. 사이트가 JavaScript에 의존한다면 JavaScript 렌더링을 켭니다.
- 색인 불가 페이지를 모두 이유별로 나열하세요. noindex, 다른 URL로의 canonical, 오류 상태, 차단입니다.
- noindex 페이지를 템플릿별로 정렬하세요. noindex가 있는 템플릿 하나가 페이지 수백 개를 한꺼번에 숨길 수 있습니다.
- XML 사이트맵과 비교하세요. 나열된 URL은 모두 색인 가능해야 합니다. 2026년 10월 17일 seoprocheck.com 자체 크롤링에서 사이트맵에는 URL 1,835개가 있었고 200으로 응답한 HTML 페이지는 4,561개였습니다. 두 목록을 서로 대조해야 하는 이유입니다.
- Search Console 클릭을 결합하세요. 여전히 클릭을 받는 noindex 페이지는 최근까지 순위가 있었던 페이지로, 실수의 신호인 경우가 많습니다.
- 릴리스마다 다시 크롤링하고 비교해서, 새 noindex가 배포된 날 바로 드러나게 하세요.
페이지가 색인되지 못하는 다른 이유는 색인 생성 가능 여부 검사 가이드에서, 사이트맵 쪽은 XML 사이트맵 검사 가이드에서 다룹니다.
Neova로 noindex 페이지 찾기
Neova는 모든 URL을 색인 가능 또는 색인 불가로 표시하고 이유를 알려 줍니다. 상태 200, noindex 없음, 자기 자신을 가리키는 canonical 또는 canonical 없음입니다. 모든 URL의 지시어 열 세트는 모든 URL의 robots 지시어를 Noindex, Nofollow 필터와 함께 보여 줍니다. 마이그레이션 및 스테이징은 noindex를 포함해 스테이징 크롤링을 프로덕션과 비교하므로, 스테이징 noindex가 모르는 사이 오픈까지 가지 않습니다.

이를 뒷받침하는 점검 항목은 다음과 같습니다.
- noindex 지시어가 있음과 noindex와 nofollow 지시어가 있음
- HTML과 HTTP 헤더의 noindex가 다름과 noindex가 두 번 이상 선언됨
- noindex 지시어가 JavaScript로 제거됨
- meta robots 태그가 head 밖에 있음
- noindex URL이 XML 사이트맵에 포함됨
- 캐노니컬 처리된 URL이 noindex임과 캐노니컬이 noindex URL을 가리킴
- 내부 리디렉션이 noindex URL로 끝남과 hreflang이 noindex URL을 가리킴
- URL이 noindex HTML 페이지에서만 링크됨
- noindex URL이 Search Console에서 클릭을 받음: Search Console을 연결한 경우
- unavailable_after 날짜가 지났거나 잘못됨
Free 요금제는 Mac, Windows, Linux에서 크롤링당 URL 1,000개를 모든 점검과 함께 크롤링합니다. Neova를 다운로드하거나 기능을 보세요.
자주 묻는 질문
페이지가 noindex인지 어떻게 확인하나요?
페이지 소스에서 noindex가 있는 meta robots 태그를, HTTP 응답에서 X-Robots-Tag 헤더를 찾으세요. Search Console의 URL 검사는 Googlebot이 본 것을 보여 줍니다. 사이트 전체라면 크롤링한 뒤 색인 불가 페이지를 이유별로 필터링하세요.
robots.txt에서 차단된 페이지에도 noindex가 작동하나요?
아니요. Google이 noindex를 읽으려면 페이지를 크롤링해야 합니다. robots.txt가 막으면 Google은 규칙을 보지 못하고, URL은 링크만으로도 검색 결과에 나타날 수 있습니다. 페이지가 빠질 때까지 크롤링을 허용하세요.
robots.txt의 noindex가 지원되나요?
Google은 지원하지 않습니다. Google은 2019년에 robots.txt의 noindex 줄 지원을 중단했습니다. meta robots 태그나 X-Robots-Tag 헤더를 쓰세요.
noindex 페이지가 Google에서 빠지는 데 얼마나 걸리나요?
Google이 페이지를 다시 크롤링할 때까지이며, 자주 크롤링되는 페이지는 며칠, 드물게 크롤링되는 페이지는 몇 달이 걸릴 수 있습니다. 급하다면 noindex가 반영되는 동안 URL을 약 6개월 숨기는 삭제 도구를 쓰세요.
noindex 페이지를 XML 사이트맵에 넣어야 하나요?
아니요. 사이트맵에는 색인되길 원하는 페이지를 나열해야 합니다. 사이트맵에 noindex URL이 있으면 엇갈린 신호를 보냅니다.