Neova고급 SEO 플랫폼

noindex 검사: 트래픽을 잃기 전에 noindex 페이지 찾기

HTML 한 줄이 페이지를 Google에서 빼냅니다. 진단 페이지에는 딱 원하는 일이지만, 개발자가 오픈 후 되돌리는 것을 잊은 상품 페이지에는 결코 원하지 않는 일입니다. noindex 검사는 어떤 페이지에 noindex가 있는지, 어디에서 설정되었는지, Google이 그것을 볼 수나 있는지 알려 줍니다.

크롤링과 색인noindex 검사2026년 11월 21일 업데이트Neova 팀 작성

noindex 검사가 하는 일

noindex 검사는 URL을 가져와 두 곳을 읽습니다. HTML의 meta robots 태그와 HTTP 응답 헤더의 X-Robots-Tag입니다. 둘 중 하나가 noindex나 none이라고 하는지, 어떤 크롤러에 대해서인지 보고합니다.

URL 하나를 확인하면 간단한 질문에 답할 수 있습니다. 크롤링의 모든 URL을 확인하면 쓸모 있는 질문에 답합니다. 순위를 노린 색인 가능 페이지 중 어떤 것에 noindex가 있는지, 어떤 noindex 페이지가 아직 XML 사이트맵에 있는지, 어떤 페이지는 robots.txt가 막아서 Google이 읽을 수 없는지입니다.

noindex를 설정하는 두 가지 방법

Google의 noindex로 색인 생성 차단 문서는 두 방법의 효과가 같다고 말합니다. 파일 유형에 맞는 쪽을 고르세요.

방법위치적용 대상확인 위치
meta robots 태그HTML headHTML 페이지페이지 소스
X-Robots-Tag 헤더HTTP 응답모든 파일, PDF, 이미지응답 헤더
robots.txt noindex 줄robots.txt– 지원되지 않음Google이 무시함
<!-- in the <head> -->
<meta name="robots" content="noindex">

# as an HTTP response header
X-Robots-Tag: noindex

robots를 googlebot 같은 크롤러 이름으로 바꾸면 규칙을 한 크롤러에만 적용할 수 있습니다. SEO ProCheck의 meta robots 및 X-Robots-Tag 참고 자료에 모든 값이 나와 있습니다.

robots 지시어 한눈에 보기

Google이 robots meta 태그 사양에 문서화한 값과 각 값이 하는 일입니다.

지시어영향흔한 용도
noindex검색 결과에 표시 안 됨진단 페이지, 사이트 내 검색
nofollow페이지의 링크를 따라가지 않음신뢰할 수 없는 사용자 페이지
없음noindex와 nofollow 함께맞는 선택인 경우가 드묾
nosnippet텍스트 스니펫 없음유료 콘텐츠나 법률 문구
max-snippet:[n]스니펫 최대 n자더 짧은 스니펫
unavailable_after:[date]날짜 이후 제외이벤트, 할인 행사
index, follow기본값, 효과 없음생략 가능

두 지시어가 충돌하면 Google은 더 제한적인 쪽을 적용합니다. HTML에 index, 헤더에 noindex가 있는 페이지는 결국 색인되지 않습니다.

엉뚱한 페이지를 숨기는 noindex 실수

실수영향해결 방법
스테이징 noindex를 오픈 때 그대로 둠사이트 전체가 빠짐제거하고 재크롤링
noindex와 robots.txt Disallow 함께noindex를 끝내 읽지 못함크롤링 허용
JavaScript가 noindex를 제거Google이 렌더링을 건너뛸 수 있음최종 태그를 제공
XML 사이트맵에 noindex URL엇갈린 신호사이트맵에서 제외
canonical과 noindex 함께충돌하는 신호하나만 선택
head 밖의 meta robots태그가 무시될 수 있음head 안으로 이동
헤더와 HTML이 다름더 엄격한 쪽 적용출처를 하나로
hreflang이 noindex를 가리킴언어 세트가 깨짐색인 가능한 URL을 가리키기

가장 흔히 놀라는 것은 두 번째 행입니다. Google은 robots.txt가 페이지를 막으면 크롤러가 noindex 규칙을 결코 보지 못하며, URL은 링크만으로도 검색 결과에 나타날 수 있다고 말합니다. 세 번째는 Google의 JavaScript SEO 기본사항에서 나옵니다. Google이 원본 HTML에서 noindex를 발견하면 렌더링을 건너뛸 수 있으므로, 나중에 이를 지우는 스크립트는 실행되지 않을 수 있습니다. 크롤링 쪽은 robots.txt 테스터 가이드에서 다룹니다.

noindex가 반영되는 데 걸리는 시간과 더 빠른 방법

Google은 페이지를 크롤링해 noindex를 읽으면 페이지를 뺍니다. 언제 다시 오느냐에 달려 있으며, Google은 일부 페이지는 몇 달이 걸릴 수 있다고 말합니다. 목표에 따라 도구를 고르세요.

목표사용속도
지금 바로 검색 결과에서 제외삭제 도구, 그다음 noindex가장 빠름
검색 결과에서 영구 제외noindex, 404 또는 410다음 크롤링
크롤링은 되지만 색인은 안 됨noindex다음 크롤링
아예 크롤링 안 됨robots.txt Disallow다음 robots.txt 가져오기
검색 결과로 복귀noindex 제거, 색인 생성 요청며칠에서 몇 주

삭제 도구는 URL을 약 6개월 동안만 숨기므로, 그 뒤에는 noindex, 404, 410이 필요합니다. 고친 뒤 중요한 페이지 몇 개는 URL 검사의 색인 생성 요청을 쓰세요.

noindex를 직접 확인하는 법

URL 하나라면 두 곳을 모두 확인하세요. 먼저 헤더, 그다음 HTML입니다.

curl -sI https://example.com/page | grep -i x-robots-tag
curl -s https://example.com/page | grep -io '<meta[^>]*robots[^>]*>'

그다음 Google이 본 것을 확인하세요. Search Console의 URL 검사는 Googlebot이 받은 HTML을 보여 주고, 페이지 색인 생성 보고서는 'noindex' 태그에 의해 제외됨으로 제외된 모든 페이지를 나열합니다. 릴리스마다 그 목록을 보세요. 검색에 나오길 원하는 페이지는 절대 그 목록에 있어서는 안 됩니다.

수동 확인에는 함정이 두 가지 있습니다. 사이트가 크롤러 사용자 에이전트에 브라우저와 다르게 응답할 수 있고, JavaScript가 추가하는 태그는 curl이 아니라 렌더링된 HTML에만 보입니다. 원본 HTML과 렌더링된 HTML을 모두 가져오는 크롤러는 둘 다 봅니다.

사이트 전체의 noindex 점검하기

  1. 홈페이지에서 사이트를 크롤링하세요. 사이트가 JavaScript에 의존한다면 JavaScript 렌더링을 켭니다.
  2. 색인 불가 페이지를 모두 이유별로 나열하세요. noindex, 다른 URL로의 canonical, 오류 상태, 차단입니다.
  3. noindex 페이지를 템플릿별로 정렬하세요. noindex가 있는 템플릿 하나가 페이지 수백 개를 한꺼번에 숨길 수 있습니다.
  4. XML 사이트맵과 비교하세요. 나열된 URL은 모두 색인 가능해야 합니다. 2026년 10월 17일 seoprocheck.com 자체 크롤링에서 사이트맵에는 URL 1,835개가 있었고 200으로 응답한 HTML 페이지는 4,561개였습니다. 두 목록을 서로 대조해야 하는 이유입니다.
  5. Search Console 클릭을 결합하세요. 여전히 클릭을 받는 noindex 페이지는 최근까지 순위가 있었던 페이지로, 실수의 신호인 경우가 많습니다.
  6. 릴리스마다 다시 크롤링하고 비교해서, 새 noindex가 배포된 날 바로 드러나게 하세요.

페이지가 색인되지 못하는 다른 이유는 색인 생성 가능 여부 검사 가이드에서, 사이트맵 쪽은 XML 사이트맵 검사 가이드에서 다룹니다.

Neova로 noindex 페이지 찾기

Neova는 모든 URL을 색인 가능 또는 색인 불가로 표시하고 이유를 알려 줍니다. 상태 200, noindex 없음, 자기 자신을 가리키는 canonical 또는 canonical 없음입니다. 모든 URL의 지시어 열 세트는 모든 URL의 robots 지시어를 Noindex, Nofollow 필터와 함께 보여 줍니다. 마이그레이션 및 스테이징은 noindex를 포함해 스테이징 크롤링을 프로덕션과 비교하므로, 스테이징 noindex가 모르는 사이 오픈까지 가지 않습니다.

Neova의 모든 URL: 크롤링한 모든 URL의 상태 코드와 색인 가능 또는 색인 불가
Neova의 모든 URL: 크롤링한 모든 URL의 상태 코드와 색인 가능 또는 색인 불가

이를 뒷받침하는 점검 항목은 다음과 같습니다.

Free 요금제는 Mac, Windows, Linux에서 크롤링당 URL 1,000개를 모든 점검과 함께 크롤링합니다. Neova를 다운로드하거나 기능을 보세요.

자주 묻는 질문

페이지가 noindex인지 어떻게 확인하나요?

페이지 소스에서 noindex가 있는 meta robots 태그를, HTTP 응답에서 X-Robots-Tag 헤더를 찾으세요. Search Console의 URL 검사는 Googlebot이 본 것을 보여 줍니다. 사이트 전체라면 크롤링한 뒤 색인 불가 페이지를 이유별로 필터링하세요.

robots.txt에서 차단된 페이지에도 noindex가 작동하나요?

아니요. Google이 noindex를 읽으려면 페이지를 크롤링해야 합니다. robots.txt가 막으면 Google은 규칙을 보지 못하고, URL은 링크만으로도 검색 결과에 나타날 수 있습니다. 페이지가 빠질 때까지 크롤링을 허용하세요.

robots.txt의 noindex가 지원되나요?

Google은 지원하지 않습니다. Google은 2019년에 robots.txt의 noindex 줄 지원을 중단했습니다. meta robots 태그나 X-Robots-Tag 헤더를 쓰세요.

noindex 페이지가 Google에서 빠지는 데 얼마나 걸리나요?

Google이 페이지를 다시 크롤링할 때까지이며, 자주 크롤링되는 페이지는 며칠, 드물게 크롤링되는 페이지는 몇 달이 걸릴 수 있습니다. 급하다면 noindex가 반영되는 동안 URL을 약 6개월 숨기는 삭제 도구를 쓰세요.

noindex 페이지를 XML 사이트맵에 넣어야 하나요?

아니요. 사이트맵에는 색인되길 원하는 페이지를 나열해야 합니다. 사이트맵에 noindex URL이 있으면 엇갈린 신호를 보냅니다.

이 글 활용하기

어시스턴트 링크를 열면 이 페이지에 대한 질문이 미리 작성되어 있습니다.

Neova로 사이트를 크롤링하세요Free 요금제는 Mac, Windows, Linux에서 모든 점검을 실행합니다. 신용카드가 필요 없습니다.

계속 읽기