색인 가능 여부 검사: 검색엔진이 색인할 수 없는 페이지 찾기
브라우저에서는 완벽해 보이는 페이지도 헤더 하나, 메타 태그 하나, robots.txt 한 줄 때문에 Google에서 빠질 수 있습니다. 색인 가능 여부 검사 도구는 검색엔진이 읽는 신호를 읽고, 페이지마다 각 URL이 색인될 수 있는지와 안 된다면 그 이유를 알려 줍니다. 그 신호가 무엇인지, 서로 어떻게 작용하는지, Google 자체 도구로 결과를 어떻게 확인하는지 정리했습니다.
크롤링 가능, 색인 가능, 색인됨
세 단어는 늘 헷갈리며, 색인 가능 여부 검사 도구는 그중 하나에만 답합니다.
- 크롤링 가능: 검색엔진이 URL을 가져가도 됩니다. robots.txt가 결정합니다.
- 색인 가능: 가져온 뒤 페이지나 헤더의 어떤 것도 색인에서 빼 달라고 요청하지 않습니다. 상태 코드, noindex, canonical이 결정합니다.
- 색인됨: 검색엔진이 실제로 저장했고 결과에 보여 줄 수 있습니다. 검색엔진만 알기 때문에 검색엔진 자체 도구로만 확인할 수 있습니다.
페이지는 크롤링 가능하지만 색인 불가능할 수도 있고(noindex가 있음), 색인 가능하지만 색인되지 않을 수도 있습니다(Google이 크롤링했지만 보관하지 않기로 함). Google의 검색 작동 방식이 크롤링, 색인, 게재 단계를 설명합니다.
색인 가능 여부를 결정하는 다섯 가지 신호
| 신호 | 색인 가능 조건 | 위치 |
|---|---|---|
| 상태 코드 | 200 | HTTP 응답 |
| robots.txt | 일치하는 Disallow 없음 | /robots.txt |
| robots 지시어 | noindex 없음, none 없음 | meta robots, X-Robots-Tag |
| Canonical | 자기 자신 또는 없음 | head의 link, Link 헤더 |
| 렌더링 | JavaScript 실행 후에도 같은 태그 | 렌더링된 페이지 |
다섯 가지를 모두 통과하면 URL은 색인 가능합니다. 하나라도 실패하면 아닙니다. 검사 도구는 그 하나를 짚어 줘야 합니다.
저희 사이트에서 2026년 10월 17일 Neova로 seoprocheck.com을 전체 크롤링하니 61분 동안 URL 10,222개를 가져왔습니다. 그중 4,561개가 200으로 응답한 HTML 페이지였습니다. 웹 페이지로서 첫 번째 신호를 통과할 수 있는 것은 이 페이지들뿐이므로, 나머지 네 신호는 이 페이지들에서 테스트했습니다.
상태 코드와 소프트 404
200으로 응답하는 URL만 그 자체로 색인될 수 있습니다. Google의 HTTP 상태 코드 페이지가 각 코드를 다룹니다.
| 상태 | 그 자체로 색인 | Google의 처리 |
|---|---|---|
| 200 | ✓ | 읽고 색인할 수 있음 |
| 301, 308 | – | 대상으로 따라감 |
| 302, 307 | – | 따라가지만 canonical 신호는 약함 |
| 404, 410 | – | URL을 제외 |
| 429, 5xx | – | 속도를 줄이고, 계속되면 제외 |
| 소프트 404 (200) | – | 오류 페이지로 취급 |
소프트 404는 200으로 응답하지만 "찾을 수 없음"이라고 말하거나 빈 결과를 보여 줍니다. 대신 실제 404나 410을 반환하고, 제목이나 H1이 오류처럼 읽히는 200 페이지를 확인하세요.
저희 사이트에서는 반대 실수를 발견했습니다. 2026년 11월 20일 neova.app의 존재하지 않는 주소가 404 대신 출시 예정 페이지에서 503으로 응답했습니다. 503은 Google에 나중에 다시 오라고 알리므로 없는 URL이 대기열에서 절대 빠지지 않습니다. 실제 404 페이지로 고쳤습니다. SEO ProCheck에 HTTP 상태 코드 SEO 완전 참조가 있습니다.
robots.txt는 색인이 아니라 크롤링을 막습니다
Disallow 규칙은 Google이 URL을 가져가지 못하게 합니다. 그 주소가 색인되는 것까지 막지는 않습니다. Google의 robots.txt 소개에 따르면, 다른 페이지가 링크하면 차단된 URL도 설명 없이 결과에 나타날 수 있습니다.
또한 Google은 noindex를 포함해 페이지의 어떤 내용도 보지 못합니다. 다음 조합은 흔한 실수입니다.
robots.txt: Disallow: /old-offers/
page: <meta name="robots" content="noindex">
결과: Google은 페이지를 가져올 수 없어 noindex를 읽지 못하고,
링크를 통해 URL을 계속 색인할 수 있습니다.
페이지를 색인에서 제거하려면 Google이 크롤링하게 두고 noindex를 제공하세요. robots.txt 차단은 색인에서 빠진 뒤에 하거나, 아예 하지 마세요. 규칙 테스트 방법은 robots.txt 테스터 가이드에 있습니다.
noindex, X-Robots-Tag, canonical
Google의 noindex 문서는 지시어를 넣을 두 곳을 안내합니다.
<meta name="robots" content="noindex">
X-Robots-Tag: noindex
헤더는 PDF와 이미지에도 통합니다. 둘이 서로 다르면 Google은 더 제한적인 쪽을 적용하므로, 어느 쪽에든 잘못 들어간 noindex 하나면 페이지가 빠집니다. 플러그인, 스테이징 설정, CDN 규칙은 아무도 배포할 생각이 없던 noindex의 흔한 출처입니다. 모든 값과 적용 범위는 SEO ProCheck의 meta robots와 X-Robots-Tag 참조에 있습니다.
다른 URL을 지정하는 canonical은 Google에 그 URL을 대신 색인해 달라고 요청합니다. Google의 중복 URL 통합 가이드에 따르면 Google은 이를 규칙이 아니라 강한 힌트로 취급합니다. 진짜 중복에는 맞고, 고유한 콘텐츠가 있는 페이지에는 틀립니다. 리디렉션, 오류, noindex 페이지를 가리키는 canonical은 엇갈린 신호를 보냅니다. 이런 경우는 canonical 태그 검사 가이드에서 다룹니다.
렌더링이 답을 바꿀 수 있습니다
JavaScript로 만든 사이트에서는 원본 HTML과 렌더링된 페이지가 다를 수 있습니다. 스크립트가 noindex를 추가하거나 제거하거나, canonical을 바꾸거나, 렌더링 후에야 본문을 로드할 수 있습니다. Google의 JavaScript SEO 기본 사항에 따르면 원본 HTML에 noindex가 있으면 Google이 렌더링을 건너뛸 수 있으므로, noindex를 제거하는 스크립트는 실행되지 않을 수도 있습니다.
robots 메타 태그와 canonical은 렌더링된 페이지의 최종 값과 같은 값으로 원본 HTML에 두세요. 페이지를 렌더링하는 색인 가능 여부 검사 도구는 둘을 비교해 차이에 플래그를 지정할 수 있습니다.
Search Console로 확인하기
크롤러는 페이지가 색인될 수 있는지 알려 줍니다. Google Search Console은 실제로 색인되었는지 알려 줍니다.
- URL 검사는 URL 하나에 대해 Google에 등록되었는지, Google이 선택한 canonical, 마지막 크롤링, 크롤링과 색인이 허용되었는지를 보여 줍니다. 실제 URL 테스트는 지금 다시 가져옵니다.
- 페이지 색인 생성 보고서는 알려진 모든 URL을 이유별로 묶습니다. 'noindex' 태그에 의해 제외됨, robots.txt에 의해 차단됨, 적절한 표준 태그가 포함된 대체 페이지, 중복 페이지, Google에서 사용자와 다른 표준을 선택함, 소프트 404, 크롤링됨 - 현재 색인이 생성되지 않음, 발견됨 - 현재 색인이 생성되지 않음 같은 것입니다.
두 화면을 비교하세요. 크롤링에서는 색인 가능한데 Google은 색인되지 않았다고 보고하는 페이지가 살펴볼 대상입니다. 대개 빈약하거나 중복된 콘텐츠, 약한 내부 링크, 또는 Google이 아직 다루지 않은 페이지입니다. SEO ProCheck에 크롤링됨, 현재 색인이 생성되지 않음의 원인과 해결책이 정리되어 있습니다. Google은 색인했는데 크롤링에서는 noindex이거나 canonical로 다른 곳을 가리키는 페이지는, Google이 아직 반영하지 않은 수정이거나 놓친 신호입니다. 약한 내부 링크는 내부 링크 도구 가이드에서, 큰 사이트의 느린 발견은 크롤링 예산에서 다룹니다.
Neova로 색인 가능 여부 확인하기
Neova는 모든 URL을 색인 가능 여부로 표시하고 이유를 알려 줍니다. 상태 200, noindex 없음, 자기 자신을 가리키거나 없는 canonical입니다. 색인 가능성 카테고리는 상태 코드, noindex, canonical, robots.txt, SEO 태그 앞에서 head를 깨뜨리는 HTML을 모읍니다. JavaScript 렌더링을 켜면 렌더링된 각 페이지를 원본 HTML과 비교합니다. Google Search Console을 연결하면 Neova는 크롤링당 URL 최대 200개(클릭이 가장 많은 순, 그다음 링크가 가장 많은 순)에 대해 Google의 URL 검사 결과를 읽고, Google이 색인하지 않거나 다른 canonical을 고른 색인 가능한 페이지에 플래그를 지정합니다. 바탕이 되는 점검 항목:

- noindex 지시어가 있음과 HTML과 HTTP 헤더의 noindex가 다름
- 내부 URL이 robots.txt에서 Disallow됨
- canonical이 다른 내부 URL을 가리킴과 canonical이 noindex URL을 가리킴
- 내부 URL이 4xx, 5xx를 반환하거나 응답 없음과 제목이나 H1에 소프트 404 문구가 있음
- noindex 지시어가 JavaScript로 제거됨
- noindex URL이 XML 사이트맵에 포함됨
- 색인 가능한 URL이 Google에 없음, URL 검사 기준
- noindex URL이 Search Console에서 클릭을 받음
색인 가능 여부는 기술 SEO 진단 체크리스트의 3단계와 4단계입니다. 기능을 보거나 Neova 다운로드를 하세요. Free 요금제는 모든 점검으로 URL 최대 1,000개를 크롤링합니다.
자주 묻는 질문
색인 가능 여부 검사 도구란 무엇인가요?
검색엔진이 쓰는 신호인 상태 코드, robots.txt, noindex, canonical, 렌더링을 읽고, URL마다 색인될 수 있는지와 안 된다면 어떤 신호가 막는지 보고하는 도구입니다.
색인 가능과 색인됨의 차이는 무엇인가요?
색인 가능은 페이지나 서버의 어떤 것도 색인을 막지 않는다는 뜻입니다. 색인됨은 Google이 실제로 저장했다는 뜻입니다. 페이지는 색인 가능하지만 색인되지 않을 수 있으며, 이는 Search Console로만 확인할 수 있습니다.
robots.txt로 페이지 색인을 막을 수 있나요?
아니요. 크롤링을 막을 뿐입니다. Google은 차단된 URL도 콘텐츠 없이 링크를 통해 색인할 수 있습니다. 페이지를 색인에서 빼려면 크롤링을 허용하고 noindex를 쓰세요.
색인 가능한 페이지가 왜 색인되지 않나요?
흔한 이유는 빈약하거나 중복된 콘텐츠, 적은 내부 링크, Google이 다른 URL을 canonical로 선택한 경우, 또는 Google이 아직 크롤링하지 않은 경우입니다. URL 검사와 페이지 색인 생성 보고서가 Google이 기록한 이유를 알려 줍니다.
URL 하나의 색인 가능 여부를 확인할 수 있나요?
네. Search Console의 URL 검사는 내 속성의 URL 하나를 확인합니다. 크롤러는 사이트의 모든 URL을 한 번에 확인하며, 몇 개만 필요할 때는 URL 목록만 크롤링할 수도 있습니다.