Neova고급 SEO 플랫폼

기술 SEO 진단 체크리스트: 크롤러로 실행하는 16단계

저희가 사이트를 살펴보는 순서대로 정리한 실용적인 기술 SEO 체크리스트입니다. 단계마다 무엇을 확인하는지, 크롤러에서 어떻게 확인하는지, 어떤 Neova 점검이 플래그를 지정하는지 적었습니다.

진단, 로그, 모니터링기술 seo 진단 체크리스트2026년 11월 21일 업데이트Neova 팀 작성

체크리스트 한눈에 보기

#영역통과 기준
1robots.txt200으로 응답, 500KiB 미만
2차단된 리소스차단된 CSS나 JS 0개
3noindex의도한 곳에만
4캐노니컬대상이 200으로 응답, 색인 가능
5깨진 링크내부 4xx 또는 5xx 0개
6리디렉션홉 1개, 301 또는 308
7HTTPS200으로 응답하는 버전 1개
8XML 사이트맵색인 가능한 200 URL만
9클릭 깊이주요 페이지는 3 이하
10고아 페이지색인 가능 0개
11중복페이지당 URL 1개
12hreflang모든 반환 링크 존재
13렌더링본문이 원본 HTML에 있음
14속도LCP 2.5초, INP 200ms, CLS 0.1
15구조화된 데이터구문 오류 0개
16로그와 AI 봇주요 페이지 방문됨, 차단 0개

순서가 중요합니다. 크롤링할 수 없는 페이지는 색인되지 않고, 색인되지 않은 페이지는 아직 스키마를 고칠 필요가 없습니다. 위에서부터 진행하세요.

시작하기 전에: 진단 크롤링 설정

  • 사이트 전체나 템플릿별 샘플을 크롤링하세요. 큰 사이트에서는 페이지 그룹별 샘플로 대부분의 패턴을 몇 분 안에 찾습니다.
  • XML 사이트맵을 켜세요. 사이트맵에는 있지만 어떤 링크도 닿지 않는 페이지는 이 방법으로만 찾습니다.
  • 사이트가 JavaScript 프레임워크를 쓴다면 샘플을 JavaScript로 렌더링하세요. 그래야 13단계에 쓸 데이터가 생깁니다.
  • Google Search Console을 연결하세요. 클릭과 Google 자체의 색인 판정으로 어떤 결과가 중요한 페이지에 해당하는지 알 수 있습니다.
  • 내 사이트가 아니라면 속도를 정중하게 유지하세요.

크롤링을 처음 한다면 웹사이트 크롤링 방법 가이드가 설정을, 기술 SEO 크롤러 가이드가 결과 읽는 법을 다룹니다. 영역별 근거까지 담은 더 긴 프레임워크는 SEO ProCheck의 기술 SEO 진단 체크리스트 프레임워크를 보세요.

크롤링 가능성: robots.txt와 차단된 리소스

  • 1. robots.txt가 응답하고, 파싱되며, 막아야 할 것만 막는지 확인합니다. 파일을 가져와 모든 규칙을 읽고, 규칙을 크롤링한 URL과 맞춰 보세요. Google은 파일의 처음 500KiB만 읽고 나머지는 무시합니다. 크롤러에서 robots.txt로 차단된 내부 URL을 찾아 패턴 하나씩 의도한 차단인지 판단하세요. Neova의 robots.txt 테스터는 Google 문서대로 모든 줄을 쉬운 말로 설명하고 각 규칙이 맞는 크롤링 URL을 보여 주며, 배포 전 초안도 테스트할 수 있습니다. 점검: robots.txt에 연결할 수 없거나 너무 큼, 내부 URL이 robots.txt에서 차단됨.
  • 2. 페이지가 필요한 스크립트, 스타일, 이미지를 쓸 수 있는지 확인합니다. robots.txt가 JavaScript나 CSS 파일을 막으면 검색엔진은 그 파일 없이 페이지를 렌더링합니다. 크롤러에서 리소스도 크롤링한 뒤, 차단된 파일을 쓰는 페이지를 나열하세요. 점검: HTML 페이지가 robots.txt에서 차단된 JavaScript 파일을 사용함.

Google의 robots.txt 사양에 500KiB 한도와 파일의 상태 코드별 처리 방식이 나와 있습니다.

색인 가능성: noindex와 캐노니컬

  • 3. 색인 가능 페이지에 엉뚱한 noindex가 없는지 확인합니다. 스테이징에서 남은 noindex는 페이지가 빠지는 가장 흔한 이유 중 하나입니다. 메타 robots 태그와 X-Robots-Tag 헤더를 확인하고 둘이 일치하는지 보세요. 크롤러에서 noindex 페이지 목록을 읽으세요. 모두 의도된 것이어야 합니다. 점검: noindex 지시어가 있음, HTML과 HTTP 헤더의 noindex가 다름.
  • 4. 캐노니컬이 200으로 응답하는 색인 가능 URL을 가리키는지 확인합니다. 캐노니컬은 힌트이며, 리디렉션, 오류, noindex 페이지를 가리키는 힌트는 검색엔진이 무시하는 경향이 있습니다. 크롤러에서 캐노니컬 열을 대상의 상태와 나란히 보세요. Search Console을 연결했다면 Google이 다른 캐노니컬을 선택한 페이지도 찾아보세요. 점검: 캐노니컬이 리디렉션되는 URL을 가리킴, Google이 선언된 캐노니컬과 다른 캐노니컬을 선택함.

Google의 중복 URL 통합 가이드가 캐노니컬을 어떻게 판단하는지 설명합니다.

상태 코드, 리디렉션, HTTPS

  • 5. 4xx나 5xx URL로 가는 내부 링크와 soft 404가 없는지 확인합니다. 깨진 내부 링크는 크롤링을 낭비하고 방문자를 잃게 합니다. Soft 404는 찾기가 더 어렵습니다. 찾을 수 없다고 말하면서 200으로 응답하는 페이지입니다. 크롤러에서 상태 코드로 정렬한 뒤 오류마다 인링크를 열어 고칠 링크를 찾으세요. Soft 404는 타이틀과 H1에서 찾을 수 없음 문구를 검색하세요. 점검: 내부 URL이 4xx, 5xx를 반환하거나 응답하지 않음, 타이틀이나 H1에 소프트 404 문구가 있음.
  • 6. 내부 URL 사이에 리디렉션 체인, 루프, 임시 리디렉션이 없는지 확인합니다. 홉마다 시간이 들고, Googlebot은 최대 10개까지만 따라가며, 오류로 끝나는 체인은 페이지를 통째로 잃게 합니다. 크롤러에서 모든 리디렉션을 홉과 최종 상태와 함께 나열한 뒤, 내부 링크가 최종 URL을 가리키도록 업데이트하세요. 점검: 내부 URL이 리디렉션 체인에 있음, 내부 URL이 임시 리디렉션을 사용함.
  • 7. 사이트의 한 버전만 HTTPS로 200을 응답하는지 확인합니다. http와 https, www 유무를 조합한 네 가지 중 세 가지는 나머지 하나로 리디렉션해야 합니다. Neova의 시작 URL 확인은 크롤링 시작 전에 사이트를 읽고 각 버전이 어떻게 응답하는지 알려 줍니다. 점검: 시작 URL이 HTTPS로 리디렉션되지 않고 HTTP로 제공됨.

Google의 리디렉션 및 Google 검색 페이지가 어떤 리디렉션을 쓸지 다루고, SEO ProCheck의 리디렉션과 HTTP 상태 코드 FAQ가 흔한 질문에 답합니다.

XML 사이트맵과 hreflang

  • 8. XML 사이트맵에 모든 색인 가능 페이지가 있고, 그 밖의 것은 없는지 확인합니다. 사이트맵은 사이트가 검색엔진에 어떤 URL이 중요한지 알려 주는 것입니다. 파일 하나에는 URL 50,000개, 압축 해제 기준 50MB까지 담을 수 있습니다. 리디렉션, 오류, noindex 페이지, 캐노니컬 처리된 URL이 들어 있으면 신호가 엇갈리고, 사이트맵에서 빠진 색인 가능 페이지는 놓치기 쉽습니다. 크롤러에서 링크 다음에 사이트맵을 크롤링하고 두 목록을 양방향으로 비교하세요. Neova는 사이트맵에만 있는 페이지를 별도 단계로 가져와 따로 셉니다. 점검: 색인 가능 URL이 어떤 XML 사이트맵에도 없음, noindex URL이 XML 사이트맵에 나열됨, 리디렉션되는 URL이 XML 사이트맵에 나열됨.

형식과 한도는 Google의 사이트맵 개요를 보세요.

  • 12. hreflang 세트가 완전하고 올바른 URL을 가리키는지 확인합니다. 세트의 모든 페이지는 다른 모든 버전과 자기 자신을 나열해야 하고, 모든 대상이 반환 링크를 달아야 하며, 모든 대상이 200으로 응답하는 색인 가능 URL이어야 합니다. 언어 및 지역 코드도 유효해야 합니다. 크롤러에서 HTML head와 HTTP Link 헤더의 hreflang을 읽은 뒤 각 대상의 상태와 반환 링크를 확인하세요. 점검: hreflang 반환 링크 누락, hreflang이 200이 아닌 URL을 가리킴.

Google의 페이지의 현지화 버전 가이드에 규칙과 예시가 있습니다.

사이트 구조: 깊이, 고아 페이지, 중복

  • 9. 중요한 페이지가 홈페이지에서 몇 번의 클릭 안에 있는지 확인합니다. 구조 깊이 있는 페이지는 늦게 발견되고 덜 자주 크롤링됩니다. 크롤러에서 색인 가능 페이지를 크롤링 깊이로 정렬하고 4 이상에 있는 페이지를 보세요. Neova는 깊이 4부터 색인 가능 페이지에 플래그를 지정합니다. 점검: 색인 가능 URL의 크롤링 깊이가 4 이상.
  • 10. 고아 페이지와 막다른 길로만 도달하는 페이지가 없는지 확인합니다. 고아 페이지는 어떤 내부 링크도 닿지 않는 색인 가능 페이지입니다. 크롤링을 사이트맵, 서버 로그, Search Console과 비교해 찾습니다. 리디렉션, 캐노니컬, nofollow 링크로만 도달하는 페이지도 찾아보세요. 점검: 고아 URL이 200을 반환하고 색인 가능함, URL에 리디렉션을 통해서만 도달할 수 있음.
  • 11. 서로 경쟁하는 중복 페이지나 URL 변형이 없는지 확인합니다. 대소문자만 다르거나, 끝 슬래시 유무만 다르거나, 매개변수 순서만 다른 같은 페이지는 신호를 나눕니다. 크롤러에서 URL 변형의 HTML을 비교한 뒤, 텍스트와 타이틀이 중복이거나 유사 중복인 페이지를 묶으세요. 점검: URL 변형이 같은 HTML을 반환함, HTML 페이지 간 유사 중복 콘텐츠.

큰 사이트에서는 같은 문제가 봇이 방문을 어디에 쓸지도 결정합니다. 크롤링 예산 가이드가 그 측면을 다룹니다.

크롤링 맵: 각 URL이 크롤링에서 처음 발견된 페이지와 연결되고 상태 코드별로 색칠되며, 크롤링 깊이 보기 포함
크롤링 맵: 각 URL이 크롤링에서 처음 발견된 페이지와 연결되고 상태 코드별로 색칠되며, 크롤링 깊이 보기 포함

렌더링, 속도, 구조화된 데이터

배경 지식은 Google의 Core Web Vitals와 구조화된 데이터 소개를 보세요.

서버 로그와 AI 크롤러

  • 16. 로그에서 봇이 올바른 URL에 방문을 쓰고, AI 크롤러가 의도한 것을 받는지 확인합니다. 크롤링은 사이트가 무엇을 제공하는지 보여 줍니다. 서버 로그는 Googlebot, Bingbot, AI 크롤러가 실제로 무엇을 요청했고 무엇을 받았는지 보여 줍니다. 주소가 확인될 때만 요청을 Googlebot으로 세세요. 사용자 에이전트 문자열은 쉽게 위조됩니다. 그런 다음 봇이 한 번도 방문하지 않는 주요 페이지와 오류에 도착하는 봇 방문을 찾으세요. AI 크롤러는 robots.txt가 각각 무엇을 가져가게 허용하는지, 서버가 실제로 무엇을 건네는지 확인하세요. 방화벽이나 CDN 규칙이 robots.txt가 허용한 크롤러를 막을 수 있기 때문입니다. 점검: 검색 봇 요청 중 3xx, 4xx 또는 5xx 응답 비율이 증가함, AI 검색 크롤러 사용자 에이전트로 보낸 요청이 차단됨.

Neova에서 서버 로그는 Apache나 Nginx 로그 파일, 또는 내 Cloudflare 계정에서 가져오며, 각 회사가 공개한 목록에 주소가 있을 때만 봇으로 셉니다. 각 AI 어시스턴트가 받는 내용 보기는 샘플 페이지를 10개 AI 에이전트로 요청해 누가 전체 접근을 얻는지 보여 줍니다. 로그 파일 분석과 AI 크롤러 가이드가 둘 다 자세히 다루고, Google은 Googlebot 확인 방법을 설명합니다.

저희 사이트에 적용한 이 체크리스트

저희는 같은 목록을 저희 사이트에 적용합니다. 2026년 10월 17일 Neova로 seoprocheck.com을 전체 크롤링한 결과 61분 동안 URL 10,222개를 가져왔고, 그중 4,561개가 200으로 응답한 HTML 페이지였으며 완료율은 99.98%였습니다. 플래그가 지정된 것:

플래그수치
155자를 넘는 메타 디스크립션582
60자를 넘는 타이틀557
중복 타이틀56
다른 내부 URL을 가리키는 캐노니컬5
alt 텍스트 없는 이미지2

2026년 11월 20일 neova.app SEO 점검에서는 체크리스트에 해당하는 다섯 가지를 찾았고 모두 당일에 고쳤습니다.

단계이전이후
7. http:// 버전200https로 301
5. 알 수 없는 주소503404
1. Cloudflare 이메일 스크립트1,320개 페이지에서 차단허용
1. 파비콘 파일Disallow: / 뒤에 있음허용
메타 디스크립션일부가 160자 초과160자 이하, 1,354개 페이지

파비콘 문제는 Google에서 보였습니다. 파일이 차단되자 neova.app 옆에 로고 대신 글자 하나가 표시되었습니다. 15개 언어로 된 사이트맵 URL 1,358개는 모든 반환 링크가 갖춰져 hreflang 단계를 통과했습니다.

목록을 다 살펴봤다면 고친 뒤 다시 크롤링하세요. Neova의 수정 확인은 점검에서 플래그가 지정된 URL만 다시 가져와 몇 개가 고쳐졌는지 알려 주고, 크롤링 비교는 두 크롤링 사이에 무엇이 바뀌었는지 보여 줍니다. Neova는 694개 점검을 실행합니다. Neova를 다운로드해 내 사이트에서 실행해 보세요.

모든 플래그: 수정 필요 및 검토 점검, 점검한 URL 중 플래그가 지정된 URL, 각 점검의 의미, 수정 확인
모든 플래그: 수정 필요 및 검토 점검, 점검한 URL 중 플래그가 지정된 URL, 각 점검의 의미, 수정 확인

자주 묻는 질문

기술 SEO 진단 체크리스트란 무엇인가요?

검색엔진이 사이트를 크롤링하고 렌더링하고 색인할 수 있는지를 결정하는 항목들을 정해진 순서대로 살펴보는 목록입니다. 매번 같은 방식으로 진행하면 진단이 루틴이 됩니다.

기술 SEO 진단은 어떤 단계로 하나요?

XML 사이트맵과 함께 사이트를 크롤링한 뒤 크롤링 가능성, 색인 가능성, 상태 코드와 리디렉션, 사이트맵, 사이트 구조와 중복, 해외 태그, 렌더링, 속도와 구조화된 데이터를 확인하고, 마지막으로 서버 로그를 봅니다. 색인 가능 페이지에 가장 많이 영향을 주는 문제부터 고치고 다시 크롤링하세요.

기술 SEO 진단은 얼마나 자주 해야 하나요?

전체 진단은 1년에 한두 번, 그리고 중요한 릴리스마다 더 가벼운 크롤링을 하세요. 자주 바뀌는 사이트는 매주 예약 크롤링을 돌려 이전 크롤링과 비교하면 좋습니다.

무료 도구로 이 체크리스트를 실행할 수 있나요?

작은 사이트라면 가능합니다. Neova의 Free 요금제는 모든 점검, JavaScript 렌더링, Search Console과 함께 크롤링당 URL 1,000개까지 크롤링합니다. 서버 로그와 Core Web Vitals 스냅샷은 유료 요금제에 포함됩니다. 다른 선택지는 무료 SEO 크롤러 가이드를 보세요.

기술 SEO 진단에 서버 로그가 필요한가요?

시작할 때는 필요 없습니다. 크롤링이 체크리스트 대부분을 다룹니다. 로그는 봇이 실제로 한 일을 더해 주며, 큰 사이트나 페이지 색인이 느릴 때 가장 중요합니다.

이 글 활용하기

어시스턴트 링크를 열면 이 페이지에 대한 질문이 미리 작성되어 있습니다.

Neova로 사이트를 크롤링하세요Free 요금제는 Mac, Windows, Linux에서 모든 점검을 실행합니다. 신용카드가 필요 없습니다.

계속 읽기