Neova고급 SEO 플랫폼

SEO를 위한 웹사이트 크롤링 방법, 단계별 안내

웹사이트를 크롤링한다는 것은 검색엔진처럼 페이지에서 페이지로 링크를 따라가며 페이지를 가져오는 것입니다. 정중하게, 빠짐없이, 차단되지 않고 웹사이트를 제대로 크롤링하는 방법을 정리했습니다.

크롤링과 색인웹사이트 크롤링 방법2026년 11월 21일 업데이트Neova 팀 작성

웹사이트 크롤링이란

SEO용 웹사이트 크롤러는 URL 하나에서 시작해 내려받고, HTML의 링크를 읽어 대기열에 넣습니다. 그다음 대기열에서 다음 URL을 꺼내 같은 일을 반복하며, 새로운 것이 나오지 않거나 한도에 닿을 때까지 계속합니다. 검색엔진은 이것을 웹 전체 규모로 합니다. SEO 크롤러는 한 사이트에 대해 하고, 각 URL의 응답을 기록해 진단할 수 있게 합니다.

크롤링은 보통 URL마다 상태 코드, 응답 헤더, 제목과 메타 디스크립션, canonical, robots 지시어, 들어오고 나가는 링크, 시작 페이지에서 몇 번의 클릭 거리인지를 기록합니다. Google은 자사 크롤러와 페처의 작동 방식을 Google 크롤러 개요에서 설명합니다.

크롤링 전에: 허락, robots.txt, 범위

시작을 누르기 전에 답해야 할 세 가지 질문:

  • 내 사이트인가요, 아니면 허락을 받았나요? 내 사이트나 고객 사이트를 크롤링하는 것은 일상적인 일입니다. 다른 사람의 사이트라면 정중하게 하세요. robots.txt를 따르고 속도를 낮게 유지합니다.
  • robots.txt에는 무엇이 있나요? /robots.txt를 열어 읽어 보세요. 크롤러가 가져가면 안 되는 것을 알려 주고, 보통 XML 사이트맵도 나열합니다. 규칙은 RFC 9309를 따르며, Google은 robots.txt 소개에서 규칙을 읽는 방식을 설명합니다. SEO ProCheck의 robots.txt 완전 참조는 한 줄씩 설명합니다.
  • 얼마나 필요한가요? 사이트 전체, 한 섹션, 또는 템플릿별 샘플. 샘플은 템플릿에 관한 질문 대부분에 몇 분 만에 답하고, 깨진 링크와 고아 페이지를 찾으려면 전체 크롤링이 필요합니다.

단계별 웹사이트 크롤링 방법

  1. 올바른 시작 URL을 찾으세요. http와 https, www 유무를 모두 요청해 보세요. 하나는 200으로 응답하고 나머지는 그쪽으로 리디렉션되어야 합니다. 거기서 시작하세요.
  2. 모드를 고르세요. 스파이더 모드는 시작 URL에서 링크를 따라갑니다. 목록 모드는 주어진 URL만 크롤링하므로, 마이그레이션 후 예전 URL 묶음을 확인할 때 유용합니다.
  3. XML 사이트맵을 추가하세요. 링크된 페이지 다음에 사이트맵 URL을 크롤링하면, 사이트가 나열은 하지만 링크하지 않는 페이지가 드러납니다.
  4. 한도를 정하세요. URL 한도, 깊이 한도, 쿼리 매개변수 규칙이 필터 때문에 크롤링이 끝없이 늘어나는 것을 막습니다. SEO ProCheck의 패싯 내비게이션 SEO 가이드에서 어떤 필터 URL을 크롤링할 가치가 있는지 보여 줍니다.
  5. 필요 없는 것은 제외하세요. 관리자 영역, 장바구니와 결제 URL, 사이트 내 검색 결과입니다. 포함 및 제외 패턴을 쓰고, 시작하기 전에 URL로 패턴을 테스트하세요.
  6. 사용자 에이전트를 고르세요. 크롤러 자신의 이름이 정직한 기본값입니다. Googlebot으로 크롤링하면 Google이 받는 내용을 볼 수 있지만, 일부 서버는 가짜 Googlebot을 공격으로 취급합니다.
  7. 시작한 뒤 처음 몇 분을 지켜보세요. 새 URL 수가 사이트 규모보다 훨씬 빠르게 늘어난다면 어디서 오는지 보세요. 대개 캘린더와 끝없는 필터가 원인입니다.
  8. 점검이 실행되게 두세요. 크롤링이 끝나면 색인 가능한 페이지에 가장 많이 걸친 문제부터 시작하세요.
새 크롤링, 속도 및 렌더링: 초당 URL 수로 정하는 속도(서버가 느려지면 줄어듦), 모든 요청에 보내는 사용자 에이전트, JavaScript 렌더링
새 크롤링, 속도 및 렌더링: 초당 URL 수로 정하는 속도(서버가 느려지면 줄어듦), 모든 요청에 보내는 사용자 에이전트, JavaScript 렌더링

웹사이트의 모든 URL을 크롤링하는 법

링크를 따라가면 링크가 닿는 페이지만 찾습니다. 웹사이트의 모든 URL을 크롤링하려면 여러 출처를 합치세요.

출처링크된 페이지링크되지 않은 페이지출처
링크 크롤링✓–시작 URL
XML 사이트맵◐✓robots.txt 또는 /sitemap.xml
시드 URL◐✓직접 만든 목록
서버 로그◐✓서버 또는 CDN
Search Console◐✓Google 속성

저희 사이트에서 이것이 얼마나 중요한지 확인했습니다. 2026년 10월 17일 Neova로 seoprocheck.com을 전체 크롤링한 결과:

측정 항목seoprocheck.com
가져온 URL10,222
시간61분
200으로 응답한 HTML 페이지4,561
XML 사이트맵의 URL1,835
링크로 도달, 사이트맵에 없음2,727
사이트맵에 있지만 링크로 도달하지 않음1
완전성99.98%
페이지 본문원본 1.66GB, 저장 340MB

사이트맵만 진단했다면 URL 2,727개를 놓쳤을 것이고, 링크만 크롤링했다면 고아 페이지 하나를 놓쳤을 것입니다. 사이트맵, 로그, Search Console에서만 나오는 페이지는 고아 페이지입니다. 검색 트래픽을 받는 색인 가능한 고아 페이지에는 보통 내부 링크가 필요합니다. 알아 둘 만한 점검: 고아 URL이 200을 반환하고 색인 가능함, 색인 가능한 URL이 어떤 XML 사이트맵에도 없음, XML 사이트맵을 가져오거나 파싱할 수 없음.

차단되지 않고 웹사이트를 크롤링하는 법

차단은 대부분 너무 빠르게 크롤링하거나 서버가 믿지 않는 봇처럼 보일 때 생깁니다. 사이트 소유자가 원할 방식으로 크롤링하세요.

  • 속도를 낮게 유지하세요. 대부분의 진단에는 초당 URL 2~3개면 충분합니다. 더 빠르게는 내 사이트에서만 하세요.
  • 누구인지 밝히세요. 크롤러 소개 페이지 링크가 있는 분명한 사용자 에이전트는 가짜 브라우저 문자열보다 허용하기 쉽습니다.
  • robots.txt를 따르세요. 사이트가 밝힌 의사이며, 다른 사람의 사이트에서 이를 무시하는 것이 가장 빨리 차단되는 길입니다.
  • 허용해 달라고 요청하세요. 방화벽이나 봇 보호 뒤에 있는 고객 사이트라면 IT 팀에 크롤러를 허용해 달라고 요청하세요. 예를 들어 크롤러만 보내는 비밀 헤더로 허용할 수 있습니다.

그다음 응답을 읽으세요. 상태 코드마다 뜻이 다릅니다.

Answer의미할 것
429요청이 너무 많음속도를 절반으로, Retry-After 준수
503서버가 바쁘거나 다운됨속도를 줄이고 나중에 재시도
403거부됨멈추고 문의
401로그인 필요접근 권한 요청
5xx 연속서버가 힘들어함크롤링 일시정지

Googlebot 자체가 429와 5xx 응답을 어떻게 처리하는지는 Google의 HTTP 상태 코드와 네트워크 오류 페이지에서 설명합니다.

JavaScript 웹사이트 크롤링

사이트가 React, Vue, Angular 같은 프레임워크로 만들어졌다면 서버가 보내는 HTML은 거의 비어 있고 콘텐츠는 스크립트가 추가할 수 있습니다. 그러면 일반 크롤링으로는 링크와 텍스트를 거의 찾지 못합니다. 각 페이지를 헤드리스 브라우저에서 로드하는 JavaScript 렌더링을 켜고, 렌더링된 페이지를 원본 HTML과 비교하세요. 중요한 것은 렌더링 전에 빠져 있는 것입니다. 스크립트 실행 후에만 나타나는 본문, 링크, 제목, canonical입니다. 렌더링은 느리므로 먼저 템플릿별 샘플을 렌더링하세요.

Neova로 내 웹사이트 크롤링하기

Neova로 내 웹사이트를 크롤링하려면 앱을 다운로드한 뒤 크롤링, 새 크롤링을 고르고 주소를 입력한 다음 크롤링 시작을 클릭하세요. 첫 크롤링 페이지에서 화면마다 보여 줍니다.

설정기본값
지원 환경
User agentNeovaBot
속도초당 URL 3개
429 또는 503일 때속도를 절반으로, Retry-After 준수
robots.txt준수
CAPTCHA풀지 않음
무료 요금제크롤링당 URL 1,000개
  • 시작 URL 확인은 200으로 응답하는 사이트 버전(http 또는 https, www 유무)을 고르고 나머지가 어떻게 응답하는지 알려 줍니다.
  • 모드와 범위: 스파이더 또는 목록, 사이트 전체, 특정 폴더 또는 페이지 그룹별 샘플, 그리고 XML 사이트맵, 시드 URL, 포함 및 제외 규칙.
  • 내 사이트: 내 사이트임을 확인하면 Neova는 더 빠르게 크롤링하고 robots.txt를 무시할 수 있습니다. 허용 목록 헤더는 그 사이트에만 보내는 비밀 헤더를 만들고, IT 팀에 전달할 규칙도 함께 줍니다.
  • 크롤링 차단 설명: 사이트가 크롤링을 거부하면 Neova가 이유(속도 제한, 방화벽 차단, 접근 금지)와 다음에 할 일을 알려 줍니다.
  • 발견 및 URL 내역: 실행 중에 찾은 모든 URL이 한 곳에 분류되고, 크롤링 함정 형태에 플래그가 지정되며, 그 자리에서 건너뛰기나 제외를 고를 수 있습니다.
  • 일시정지, 중지, 다시 시작: 원할 때 멈추고 크롤링한 것에 점검을 실행하거나, 나중에 멈춘 곳부터 다시 시작할 수 있습니다.

사이트 소유자는 NeovaBot 페이지에서 크롤러가 자신을 어떻게 밝히는지, 어떻게 차단하는지 볼 수 있습니다.

크롤링 결과로 할 일

크롤링은 스냅샷입니다. 가치는 무엇을 고치느냐에 있습니다. 발견 항목을 색인 가능한 페이지에 얼마나 걸치는지로 정렬하고, 템플릿 문제는 페이지마다가 아니라 한 번에 고치고, 다시 크롤링해 확인하세요. 대개 효과가 좋은 짧은 첫 점검:

기술 SEO 진단 체크리스트가 전체 검토의 순서를 잡아 줍니다.

자주 묻는 질문

웹사이트의 모든 URL을 크롤링하려면 어떻게 하나요?

링크 크롤링에 XML 사이트맵을 합치고, Google Search Console과 서버 로그의 URL을 더하세요. 그런 출처에서만 나오고 내부 링크가 닿지 않는 페이지는 살펴볼 만한 고아 페이지입니다.

차단되지 않고 웹사이트를 크롤링하려면 어떻게 하나요?

천천히 크롤링하고, 정직한 사용자 에이전트를 쓰고, robots.txt를 따르고, 서버가 429나 503으로 응답하면 속도를 줄이세요. 방화벽 뒤의 고객 사이트라면 차단을 우회하려 하지 말고 IT 팀에 크롤러 허용을 요청하세요.

웹사이트를 크롤링하는 것은 합법인가요?

공개 페이지 크롤링은 흔한 관행이지만 규칙은 나라와 사이트 약관에 따라 다릅니다. 내 사이트와 고객 사이트는 자유롭게 크롤링하고, 어디서든 robots.txt를 따르며, 의심스러우면 사이트 약관을 읽으세요. 법률 자문이 아닙니다.

웹사이트를 크롤링하는 데 얼마나 걸리나요?

대략 URL 수를 속도로 나눈 시간입니다. 2026년 10월 17일 seoprocheck.com 전체 크롤링은 61분 동안 URL 10,222개를 가져왔고, 초당 약 2.8개였습니다. 초당 3개라면 렌더링 전 기준으로 URL 1,000개는 약 6분, 100,000개는 약 9시간이 걸립니다. 템플릿별 샘플은 훨씬 빠릅니다.

내 웹사이트를 무료로 크롤링할 수 있나요?

네. Neova의 Free 요금제는 Mac, Windows, Linux에서 모든 점검으로 크롤링당 URL 최대 1,000개를 크롤링합니다. 더 큰 요금제는 요금을 보세요.

이 글 활용하기

어시스턴트 링크를 열면 이 페이지에 대한 질문이 미리 작성되어 있습니다.

Neova로 사이트를 크롤링하세요Free 요금제는 Mac, Windows, Linux에서 모든 점검을 실행합니다. 신용카드가 필요 없습니다.

계속 읽기