크롤링 예산: 개념, 확인 방법, 낭비를 막는 법
크롤링 예산은 Googlebot이 사이트에서 가져올 수 있고 가져오려는 URL의 양입니다. 대부분의 사이트는 신경 쓸 필요가 없습니다. 하지만 규모가 크거나 자주 바뀌는 사이트는 신경 써야 하고, 해법은 대개 같습니다. 중요하지 않은 URL에 Googlebot이 시간을 쓰지 않게 하는 것입니다.
크롤링 예산이란?
Google은 크롤링 예산을 Googlebot이 사이트에서 크롤링할 수 있고 크롤링하려는 URL의 집합으로 정의합니다. 크롤링 예산 관리 가이드에서는 이를 두 부분으로 나눕니다.
- 크롤링 용량 한도. 서버에 과부하를 주지 않고 Googlebot이 가져올 수 있는 양입니다. 사이트가 빨리 응답하면 한도가 올라갑니다. 느려지거나 서버 오류를 반환하면 Googlebot이 속도를 줄입니다.
- 크롤링 수요. Google이 크롤링하고 싶어 하는 양입니다. 인기 있는 URL과 자주 바뀌는 URL은 더 많이 크롤링됩니다. 오래되었거나 가치가 낮은 URL은 덜 크롤링됩니다.
정리하면 SEO에서 크롤링 예산은 서버가 감당할 수 있는 양과 Google이 가져올 가치가 있다고 보는 양이 만나는 지점입니다. 돈으로 늘릴 수는 없습니다. 받은 만큼을 더 잘 쓸 수 있을 뿐입니다.
내 사이트에 크롤링 예산이 중요할까요?
Google은 크롤링 예산이 주로 세 종류의 사이트에서 문제가 된다고 말합니다. 크롤링 예산 가이드 기준:
| 사이트 | 고유 페이지 | 콘텐츠 변경 | 신경 써야 함 |
|---|---|---|---|
| 대규모 | 1,000,000+ | 매주 | ✓ |
| 중간 규모 이상 | 10,000+ | 매일 | ✓ |
| 발견됨, 색인 미생성 페이지가 많음 | 제한 없음 | 제한 없음 | ✓ |
| 그 밖의 대부분 사이트 | 수천 개 | 제한 없음 | – |
새 페이지가 하루 이틀 안에 크롤링된다면 크롤링 예산은 문제가 아닙니다. 대신 콘텐츠 품질, 내부 링크, 색인 가능 여부를 보세요. SEO ProCheck의 발견됨, 현재 색인이 생성되지 않음 가이드가 이 상태와 원인을 다룹니다.
깔끔한 URL, 적은 리디렉션, 크롤링 함정 없애기처럼 크롤링 예산을 아끼는 습관은 어느 사이트에나 도움이 됩니다. 직접 하는 크롤링도 빨라지고 진단 결과도 읽기 쉬워집니다.
크롤링 예산 확인 방법
크롤링 예산을 나타내는 숫자 하나는 없습니다. 세 곳에서 읽어 냅니다.
1. Search Console의 크롤링 통계 보고서
설정, 크롤링 통계를 여세요. 최근 90일간의 총 크롤링 요청 수, 총 다운로드 크기, 평균 응답 시간을 응답 코드, 파일 형식, 목적(발견 또는 새로고침), Googlebot 유형별로 볼 수 있습니다. 호스트 상태에서는 robots.txt 가져오기, DNS, 서버 연결에 문제가 있었는지 보여 줍니다.
볼 것: 3xx와 4xx 응답 비중이 늘어나는지, 응답 시간이 올라가는지, 새 페이지는 기다리는데 요청 대부분이 새로고침에 쓰이는지.
2. 서버 로그
크롤링 통계는 요약입니다. 로그에는 모든 요청이 남으므로 Googlebot이 어떤 URL을 얼마나 자주 가져가고 어떤 URL은 전혀 건드리지 않는지 정확히 볼 수 있습니다. 연결 대신 가져오기에 Neova가 읽는 로그 형식과 호스팅마다 로그를 보관하는 위치가 정리되어 있습니다.
3. 직접 하는 크롤링
크롤러는 링크와 사이트맵이 드러내는 URL을 보여 줍니다. 그 수를 실제로 색인되길 원하는 페이지 수와 비교하세요. 저희 사이트로 직접 해 보았습니다.
| seoprocheck.com, 2026년 10월 17일 | URL |
|---|---|
| 전체 크롤링으로 가져온 URL | 10,222 |
| 200으로 응답한 HTML 페이지 | 4,561 |
| XML 사이트맵에 포함된 URL | 1,835 |
| 링크로 도달, 사이트맵에 없음 | 2,727 |
즉 가져온 URL 중 200으로 응답한 HTML 페이지는 절반이 안 되었습니다. 나머지는 파일, 리디렉션, 그 밖의 응답으로, 봇도 여기에 요청을 씁니다. 또 링크된 URL 2,727개가 어느 사이트맵에도 없었는데, Google을 탓하기 전에 살펴볼 만합니다. 상품이 20,000개인 사이트에서 크롤링 가능한 URL이 400,000개 나온다면 크롤링 예산 낭비를 찾은 것입니다.
크롤링 예산 낭비는 어디서 생기나
| 출처 | 모습 | 일반적인 해결책 |
|---|---|---|
| 패싯 내비게이션 | 필터 조합마다 URL 하나 | 가치 낮은 조합 차단 |
| 매개변수 | 추적, 세션, 정렬 | 내부 링크에서 제거 |
| 크롤링 함정 | 캘린더, 반복되는 폴더 | 제한, 차단 또는 링크 수정 |
| 리디렉션 체인 | 2단계 이상 | 최종 URL로 링크 |
| 소프트 404 | 없는 페이지인데 200 응답 | 404 또는 410 반환 |
| 중복 URL | 대소문자, 슬래시, 매개변수 순서 | 한 버전으로 리디렉션 |
| 지저분한 사이트맵 | 리디렉션, noindex, 오류 | 색인 가능한 200 URL만 |
| 느린 응답 | 응답 시간 증가 | 서버 속도 개선 |
대부분의 쇼핑몰에서 가장 큰 원인은 패싯 내비게이션입니다. 각 원인이 언제 중요한지는 SEO ProCheck의 크롤링 예산 설명에서 자세히 다룹니다.
단계별 크롤링 예산 최적화
- 색인되어야 할 페이지 수를 셉니다. Google에 올리고 싶은 페이지 수를 적어 두세요. 그보다 많은 것은 모두 낭비 후보입니다.
- 사이트를 크롤링하고 URL을 분류합니다. 깔끔한 페이지 URL을 매개변수 변형, 잘못된 형식의 URL, 크롤링 함정, 리소스와 구분하세요.
- 패턴을 찾습니다. 낭비는 무작위로 생기지 않습니다. 필터 하나, 캘린더 하나, 깨진 상대 링크 하나가 수천 번 반복된 것입니다.
- 크롤링할 필요가 없는 것은 차단합니다. 사이트 내 검색 결과나 정렬 순서처럼 검색 가치가 없는 URL 패턴에는 robots.txt를 쓰세요. 배포하기 전에 크롤링한 URL로 규칙을 테스트하세요.
- 낭비를 만드는 링크를 고칩니다. 차단은 URL을 숨길 뿐이고, 링크를 고쳐야 URL이 더 생기지 않습니다.
- XML 사이트맵을 정리합니다. 200으로 응답하는 색인 가능한 URL만 넣고, lastmod 날짜는 페이지가 바뀔 때만 바뀌게 하세요.
- 올바른 상태 코드를 반환합니다. 없어진 페이지에는 404 또는 410을 쓰고, 찾을 수 없다는 메시지와 함께 200을 반환하지 마세요.
- 리디렉션 체인을 줄이고 내부 링크가 최종 URL을 가리키도록 수정합니다.
- 몇 주 동안 로그와 크롤링 통계를 지켜보며 Googlebot이 중요한 페이지로 옮겨 가는지 확인합니다.
하지 말아야 할 것
흔히 알려진 크롤링 예산 팁 중 일부는 기대한 대로 작동하지 않습니다. Google의 크롤링 예산 가이드와 크롤링 속도 줄이기 페이지 기준:
| 팁 | 예산 절약 | 이유 |
|---|---|---|
| noindex 추가 | – | 페이지는 여전히 크롤링됨 |
| 페이지를 잠시 차단 | – | Google이 권장하지 않음 |
| robots.txt의 Crawl-delay | – | Googlebot은 무시함 |
| 503 또는 429 반환 | ◐ | 긴급 상황, 1~2일 |
| 사이트맵에 URL 나열 | ◐ | 명령이 아닌 힌트 |
| robots.txt로 영구 차단 | ✓ | URL을 전혀 가져가지 않음 |
noindex는 색인에 관한 것이지 크롤링에 관한 것이 아닙니다. robots.txt로는 절대 크롤링되지 않길 원하는 URL만 차단하고, 그런 URL을 만드는 링크를 고치세요.
Neova가 크롤링 예산에 도움이 되는 방식
Neova는 크롤러이지 Googlebot이 아니므로 Google의 실제 예산을 보여 줄 수는 없습니다. 대신 사이트가 Googlebot에게 쓸데없는 일을 시키는 곳을 보여 줍니다.
- 발견은 크롤링하는 동안 함께 실행됩니다. 1분마다 새 URL이 어떤 패턴에서 나오는지 알려 주고, 캘린더, 반복되는 폴더, 세션 ID, 매개변수가 많은 URL, 아주 깊은 URL 같은 크롤링 함정 형태에 플래그를 지정하며, 그 자리에서 계속 크롤링, 건너뛰기, 제외를 고를 수 있습니다.
- URL 내역은 모든 URL을 깔끔한 페이지 URL, 매개변수 변형, 잘못된 형식의 URL, 크롤링 함정, 리소스 중 한 곳에 넣습니다. 숫자에는 항상 설명이 붙습니다.
- robots.txt 테스터는 모든 줄을 설명하고, 초안 테스트는 변경 사항을 배포하기 전에 새로 차단되거나 허용될 URL을 보여 줍니다.
- 데스크톱 앱의 서버 로그는 로그 기간 동안 Googlebot이 한 번도 방문하지 않은 HTML 페이지와, 봇이 요청했지만 크롤링에서는 모르는 URL을 보여 줍니다.
- 점검 항목: 검색 또는 필터 매개변수가 있는 색인 가능한 URL, 순서만 다른 같은 매개변수, 소프트 404 문구, XML 사이트맵의 리디렉션 URL, 50% 이상 길어진 Googlebot 재크롤링 간격 등.

Neova도 정중하게 크롤링합니다. 기본값은 초당 URL 3개이며, 서버가 느려지거나 429 또는 503으로 응답하면 속도를 절반으로 줄입니다. 기능을 보거나 Neova 다운로드로 직접 써 보세요.
크롤링 예산 체크리스트
| 신호 | 정상 | 저장 위치 |
|---|---|---|
| 응답 시간 | 유지 또는 감소 | 크롤링 통계 |
| 3xx와 4xx 비중 | 증가하지 않음 | 크롤링 통계, 로그 |
| 크롤링 가능한 URL 대 원하는 페이지 | 1 대 1에 가까움 | 직접 한 크롤링 |
| 크롤링 함정 | 0 | 직접 한 크롤링 |
| 리디렉션 단계 | 최대 1 | 직접 한 크롤링 |
| 삭제된 페이지 | 404 또는 410 | 직접 한 크롤링 |
| 사이트맵 항목 | 색인 가능한 200만 | 직접 한 크롤링 |
| 사이트맵 파일당 URL | 최대 50,000개 | 직접 한 크롤링 |
| 읽은 로그 기간 | 30일 이상 | 서버 로그 |
| 새 주요 페이지 | Googlebot이 방문함 | 서버 로그 |
자주 묻는 질문
SEO에서 크롤링 예산이란 무엇인가요?
일정 시간 동안 검색엔진이 사이트에서 크롤링할 수 있고 크롤링하려는 URL의 수입니다. Google은 이를 크롤링 용량과 크롤링 수요의 조합으로 설명합니다.
작은 사이트에도 크롤링 예산이 중요한가요?
대개 아닙니다. Google은 주로 아주 큰 사이트, 매일 바뀌는 사이트, 발견되었지만 색인되지 않은 페이지가 많은 사이트의 문제라고 말합니다. 작은 사이트는 더 좋은 콘텐츠와 내부 링크에서 얻는 것이 더 많습니다.
크롤링 예산은 어떻게 늘리나요?
서버를 빠르고 안정적으로 만들고, Google이 크롤링할 이유를 주세요. 사람들이 링크하고 방문하는 페이지, 계속 바뀌는 콘텐츠입니다. 그런 다음 매개변수, 리디렉션, 중복에 예산을 낭비하지 않게 하세요.
noindex로 크롤링 예산을 아낄 수 있나요?
아니요. Google은 noindex를 읽으려면 페이지를 크롤링해야 합니다. 특정 URL 패턴에서 Googlebot을 영구히 막으려면 robots.txt로 차단하고, 그 URL을 만드는 링크를 고치세요.
Googlebot은 crawl-delay를 따르나요?
아니요. Google은 robots.txt의 crawl-delay를 지원하지 않습니다. Bing은 지원한다고 문서화되어 있습니다. Neova는 모든 사용자 에이전트에 설정된 crawl-delay에 플래그를 지정하므로 여전히 필요한지 판단할 수 있습니다.