Neova고급 SEO 플랫폼

SEO 로그 파일 분석: Googlebot이 실제로 하는 일을 읽는 법

크롤러는 검색엔진이 무엇을 가져갈 수 있는지 알려 줍니다. 서버 로그는 실제로 무엇을 가져갔는지 알려 줍니다. SEO 로그 파일 분석은 이 로그를 읽어 Googlebot, Bingbot, AI 크롤러가 어디에 시간을 쓰는지, 어디에는 전혀 가지 않는지 확인하는 습관입니다.

진단, 로그, 모니터링SEO 로그 분석2026년 11월 21일 업데이트Neova 팀 작성

로그 파일 분석이란?

모든 웹 서버는 응답한 요청마다 한 줄을 기록합니다. 누가, 어떤 URL을, 언제 요청했고, 서버가 무엇으로 응답했는지입니다. 이 줄들이 액세스 로그에 쌓입니다. 로그 파일 분석은 이 로그를 보통 검색엔진과 AI 크롤러로 걸러 읽고, 답으로 바꾸는 일입니다.

SEO 관점의 질문은 단순합니다. Googlebot은 어떤 페이지를 얼마나 자주 방문하나요? 어떤 페이지는 전혀 방문하지 않나요? 어디서 리디렉션과 오류를 만나나요? 존재하지 말아야 할 URL에 요청을 낭비하고 있나요?

이 질문에 같은 수준으로 답하는 다른 출처는 없습니다. Search Console의 크롤링 통계 보고서는 요약을 줍니다. 크롤링은 링크가 드러내는 것을 보여 줍니다. 실제 요청 하나하나를 보여 주는 것은 로그뿐입니다.

출처요청마다모든 봇URL별
서버 로그✓✓✓
크롤링 통계–◐◐
내 크롤링––✓

크롤링 통계는 Googlebot만, 90일 동안, 샘플 URL과 함께 다룹니다. 방법을 더 자세히 보려면 SEO ProCheck의 SEO 로그 파일 분석을 참고하세요.

SEO에 로그 파일 분석이 중요한 이유

  • Googlebot이 무시하는 페이지 찾기. 링크되어 있고, 색인 가능하며, 사이트맵에도 있는데 한 번도 요청되지 않은 페이지는 Google이 찾아갈 가치가 없다고 보는 페이지입니다.
  • 크롤링 예산 낭비 잡기. 매개변수, 패싯 URL, 오래된 리디렉션은 잊은 지 한참 뒤에도 로그에 나타납니다.
  • Googlebot이 보는 대로 오류 찾기. 부하가 걸릴 때만 나는 5xx나 방화벽이 보내는 429는 내 크롤링에서는 끝내 보이지 않을 수 있습니다.
  • 고아 페이지 찾기. 봇이 요청하지만 어떤 내부 링크도 이어지지 않는 URL은 여전히 관심을 받는 오래된 페이지인 경우가 많습니다.
  • AI 크롤러 보기. GPTBot, ClaudeBot, PerplexityBot 등도 기록을 남기므로 무엇을 가져가고 무엇을 거부당하는지 볼 수 있습니다.
  • 마이그레이션 확인. 이전 후 로그를 보면 Googlebot이 리디렉션을 따라 새 URL에 도달하는지 알 수 있습니다.

서버 로그 한 줄에 담긴 것

가장 흔한 형식은 Apache combined 로그 형식이며, Nginx의 기본값이기도 합니다. 한 줄은 다음과 같습니다.

66.249.66.1 - - [10/Nov/2026:13:55:36 -0600] "GET /shoes/ HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
필드예시중요한 이유
클라이언트 IP66.249.66.1진짜 봇인지 확인하는 유일한 방법
시간10/Nov/2026:13:55:36크롤링 빈도와 재크롤링 간격
요청GET /shoes/가져간 URL
상태200성공, 리디렉션 또는 오류
바이트2326응답 크기
User agentGooglebot/2.1요청했다고 주장하는 크롤러

IIS는 열 이름을 담은 #Fields: 줄과 함께 W3C 확장 형식으로 기록합니다. Cloudflare, CloudFront, AWS 로드 밸런서, Google Cloud, Akamai, Fastly 같은 CDN과 로드 밸런서는 저마다 형식이 있으며 JSON인 경우가 많습니다. Apache의 일반 common 형식에는 사용자 에이전트가 없어 봇을 구분할 수 없습니다. combined 형식으로 요청하세요.

서버 로그를 구하는 법

호스트로그 위치
cPanelMetrics, Raw Access (.gz)
PleskLogs, Manage Log Files
Amazon로깅을 켠 뒤 S3 버킷
Google Cloud활성화한 뒤 Cloud Logging
CloudflareLogpush 또는 내 계정
그 밖의 경우IT 팀이나 호스팅 업체에 문의

Amazon과 Google Cloud에서는 액세스 로깅이 켜기 전까지 꺼져 있습니다. 로그를 요청할 때는 작고 승인하기 쉽게 요청하세요.

요청할 것값
기간30일 이상
줄크롤러만
필드시간, URL, 상태, 사용자 에이전트, IP
형식common이 아닌 combined

일반 방문자를 빼면 요청에 개인 정보가 들어가지 않아 보안 팀이 반깁니다. 30일보다 짧으면 천천히 크롤링되는 페이지가 한 번도 방문되지 않은 것처럼 보입니다.

로그 한 줄을 믿기 전에 Googlebot인지 확인하기

누구나 사용자 에이전트 문자열에 Googlebot을 넣을 수 있습니다. 스크레이퍼는 늘 그렇게 합니다. 요청을 집계하기 전에 그 이름의 회사에서 온 것인지 확인하세요.

봇역방향 DNS 끝부분공개된 IP 목록
Googlebotgooglebot.com, google.com, googleusercontent.com✓
Bingbotsearch.msn.com✓
GPTBot, OAI-SearchBot, ChatGPT-UserIP 목록 사용✓
PerplexityBot, Perplexity-UserIP 목록 사용✓

DNS로 확인하려면 IP에 역방향 조회를 하고, 이름을 확인한 뒤, 정방향 조회로 같은 IP를 가리키는지 확인합니다. 봇 이름을 쓰지만 확인에 실패한 요청은 그 봇이 아닙니다. 따로 집계하세요. AI 크롤러를 자처하는 확인되지 않은 요청이 200 응답을 받는다면 누군가 빌린 이름으로 콘텐츠를 수집하고 있는 것입니다. Neova는 이를 확인되지 않은 AI 크롤러 요청이 2xx를 받음으로, 확인되는 요청이 하나도 없으면 AI 크롤러 이름이 확인되지 않은 요청에만 나타남으로 플래그를 붙입니다.

무엇을 볼까: 로그 분석 체크리스트

로그는 크롤링과 대조해 읽으세요. 2026년 10월 17일 seoprocheck.com 전체 크롤링에서 200으로 응답한 HTML 페이지는 4,561개였습니다. 이 사이트의 로그를 페이지별로 비교할 목록이 바로 이것입니다. 읽을 만한 신호와, 해당하는 경우 Neova 로그 점검이 쓰는 임계값은 다음과 같습니다.

신호정상주의할 때
봇별 3xx, 4xx, 5xx 비율낮고 일정함1% 초과이면서 두 배
봇에 대한 429와 4030제한 없음
한 번도 방문되지 않은 핵심 페이지0제한 없음
Googlebot 재크롤링 간격일정함50% 이상 증가
하루에 처음 보는 URL일정함하루 10개 이상, 두 배
가져간 CSS와 JS200으로 응답오류가 하나라도

봇별로 하루에 확인된 요청 수도 세고, 크롤링이 찾지 못한 URL 중 봇이 요청하는 것을 보세요. 고아 페이지, 오래된 페이지, 매개변수, 다른 사이트에서 온 링크입니다. 처음 보는 URL이 갑자기 늘면 크롤링 트랩이나 깨진 템플릿이 배포되었다는 뜻인 경우가 많습니다.

Neova의 로그 파일 분석

Neova 데스크톱 앱에는 로그를 크롤링과 결합하는 Server Log 도구가 있어, 각 URL마다 크롤링이 찾은 것과 봇이 한 일을 함께 보여 줍니다.

  • 로그 소스 8가지를 줄 자체에서 알아냅니다. Apache와 Nginx combined, IIS W3C, Amazon CloudFront, Amazon 로드 밸런서, Cloudflare Logpush, Google Cloud 부하 분산, Akamai DataStream, 그리고 일반적인 필드 이름을 쓰는 Fastly 또는 기타 JSON, CSV 로그입니다. 일반 파일, .gz, 또는 .zip 하나에 담긴 여러 파일을 읽습니다.
  • 확인된 봇만. 요청의 주소가 해당 회사가 공개한 목록에 있을 때만 Googlebot, Bingbot, AI 크롤러로 집계합니다. Google과 Microsoft는 역방향 DNS도 켤 수 있습니다.
  • 방문되지 않은 페이지와 고아 페이지: 로그 기간 동안 Googlebot이 한 번도 방문하지 않은 HTML 페이지, 그리고 봇이 요청했지만 크롤링이 모르는 URL.
  • 거부: 각 봇이 받은 429와 403 응답.
  • Cloudflare: Cloudflare 뒤에 있는 사이트라면 Neova가 내 Cloudflare 계정에서 크롤러 요청을 수집할 수 있으며, 서버 접근 권한은 필요 없습니다.
  • 로그 요청하기는 IT 팀에 보낼 요청문을 써 줍니다. 크롤러 줄만, 설치할 것은 없습니다.
  • 내 컴퓨터에서 읽기. 파일은 컴퓨터를 떠나지 않으며, IP 주소는 어디에도 기록되지 않습니다.

로그 점검에는 검색 봇의 3xx, 4xx, 5xx 응답 비율 증가, 50% 이상 늘어난 Googlebot 재크롤링 간격, 두 배로 늘어난 처음 보는 URL에 대한 봇 요청, 로그로 찾은 색인 가능한 고아 페이지가 있습니다. 단계별 안내는 연결 대신 가져오기에 있고, 어떤 요금제에 서버 로그가 포함되는지는 요금제에서 볼 수 있습니다.

흔한 실수

  • 사용자 에이전트를 그대로 믿기. IP 확인 없이는 가짜 Googlebot이 모든 수치를 부풀립니다.
  • 일주일치 로그만 쓰기. 많은 페이지가 그보다 드물게 크롤링됩니다. 최소 30일치를 쓰세요.
  • 요청 대신 조회수 집계 분석하기. 로그 요약은 개요로는 좋지만, 세부 내용은 원본 줄에 있습니다. 원본을 요청하세요.
  • CDN을 잊기. CDN이 캐시에서 응답하면 원본 서버 로그에는 그 요청이 빠집니다. CDN의 로그를 쓰세요.
  • 크롤링 없이 로그 읽기. 로그만으로는 봇이 어떤 페이지를 건너뛰었는지 알 수 없습니다. 비교할 기존 페이지 목록이 필요합니다.

SEO ProCheck의 로그 파일 분석 FAQ가 그다음에 나오는 질문에 답합니다.

자주 묻는 질문

SEO에서 로그 파일 분석이란 무엇인가요?

서버 액세스 로그를 읽어 검색엔진과 AI 크롤러가 어떤 URL을 얼마나 자주 요청했고 서버가 무엇으로 응답했는지 보는 것입니다. 크롤러가 도달할 수 있는 것이 아니라 실제 크롤링 행동을 보여 줍니다.

로그는 며칠치가 필요한가요?

최소 30일입니다. 기간이 짧으면 Googlebot이 몇 주에 한 번 방문하는 페이지가 한 번도 크롤링되지 않은 것처럼 보입니다.

서버 접근 권한 없이 로그 파일 분석을 할 수 있나요?

대개 가능합니다. 사이트가 Cloudflare나 CloudFront 같은 CDN 뒤에 있다면 그 로그에 크롤러 요청이 담겨 있습니다. Neova는 서버 접근 권한 없이 내 Cloudflare 계정에서 크롤러 요청을 수집할 수 있습니다.

Search Console의 크롤링 통계가 서버 로그를 대신하나요?

아니요. 크롤링 통계는 Googlebot 합계와 샘플을 줍니다. 로그는 모든 봇의 모든 요청을 URL별로 주므로 크롤링과 대조할 수 있습니다.

서버 로그에 개인 정보가 들어 있나요?

방문자 IP 주소가 들어 있으므로 주의해서 다루세요. 크롤러 줄만 요청하세요. Neova는 로그를 내 컴퓨터에서 읽고 IP 주소를 어디에도 기록하지 않습니다.

이 글 활용하기

어시스턴트 링크를 열면 이 페이지에 대한 질문이 미리 작성되어 있습니다.

Neova로 사이트를 크롤링하세요Free 요금제는 Mac, Windows, Linux에서 모든 점검을 실행합니다. 신용카드가 필요 없습니다.

계속 읽기