고급 SEO 크롤러: JavaScript, 대규모 사이트, 크롤링 비교, 모니터링
404는 어떤 크롤러든 찾습니다. 고급 SEO 크롤러는 단순한 크롤러가 무너지는 사이트를 다룹니다. JavaScript 프레임워크, 수백만 개의 URL, 패싯 내비게이션, 마이그레이션, 그리고 매일 바뀌는 사이트입니다.
SEO 크롤러를 고급으로 만드는 것
모든 크롤러는 가져오고, 파싱하고, 링크를 따라가고, 보고합니다. 고급 크롤러를 가르는 것은 사이트가 까다로워질 때의 동작입니다.
| 까다로운 경우 | 살펴볼 것 | Neova에서 |
|---|---|---|
| JavaScript 사이트 | 페이지별 원본 vs 렌더링 | ✓ |
| 크롤링 함정 | 크롤링 중에 발견해 제외 | 매분 발견 |
| 초대형 사이트 | 크롤링을 디스크에 보관 | URL 60,000개에 메모리 60MB |
| 시간에 따른 변화 | 크롤링 대 크롤링 비교 | 크롤링 비교 |
| 매일 배포 | 일정과 알림 | Slack, Microsoft Teams |
| 팀 워크플로 | CLI, CI 게이트, API | ✓ |
| 여러 사이트 | 크롤링을 나란히 | 최대 4개 동시 |
한 창에서 최대 4개 크롤링을 동시에 실행하는 기능은 Desktop 요금제 이상에서 제공됩니다. 큰 크롤링은 메모리가 아니라 디스크 용량의 제한을 받습니다.
JavaScript SEO 크롤링: 원본 HTML 대 렌더링된 HTML
Google은 JavaScript SEO 기본 사항에서 설명하듯 먼저 HTML을 크롤링하고, 리소스가 허락할 때 나중에 페이지를 렌더링합니다. 많은 AI 크롤러는 아예 렌더링하지 않을 수 있습니다. 그래서 핵심은 렌더링 전에 무엇이 빠져 있느냐입니다.
| 렌더링된 HTML에만 있음 | Neova 점검 |
|---|---|
| 본문 | 본문 대부분이 렌더링된 HTML에만 나타남 |
| 내부 링크 | 내부 링크가 렌더링된 HTML에만 나타남 |
| Canonical | Canonical이 JavaScript로만 설정됨 |
| 제목 | 제목이 렌더링된 HTML에만 나타남 |
| 리디렉션 | HTML 페이지가 JavaScript로 리디렉션됨 |
렌더링은 느리고 무겁습니다. 큰 사이트에서는 먼저 템플릿마다 몇 페이지만 렌더링하세요. 완전히 서버에서 렌더링되는 템플릿이라면 그 이상은 필요 없습니다. 더 깊은 내용은 JavaScript SEO 크롤러 가이드에 있습니다.
엔터프라이즈 SEO 크롤러에 필요한 것: 규모, 함정, 템플릿
Google의 크롤링 예산 관리 문서는 누가 신경 써야 하는지 알려 줍니다.
| 사이트 | 고유 페이지 | 콘텐츠 변경 |
|---|---|---|
| 대규모 | 100만 개 이상 | 매주 |
| 중간 규모 이상 | 10,000개 이상 | 매일 |
그보다 작으면 크롤링 예산이 문제가 되는 일은 드뭅니다. SEO ProCheck는 크롤링 예산이 중요해지는 경우를 더 자세히 설명합니다. 그래도 대규모 사이트의 크롤링은 예측 가능한 방식으로 실패하며, 대부분 크롤링 함정에서 시작됩니다.
| 크롤링 함정 | 예시 URL | 일반적인 해결책 |
|---|---|---|
| 캘린더 | /events/2031/04/ | 패턴 제외 |
| 반복되는 폴더 | /shop/shop/shop/ | 상대 링크 수정 |
| 세션 ID | /?sid=8f3a2c | 링크에서 ID 제거 |
| 필터 조합 | ?color=red&size=9&sort=price | 어떤 패싯을 페이지로 둘지 결정 |
| 정렬과 보기 | ?sort=price&view=grid | 기본 URL로 canonical |
필터에 대해서는 SEO ProCheck의 패싯 내비게이션 가이드가 어떤 패싯이 별도 페이지가 될 만한지 다룹니다. 샘플링도 도움이 됩니다. 템플릿마다 정해진 수의 페이지를 크롤링하면 몇 분 만에 모든 템플릿을 확인할 수 있습니다. 정규식 세그먼트는 섹션별 상태 코드를 보여 주고, XPath, CSS 선택자, 정규식 추출로 가격, 저자, 스키마 필드를 뽑아낼 수 있습니다.

저희 사이트 seoprocheck.com의 규모, 2026년 10월 17일: 전체 크롤링으로 61분 동안 URL 10,222개를 가져왔고, 1.66GB의 원본 페이지 본문이 340MB로 저장되었습니다.
크롤링 비교: 무엇이 바뀌었는지 보기
진단 한 번은 사이트의 상태를 알려 줍니다. 두 번을 비교하면 사이트에 무슨 일이 있었는지 알 수 있습니다. 다음을 보세요.
- 두 크롤링 사이에 새로 생기거나, 사라지거나, 바뀐 URL
- 새 플래그와 해결된 플래그
- 제목, 메타 디스크립션, H1의 이전과 이후
- 바뀐 robots.txt 규칙. 이전 크롤링 이후 robots.txt 규칙이 변경됨을 참고하세요.
- 크롤링 가능한 URL 수의 급격한 변화
같은 조건끼리 비교하세요. 전체 크롤링은 전체 크롤링과, 같은 설정으로. 샘플과 전체 크롤링을 비교하면 범위 차이만 드러납니다.
모니터링: 예약 크롤링과 알림
모니터링은 스스로 돌아가는 크롤링 비교입니다. 사이트의 배포 주기에 일정을 맞추세요.
| 사이트 | 전체 크롤링 | Core Web Vitals 스냅숏 |
|---|---|---|
| 바쁜 쇼핑몰 | 매일 | 매주 |
| 대부분의 사이트 | 매주 | 매주 |
| 조용한 사이트 | 월간 | 월간 |
Chrome UX Report는 28일 이동 평균이므로 Core Web Vitals 필드 데이터는 매주로 충분합니다. 좋은 알림 조건: 지난 크롤링 이후 새 플래그, 클릭 감소, 더 나빠진 Core Web Vitals 등급, 추적 중인 검색어의 상위 10위 이탈. 알림은 사람들이 이미 보는 곳으로 보내고, 개수는 적게 유지하세요.
마이그레이션과 스테이징 사이트
마이그레이션은 크롤링이 제값을 하는 순간입니다. 예전 사이트와 스테이징을 크롤링하고 상태 코드, noindex, canonical, 제목, H1, 한쪽에만 있는 URL을 비교하세요. 예전 URL에서 새 URL로 가는 리디렉션 맵을 만들고 오픈 후 실제 리디렉션을 하나하나 점검하세요.
스테이징에는 보통 HTTP 인증, 모든 것을 막는 robots.txt, 그리고 라이브 도메인을 가리키는 링크가 있습니다. 라이브 도메인 링크를 스테이징 호스트로 바꿔 주는 크롤러가 있으면 몇 시간을 아낄 수 있습니다. SEO ProCheck의 사이트 마이그레이션 FAQ는 오픈 당일 나오는 질문에 답합니다.
저희 사이트에서도 오픈 실수 두 가지를 발견했습니다. 2026년 11월 20일 SEO 점검 전까지 http://neova.app는 https로 301을 보내지 않고 200으로 응답했고, 존재하지 않는 주소는 404 대신 출시 예정 페이지에서 503으로 응답했습니다. 둘 다 지금은 고쳤으며, 둘 다 오픈 전후의 크롤링이 잡아내야 할 문제입니다. HTTPS 사이트에서 HTTP URL이 200을 반환함을 참고하세요.
자동화: CLI, CI, API
규모가 커지면 크롤링은 배포의 일부가 됩니다.
| 구성 요소 | 작업 | Neova에서 |
|---|---|---|
| 명령줄 | 크롤링 시작, 결과 읽기 | neova CLI |
| CI 게이트 | 새 플래그가 생기면 빌드 실패 | neova check |
| API | 대시보드, 사내 도구 | REST API, 분당 요청 60회 |
| MCP 서버 | AI 어시스턴트가 크롤링 데이터를 읽음 | ✓ |
| 티켓 | 문제와 템플릿마다 하나 | Jira, Linear, Asana |
REST API는 Neova Online의 일부로, Desktop + Online 요금제 이상에서 제공됩니다. CI 게이트는 마지막 정상 릴리스의 기준 크롤링과 함께 쓸 때 가장 좋습니다. 새로 생긴 플래그에서만 빌드가 실패하므로 예전 문제 때문에 매번 배포가 막히지 않습니다.
Neova가 고급 크롤링을 다루는 방식
- 렌더링: Chrome에서 모든 페이지 또는 페이지 그룹마다 몇 페이지를 렌더링하고, 각 페이지를 서버 렌더링, 하이드레이션, JavaScript 필요로 표시합니다.
- 규모: 크롤링을 디스크에 보관하고, 페이지 그룹별 샘플을 제공하며, 발견(Discovery)이 함정마다 계속 크롤링, 건너뛰기, 제외를 제안합니다.
- 기록: 크롤링 비교, 그리고 모든 크롤링, robots.txt 버전, XML 사이트맵을 보관하는 과거 데이터.
- 서버 로그: Apache나 Nginx 로그, 또는 본인의 Cloudflare 계정. Googlebot, Bingbot, AI 크롤러는 각 회사가 공개한 목록에 주소가 있을 때만 집계합니다.
- 원본보다 오래: Google이 16개월 후 삭제하는 Search Console 데이터를 매달 모두 보관합니다.
- 마이그레이션: URL별 신뢰도가 있는 리디렉션 맵, 실시간 리디렉션 점검, 스테이징 대 프로덕션, URL 재작성.
기능 페이지에서 모든 기능을, 비교에서 Neova가 다른 도구와 어떻게 다른지 확인하세요.
자주 묻는 질문
고급 SEO 크롤러란 무엇인가요?
까다로운 사이트를 위해 만든 크롤러입니다. JavaScript를 렌더링해 원본 HTML과 비교하고, 크롤링 함정과 초대형 사이트를 다루고, 시간에 따라 크롤링을 비교하고, 일정에 따라 실행되며, 티켓, CI, API와 연결됩니다.
모든 페이지를 JavaScript로 렌더링해야 하나요?
보통은 아닙니다. 먼저 템플릿마다 샘플을 렌더링하세요. 콘텐츠가 모두 서버 HTML에 있는 템플릿은 전체 렌더링이 필요 없고, JavaScript에 의존하는 템플릿은 필요합니다.
크롤링 예산은 언제 중요한가요?
Google에 따르면 주로 매주 바뀌는 고유 페이지가 100만 개 이상이거나, 매일 바뀌는 고유 페이지가 10,000개 이상인 사이트입니다. 작은 사이트는 거의 해당되지 않습니다.
엔터프라이즈 SEO 크롤러는 얼마나 큰 사이트를 다룰 수 있나요?
도구에 따라, 데스크톱 크롤러라면 컴퓨터에 따라 다릅니다. Neova는 크롤링을 디스크에 보관하며 Desktop 요금제에서 컴퓨터에 따라 크롤링당 최대 500만 개 URL까지 처리합니다. 가격을 참고하세요.
SEO 문제가 있으면 배포를 실패시킬 수 있나요?
네, CI 게이트로 가능합니다. Neova에서는 neova check가 크롤링을 기준과 비교하고 새 플래그가 나타나면 오류 코드로 종료하므로 파이프라인이 릴리스를 멈출 수 있습니다.