NeovaNền tảng SEO chuyên sâu

Crawler SEO nâng cao: JavaScript, website lớn, so sánh lần crawl và giám sát

Crawler nào cũng tìm được 404. Một crawler SEO nâng cao xử lý được những website làm khó các crawler đơn giản: framework JavaScript, hàng triệu URL, faceted navigation, chuyển đổi website, và những website thay đổi mỗi ngày.

Chọn crawlercrawler seo nâng caoCập nhật ngày 21 tháng 11 năm 2026Tác giả: đội ngũ Neova

Điều gì làm nên một crawler SEO nâng cao

Crawler nào cũng tải trang, phân tích, đi theo link và báo cáo. Điều phân biệt một crawler nâng cao là cách nó xử lý khi website trở nên khó.

Trường hợp khóCần tìm gìTrong Neova
Website JavaScriptHTML gốc so với đã kết xuất, theo từng trang✓
Bẫy crawlPhát hiện và loại trừ ngay khi crawlKhám phá, mỗi phút
Website rất lớnLần crawl lưu trên ổ đĩa60 MB bộ nhớ ở 60.000 URL
Thay đổi theo thời gianSo lần crawl với lần crawlSo sánh các lần crawl
Phát hành hằng ngàyLịch và cảnh báoSlack, Microsoft Teams
Quy trình làm việc nhómCLI, cổng CI, API✓
Nhiều websiteCác lần crawl cạnh nhauTối đa 4 lần cùng lúc

Tối đa 4 lần crawl cùng lúc có từ gói Desktop trở lên, trong một cửa sổ. Lần crawl lớn bị giới hạn bởi ổ đĩa, không phải bộ nhớ.

Crawl JavaScript SEO: HTML gốc so với HTML đã kết xuất

Google crawl HTML trước và kết xuất trang sau, khi tài nguyên cho phép, như kiến thức cơ bản về JavaScript SEO của Google giải thích. Nhiều AI crawler có thể không bao giờ kết xuất. Vậy câu hỏi là thứ gì bị thiếu trước khi kết xuất.

Chỉ có trong HTML đã kết xuấtMục kiểm tra của Neova
Nội dung chínhPhần lớn nội dung chính chỉ xuất hiện trong HTML đã kết xuất
Internal linkInternal link chỉ xuất hiện trong HTML đã kết xuất
CanonicalCanonical chỉ được đặt bằng JavaScript
TitleTitle chỉ xuất hiện trong HTML đã kết xuất
RedirectTrang HTML redirect bằng JavaScript

Kết xuất chậm và nặng. Trên website lớn, hãy kết xuất trước vài trang cho mỗi template. Một template kết xuất hoàn toàn phía server thì không cần hơn. Hướng dẫn JavaScript SEO crawler đi sâu hơn.

Crawler SEO cho doanh nghiệp cần gì: quy mô, bẫy crawl và template

Ghi chú của Google về quản lý crawl budget cho biết ai cần quan tâm.

WebsiteSố trang duy nhấtNội dung thay đổi
Lớn1 triệu trở lênHằng tuần
Trung bình trở lên10.000 trở lênHằng ngày

Dưới ngưỡng đó, crawl budget hiếm khi là vấn đề. SEO ProCheck giải thích chi tiết hơn khi nào crawl budget quan trọng. Website lớn vẫn hỏng lần crawl theo những cách dễ đoán, và phần lớn bắt đầu từ một bẫy crawl.

Bẫy crawlURL ví dụCách sửa thường dùng
Lịch/events/2031/04/Loại trừ mẫu URL
Thư mục lặp lại/shop/shop/shop/Sửa link tương đối
Session ID/?sid=8f3a2cKhông đưa ID vào link
Tổ hợp bộ lọc?color=red&size=9&sort=priceChọn facet nào là trang
Sắp xếp và kiểu xem?sort=price&view=gridCanonical về URL gốc

Với bộ lọc, hướng dẫn faceted navigation của SEO ProCheck nói rõ facet nào xứng đáng có trang riêng. Lấy mẫu cũng giúp ích: một số trang cố định cho mỗi template phủ được mọi template trong vài phút. Phân đoạn bằng regex cho thấy mã trạng thái theo từng khu vực, và trích xuất bằng XPath, CSS selector hoặc regex lấy ra giá, tác giả hoặc trường schema.

Một lần crawl đang chạy trong Neova: Khám phá báo mỗi phút URL mới đến từ đâu và đánh dấu các mẫu bẫy crawl, trong khi Bản đồ crawl trực tiếp khoanh vòng từng độ sâu click
Một lần crawl đang chạy trong Neova: Khám phá báo mỗi phút URL mới đến từ đâu và đánh dấu các mẫu bẫy crawl, trong khi Bản đồ crawl trực tiếp khoanh vòng từng độ sâu click

Quy mô trên chính website của chúng tôi, seoprocheck.com, ngày 17 tháng 10 năm 2026: một lần crawl đầy đủ tải 10.222 URL trong 61 phút, và 1,66 GB nội dung trang gốc được lưu thành 340 MB.

So sánh lần crawl: thấy những gì đã thay đổi

Một lần audit cho bạn biết tình trạng website. So sánh hai lần cho bạn biết điều gì đã xảy ra với nó. Hãy xem:

  • URL mới, bị xóa hoặc thay đổi giữa hai lần
  • Mục đánh dấu mới và mục đánh dấu đã được giải quyết
  • Title, meta description và H1, trước và sau
  • Quy tắc robots.txt đã thay đổi. Xem Quy tắc robots.txt thay đổi so với lần crawl trước.
  • Số URL crawl được thay đổi đột ngột

So sánh cùng loại: crawl đầy đủ với crawl đầy đủ, cùng thiết lập. So một mẫu với một lần crawl đầy đủ chỉ cho thấy khác biệt về phạm vi.

Giám sát: crawl theo lịch và cảnh báo

Giám sát là so sánh lần crawl tự chạy. Hãy đặt lịch khớp với tần suất website phát hành.

WebsiteCrawl đầy đủẢnh chụp Core Web Vitals
Cửa hàng bận rộnHằng ngàyHằng tuần
Hầu hết websiteHằng tuầnHằng tuần
Website ít thay đổiHằng thángHằng tháng

Hằng tuần là đủ cho dữ liệu thực tế Core Web Vitals vì Chrome UX Report là trung bình trượt 28 ngày. Điều kiện cảnh báo tốt: mục đánh dấu mới kể từ lần crawl trước, số click giảm, điểm Core Web Vitals tệ hơn, một từ khóa đang theo dõi rơi khỏi top 10. Gửi cảnh báo tới nơi mọi người vẫn xem, và giữ chúng ít thôi.

Chuyển đổi website và website staging

Chuyển đổi website là lúc crawl tự chứng minh giá trị. Crawl website cũ, crawl staging, rồi so mã trạng thái, noindex, canonical, title, H1 và các URL chỉ có ở một bên. Lập bản đồ redirect từ cũ sang mới và kiểm tra từng redirect thực tế sau khi ra mắt.

Staging thường cần xác thực HTTP, một robots.txt chặn mọi thứ, và các link trỏ về domain thật. Một crawler tự viết lại link domain thật sang host staging tiết kiệm hàng giờ. FAQ chuyển đổi website của SEO ProCheck trả lời các câu hỏi hay gặp vào ngày ra mắt.

Chúng tôi tìm thấy hai lỗi ra mắt trên chính website của mình. Cho đến đợt rà soát SEO ngày 20 tháng 11 năm 2026, http://neova.app trả về 200 thay vì 301 sang https, và các địa chỉ không tồn tại trả về 503 từ trang sắp ra mắt thay vì 404. Cả hai đã được sửa, và cả hai đều là thứ một lần crawl trước và sau ra mắt nên bắt được. Xem URL HTTP trả về 200 trên website HTTPS.

Tự động hóa: CLI, CI và API

Ở quy mô lớn, crawl trở thành một phần của quy trình phát hành.

Thành phầnJobTrong Neova
Dòng lệnhBắt đầu crawl, đọc kết quảCLI neova
Cổng CICho build thất bại khi có mục đánh dấu mớineova check
APIDashboard, công cụ nội bộREST API, 60 request mỗi phút
MCP serverTrợ lý AI đọc các lần crawl✓
TicketMột ticket cho mỗi vấn đề và templateJira, Linear, Asana

REST API là một phần của Neova Online, có từ gói Desktop + Online trở lên. Cổng CI hoạt động tốt nhất với một lần crawl gốc của bản phát hành tốt gần nhất: build chỉ thất bại với các mục đánh dấu mới, nên nợ cũ không chặn mọi lần deploy.

Neova xử lý crawl nâng cao thế nào

  • Kết xuất: kết xuất trong Chrome, mọi trang hoặc vài trang mỗi nhóm trang, và đánh dấu từng trang là Kết xuất phía máy chủ, Đã hydrate hay Cần JavaScript.
  • Quy mô: giữ lần crawl trên ổ đĩa, có Mẫu mỗi nhóm trang, và Khám phá cho phép Tiếp tục crawl, Bỏ qua hoặc Loại trừ với từng bẫy.
  • Lịch sử: So sánh các lần crawl, và Dữ liệu lịch sử giữ mọi lần crawl, mọi phiên bản robots.txt và XML Sitemap.
  • Log server: log Apache hoặc Nginx, hoặc tài khoản Cloudflare của chính bạn; Googlebot, Bingbot và AI crawler chỉ được tính khi địa chỉ của chúng nằm trong danh sách mà mỗi công ty công bố.
  • Vượt quá nguồn dữ liệu: giữ mọi tháng dữ liệu Search Console sau khi Google xóa ở mốc 16 tháng.
  • Chuyển đổi website: Bản đồ redirect với độ tin cậy cho từng URL, Kiểm tra redirect thực tế, Staging so với production và Viết lại URL.

Xem mọi tính năng trên trang tính năng, hoặc Neova so sánh thế nào trong So sánh.

Câu hỏi

Crawler SEO nâng cao là gì?

Một crawler được làm cho các website khó: nó kết xuất JavaScript và so với HTML gốc, xử lý bẫy crawl và website rất lớn, so sánh các lần crawl theo thời gian, chạy theo lịch và gắn được vào ticket, CI và API.

Tôi có cần kết xuất mọi trang bằng JavaScript không?

Thường là không. Hãy kết xuất trước một mẫu cho mỗi template. Template có toàn bộ nội dung trong HTML từ server thì không cần kết xuất đầy đủ; template phụ thuộc JavaScript thì cần.

Khi nào crawl budget quan trọng?

Google nói chủ yếu với website có từ 1 triệu trang duy nhất trở lên thay đổi hằng tuần, hoặc từ 10.000 trang trở lên thay đổi hằng ngày. Website nhỏ hơn hiếm khi gặp giới hạn này.

Một crawler SEO doanh nghiệp xử lý được website lớn cỡ nào?

Tùy công cụ và, với crawler desktop, tùy máy tính. Neova giữ lần crawl trên ổ đĩa và đạt tới 5 triệu URL mỗi lần crawl với gói Desktop, tùy máy tính của bạn. Xem bảng giá.

Tôi có thể cho deploy thất bại khi có lỗi SEO không?

Có, bằng cổng CI. Trong Neova, neova check so một lần crawl với lần crawl gốc và thoát với mã lỗi khi xuất hiện mục đánh dấu mới, để pipeline có thể dừng bản phát hành.

Lưu lại hoặc chia sẻ

Các link tới trợ lý AI sẽ mở sẵn một câu hỏi về trang này.

Crawl website của bạn với NeovaGói Free chạy mọi mục kiểm tra trên Mac, Windows và Linux. Không cần thẻ tín dụng.

Đọc tiếp