Crawler SEO nâng cao: JavaScript, website lớn, so sánh lần crawl và giám sát
Crawler nào cũng tìm được 404. Một crawler SEO nâng cao xử lý được những website làm khó các crawler đơn giản: framework JavaScript, hàng triệu URL, faceted navigation, chuyển đổi website, và những website thay đổi mỗi ngày.
Điều gì làm nên một crawler SEO nâng cao
Crawler nào cũng tải trang, phân tích, đi theo link và báo cáo. Điều phân biệt một crawler nâng cao là cách nó xử lý khi website trở nên khó.
| Trường hợp khó | Cần tìm gì | Trong Neova |
|---|---|---|
| Website JavaScript | HTML gốc so với đã kết xuất, theo từng trang | ✓ |
| Bẫy crawl | Phát hiện và loại trừ ngay khi crawl | Khám phá, mỗi phút |
| Website rất lớn | Lần crawl lưu trên ổ đĩa | 60 MB bộ nhớ ở 60.000 URL |
| Thay đổi theo thời gian | So lần crawl với lần crawl | So sánh các lần crawl |
| Phát hành hằng ngày | Lịch và cảnh báo | Slack, Microsoft Teams |
| Quy trình làm việc nhóm | CLI, cổng CI, API | ✓ |
| Nhiều website | Các lần crawl cạnh nhau | Tối đa 4 lần cùng lúc |
Tối đa 4 lần crawl cùng lúc có từ gói Desktop trở lên, trong một cửa sổ. Lần crawl lớn bị giới hạn bởi ổ đĩa, không phải bộ nhớ.
Crawl JavaScript SEO: HTML gốc so với HTML đã kết xuất
Google crawl HTML trước và kết xuất trang sau, khi tài nguyên cho phép, như kiến thức cơ bản về JavaScript SEO của Google giải thích. Nhiều AI crawler có thể không bao giờ kết xuất. Vậy câu hỏi là thứ gì bị thiếu trước khi kết xuất.
| Chỉ có trong HTML đã kết xuất | Mục kiểm tra của Neova |
|---|---|
| Nội dung chính | Phần lớn nội dung chính chỉ xuất hiện trong HTML đã kết xuất |
| Internal link | Internal link chỉ xuất hiện trong HTML đã kết xuất |
| Canonical | Canonical chỉ được đặt bằng JavaScript |
| Title | Title chỉ xuất hiện trong HTML đã kết xuất |
| Redirect | Trang HTML redirect bằng JavaScript |
Kết xuất chậm và nặng. Trên website lớn, hãy kết xuất trước vài trang cho mỗi template. Một template kết xuất hoàn toàn phía server thì không cần hơn. Hướng dẫn JavaScript SEO crawler đi sâu hơn.
Crawler SEO cho doanh nghiệp cần gì: quy mô, bẫy crawl và template
Ghi chú của Google về quản lý crawl budget cho biết ai cần quan tâm.
| Website | Số trang duy nhất | Nội dung thay đổi |
|---|---|---|
| Lớn | 1 triệu trở lên | Hằng tuần |
| Trung bình trở lên | 10.000 trở lên | Hằng ngày |
Dưới ngưỡng đó, crawl budget hiếm khi là vấn đề. SEO ProCheck giải thích chi tiết hơn khi nào crawl budget quan trọng. Website lớn vẫn hỏng lần crawl theo những cách dễ đoán, và phần lớn bắt đầu từ một bẫy crawl.
| Bẫy crawl | URL ví dụ | Cách sửa thường dùng |
|---|---|---|
| Lịch | /events/2031/04/ | Loại trừ mẫu URL |
| Thư mục lặp lại | /shop/shop/shop/ | Sửa link tương đối |
| Session ID | /?sid=8f3a2c | Không đưa ID vào link |
| Tổ hợp bộ lọc | ?color=red&size=9&sort=price | Chọn facet nào là trang |
| Sắp xếp và kiểu xem | ?sort=price&view=grid | Canonical về URL gốc |
Với bộ lọc, hướng dẫn faceted navigation của SEO ProCheck nói rõ facet nào xứng đáng có trang riêng. Lấy mẫu cũng giúp ích: một số trang cố định cho mỗi template phủ được mọi template trong vài phút. Phân đoạn bằng regex cho thấy mã trạng thái theo từng khu vực, và trích xuất bằng XPath, CSS selector hoặc regex lấy ra giá, tác giả hoặc trường schema.

Quy mô trên chính website của chúng tôi, seoprocheck.com, ngày 17 tháng 10 năm 2026: một lần crawl đầy đủ tải 10.222 URL trong 61 phút, và 1,66 GB nội dung trang gốc được lưu thành 340 MB.
So sánh lần crawl: thấy những gì đã thay đổi
Một lần audit cho bạn biết tình trạng website. So sánh hai lần cho bạn biết điều gì đã xảy ra với nó. Hãy xem:
- URL mới, bị xóa hoặc thay đổi giữa hai lần
- Mục đánh dấu mới và mục đánh dấu đã được giải quyết
- Title, meta description và H1, trước và sau
- Quy tắc robots.txt đã thay đổi. Xem Quy tắc robots.txt thay đổi so với lần crawl trước.
- Số URL crawl được thay đổi đột ngột
So sánh cùng loại: crawl đầy đủ với crawl đầy đủ, cùng thiết lập. So một mẫu với một lần crawl đầy đủ chỉ cho thấy khác biệt về phạm vi.
Giám sát: crawl theo lịch và cảnh báo
Giám sát là so sánh lần crawl tự chạy. Hãy đặt lịch khớp với tần suất website phát hành.
| Website | Crawl đầy đủ | Ảnh chụp Core Web Vitals |
|---|---|---|
| Cửa hàng bận rộn | Hằng ngày | Hằng tuần |
| Hầu hết website | Hằng tuần | Hằng tuần |
| Website ít thay đổi | Hằng tháng | Hằng tháng |
Hằng tuần là đủ cho dữ liệu thực tế Core Web Vitals vì Chrome UX Report là trung bình trượt 28 ngày. Điều kiện cảnh báo tốt: mục đánh dấu mới kể từ lần crawl trước, số click giảm, điểm Core Web Vitals tệ hơn, một từ khóa đang theo dõi rơi khỏi top 10. Gửi cảnh báo tới nơi mọi người vẫn xem, và giữ chúng ít thôi.
Chuyển đổi website và website staging
Chuyển đổi website là lúc crawl tự chứng minh giá trị. Crawl website cũ, crawl staging, rồi so mã trạng thái, noindex, canonical, title, H1 và các URL chỉ có ở một bên. Lập bản đồ redirect từ cũ sang mới và kiểm tra từng redirect thực tế sau khi ra mắt.
Staging thường cần xác thực HTTP, một robots.txt chặn mọi thứ, và các link trỏ về domain thật. Một crawler tự viết lại link domain thật sang host staging tiết kiệm hàng giờ. FAQ chuyển đổi website của SEO ProCheck trả lời các câu hỏi hay gặp vào ngày ra mắt.
Chúng tôi tìm thấy hai lỗi ra mắt trên chính website của mình. Cho đến đợt rà soát SEO ngày 20 tháng 11 năm 2026, http://neova.app trả về 200 thay vì 301 sang https, và các địa chỉ không tồn tại trả về 503 từ trang sắp ra mắt thay vì 404. Cả hai đã được sửa, và cả hai đều là thứ một lần crawl trước và sau ra mắt nên bắt được. Xem URL HTTP trả về 200 trên website HTTPS.
Tự động hóa: CLI, CI và API
Ở quy mô lớn, crawl trở thành một phần của quy trình phát hành.
| Thành phần | Job | Trong Neova |
|---|---|---|
| Dòng lệnh | Bắt đầu crawl, đọc kết quả | CLI neova |
| Cổng CI | Cho build thất bại khi có mục đánh dấu mới | neova check |
| API | Dashboard, công cụ nội bộ | REST API, 60 request mỗi phút |
| MCP server | Trợ lý AI đọc các lần crawl | ✓ |
| Ticket | Một ticket cho mỗi vấn đề và template | Jira, Linear, Asana |
REST API là một phần của Neova Online, có từ gói Desktop + Online trở lên. Cổng CI hoạt động tốt nhất với một lần crawl gốc của bản phát hành tốt gần nhất: build chỉ thất bại với các mục đánh dấu mới, nên nợ cũ không chặn mọi lần deploy.
Neova xử lý crawl nâng cao thế nào
- Kết xuất: kết xuất trong Chrome, mọi trang hoặc vài trang mỗi nhóm trang, và đánh dấu từng trang là Kết xuất phía máy chủ, Đã hydrate hay Cần JavaScript.
- Quy mô: giữ lần crawl trên ổ đĩa, có Mẫu mỗi nhóm trang, và Khám phá cho phép Tiếp tục crawl, Bỏ qua hoặc Loại trừ với từng bẫy.
- Lịch sử: So sánh các lần crawl, và Dữ liệu lịch sử giữ mọi lần crawl, mọi phiên bản robots.txt và XML Sitemap.
- Log server: log Apache hoặc Nginx, hoặc tài khoản Cloudflare của chính bạn; Googlebot, Bingbot và AI crawler chỉ được tính khi địa chỉ của chúng nằm trong danh sách mà mỗi công ty công bố.
- Vượt quá nguồn dữ liệu: giữ mọi tháng dữ liệu Search Console sau khi Google xóa ở mốc 16 tháng.
- Chuyển đổi website: Bản đồ redirect với độ tin cậy cho từng URL, Kiểm tra redirect thực tế, Staging so với production và Viết lại URL.
Xem mọi tính năng trên trang tính năng, hoặc Neova so sánh thế nào trong So sánh.
Câu hỏi
Crawler SEO nâng cao là gì?
Một crawler được làm cho các website khó: nó kết xuất JavaScript và so với HTML gốc, xử lý bẫy crawl và website rất lớn, so sánh các lần crawl theo thời gian, chạy theo lịch và gắn được vào ticket, CI và API.
Tôi có cần kết xuất mọi trang bằng JavaScript không?
Thường là không. Hãy kết xuất trước một mẫu cho mỗi template. Template có toàn bộ nội dung trong HTML từ server thì không cần kết xuất đầy đủ; template phụ thuộc JavaScript thì cần.
Khi nào crawl budget quan trọng?
Google nói chủ yếu với website có từ 1 triệu trang duy nhất trở lên thay đổi hằng tuần, hoặc từ 10.000 trang trở lên thay đổi hằng ngày. Website nhỏ hơn hiếm khi gặp giới hạn này.
Một crawler SEO doanh nghiệp xử lý được website lớn cỡ nào?
Tùy công cụ và, với crawler desktop, tùy máy tính. Neova giữ lần crawl trên ổ đĩa và đạt tới 5 triệu URL mỗi lần crawl với gói Desktop, tùy máy tính của bạn. Xem bảng giá.
Tôi có thể cho deploy thất bại khi có lỗi SEO không?
Có, bằng cổng CI. Trong Neova, neova check so một lần crawl với lần crawl gốc và thoát với mã lỗi khi xuất hiện mục đánh dấu mới, để pipeline có thể dừng bản phát hành.