Crawler SEO kỹ thuật: làm được gì và cách chọn
Một crawler SEO kỹ thuật đọc website theo cách công cụ tìm kiếm làm và cho bạn biết điều gì đang cản trở. Đây là những gì nó nên kiểm tra, những con số đằng sau mỗi mục kiểm tra, những gì một lần crawl đầy đủ website của chính chúng tôi tìm ra, và cách chọn công cụ.
Crawler SEO kỹ thuật làm gì
Một crawler SEO kỹ thuật bắt đầu từ một URL, tải nó, đọc các link và đi theo chúng, đúng vòng lặp mà Googlebot chạy. Với mỗi URL, nó ghi lại mã trạng thái, header, HTML, canonical, chỉ thị robots và các link vào, link ra.
Crawl mới là một nửa công việc. Nửa còn lại là so sánh các trang với nhau và với những quy tắc mà công cụ tìm kiếm công bố. Một link hỏng thì dễ thấy. Một canonical trỏ tới redirect trên 3.000 trang sản phẩm thì không, và đó là lúc crawler chứng tỏ giá trị.
Phần lớn crawler cũng đọc sitemap XML và robots.txt, nên chúng cho thấy những trang nào website nói là quan trọng, những trang nào nó chặn, và hai câu chuyện đó mâu thuẫn ở đâu.
Một công cụ audit SEO kỹ thuật nên kiểm tra gì
Mọi crawler audit website nghiêm túc đều bao quát cùng các mảng cốt lõi. Đây là các mảng đó cùng mục tiêu cần đạt và mục kiểm tra của Neova đánh dấu khi không đạt.
| Lĩnh vực | Mục tiêu | Mục kiểm tra của Neova |
|---|---|---|
| Mã trạng thái | 0 internal link tới 4xx hoặc 5xx | URL nội bộ trả về 4xx, 5xx hoặc không phản hồi |
| Redirect | 1 bước nhảy, không có chuỗi | URL nội bộ nằm trong chuỗi redirect |
| Canonical | Trỏ tới URL trả về 200 | Canonical trỏ tới URL bị redirect |
| Kích thước sitemap XML | 50.000 URL, 50 MB mỗi file | Sitemap XML có hơn 50.000 mục |
| Độ bao phủ của sitemap XML | Mọi trang index được đều được liệt kê | URL có thể index không nằm trong XML Sitemap nào |
| robots.txt | Google đọc tối đa 500 KiB | Không truy cập được robots.txt hoặc file quá lớn |
| Độ sâu crawl | Tối đa 3 cú nhấp | URL có thể index ở độ sâu crawl từ 4 trở lên |
| Title | 60 ký tự (mặc định phổ biến) | Thẻ title dài hơn 60 ký tự |
| Meta description | 155 ký tự (mặc định phổ biến) | Meta description dài hơn 155 ký tự |
| hreflang | Có link trả về trên mọi đích | Thiếu link trả về của hreflang |
Các giới hạn cứng đến từ nguồn: 50.000 URL và 50 MB mỗi file từ giao thức sitemaps.org, 500 KiB từ đặc tả robots.txt của Google, link trả về từ hướng dẫn hreflang của Google. Độ dài title và description là mặc định hiển thị, không phải quy tắc: Google cắt theo độ rộng pixel, nên hãy coi chúng là Nên xem, không phải Cần sửa.
Để đi chi tiết hơn qua từng mảng, xem checklist audit SEO kỹ thuật trên SEO ProCheck.
Một lần crawl đầy đủ website của chúng tôi đã tìm thấy gì
Chúng tôi đã crawl chính website của mình, seoprocheck.com, bằng Neova ngày 17 tháng 10 năm 2026, một lần crawl đầy đủ cùng sitemap XML. Đây là các con số.
| Chỉ số | seoprocheck.com, ngày 17 tháng 10 năm 2026 |
|---|---|
| URL đã tải | 10.222 |
| Thời gian | 61 phút |
| Trang HTML trả về 200 | 4.561 |
| URL trong XML Sitemap | 1.835 |
| Có link tới, không nằm trong sitemap nào | 2.727 |
| Có trong sitemap, không có link nào tới | 1 |
| Độ đầy đủ | 99.98% |
| Nội dung trang | 1,66 GB thô, 340 MB khi lưu |
| Mục đánh dấu | URL |
|---|---|
| Meta description dài hơn 155 ký tự | 582 |
| Thẻ title dài hơn 60 ký tự | 557 |
| Thẻ title trùng lặp giữa các trang HTML | 56 |
| Canonical trỏ tới URL nội bộ khác | 5 |
| Ảnh thiếu alt text | 2 |
Hai bài học. Thứ nhất, sitemap chỉ kể một nửa câu chuyện: 2.727 URL tới được bằng link nhưng không được liệt kê ở đâu cả, điều mà chỉ một lần crawl vừa đi theo link vừa đọc sitemap mới cho thấy được. Thứ hai, con số lớn nhất là các mục đánh dấu về độ dài, vốn cần phán đoán. 5 canonical và 2 alt text bị thiếu ít hơn nhưng giải quyết nhanh hơn. Hãy sắp xếp theo những gì một mục đánh dấu ảnh hưởng, không phải theo độ lớn của con số.
Cách chạy một lần crawl SEO kỹ thuật
- Chọn URL bắt đầu. Dùng phiên bản trang chủ trả về 200. Nếu http hoặc host còn lại cũng trả về 200, đó là phát hiện đầu tiên của bạn.
- Quyết định phạm vi. Toàn bộ website, vài thư mục, hay một mẫu của mỗi template. Trên website lớn, một mẫu cho mỗi template tìm ra khuôn mẫu lỗi nhanh hơn.
- Bật sitemap XML. Crawl chúng sau khi crawl link cho thấy những trang có trong sitemap nhưng không link nào tới.
- Quyết định về kết xuất JavaScript. Trên website dùng framework, kết xuất một mẫu và so với HTML gốc.
- Đặt tốc độ lịch sự. Vài URL mỗi giây là đủ. Chỉ chạy nhanh hơn trên website của chính bạn.
- Theo dõi những phút đầu tiên. Nếu số URL tăng nhanh hơn dự kiến nhiều, bạn đã gặp một crawl trap: một lịch, một bộ lọc faceted hoặc session ID. Loại trừ nó và chạy tiếp.
- Đọc phần tóm tắt trước. Bắt đầu từ những vấn đề chạm tới nhiều trang index được nhất.
Mới làm quen? Lần crawl đầu tiên hướng dẫn từng bước trong Neova.
Đọc kết quả mà không bị ngợp
Một bản audit đầy đủ cho website cỡ trung có thể tạo ra hàng nghìn mục đánh dấu. Phần lớn đến từ một vài nguyên nhân, thường là một template.
- Nhóm theo template. Nếu 90% trang sản phẩm có chung một mục đánh dấu, đó là một lần sửa, không phải 4.000 ticket.
- Cân theo traffic. Một trang hỏng có lượt nhấp từ tìm kiếm quan trọng hơn một trang không ai truy cập. Ghép dữ liệu Google Search Console vào lần crawl.
- Tách Cần sửa khỏi Nên xem. Lỗi 5xx trên trang quan trọng là việc cần sửa. Một title vượt giới hạn vài ký tự là chuyện cần phán đoán.
- Kiểm tra nguồn. Khi developer hỏi vì sao có một quy tắc, hãy trả lời bằng tài liệu của Google hoặc W3C. Tài liệu tham khảo mã trạng thái HTTP trên SEO ProCheck giải thích ý nghĩa của từng mã trạng thái.
- Crawl lại sau khi sửa. So sánh hai lần crawl là bằng chứng duy nhất cho thấy bản sửa đã lên và không làm hỏng gì khác.

Cách chọn crawler SEO tốt nhất cho bạn
Không có crawler SEO nào tốt nhất cho mọi người. Một freelancer audit website nhỏ cần thứ khác với một nhóm in-house có một triệu URL. Những câu hỏi này giúp phân định.
| Câu hỏi | Cần tìm | Neova |
|---|---|---|
| Nó chạy ở đâu? | Máy tính của bạn, hoặc trình duyệt | |
| Một lần crawl có thể lớn đến đâu? | Giới hạn URL, lưu trên ổ đĩa | Tối đa 5 triệu URL |
| Nó có kết xuất JavaScript không? | HTML gốc và đã kết xuất, đặt cạnh nhau | ✓ |
| Mục kiểm tra có được giải thích không? | Quy tắc, ý nghĩa, cách sửa, nguồn | 694 mục kiểm tra |
| Nó có so sánh các lần crawl không? | URL mới, đã sửa, đã thay đổi | ✓ |
| Sau đó là gì? | File xuất, ticket, cảnh báo | ✓ |
| Bạn có thể dùng thử miễn phí không? | Một gói hoặc bản dùng thử | 1.000 URL, mọi mục kiểm tra |
Con số 5 triệu thuộc gói Desktop và phụ thuộc vào máy tính của bạn. Trang so sánh của chúng tôi đặt Neova cạnh Screaming Frog, Sitebulb và các công cụ khác, từng dòng một, theo tài liệu của chính họ.
Neova crawl SEO kỹ thuật như thế nào
Neova là một crawler SEO desktop cho Mac (Apple silicon), Windows và Linux, với Neova Online trên trình duyệt trong cùng một tài khoản. Nó crawl từ một URL bắt đầu, các link và sitemap XML của nó, rồi chạy 694 mục kiểm tra. Mỗi mục kiểm tra cho biết khi nào nó đánh dấu, điều đó thường có nghĩa là gì và bạn có thể làm gì, kèm link tới nguồn.
- Phạm vi: crawl đầy đủ, theo thư mục, một mẫu cho mỗi nhóm trang, hoặc một danh sách URL.
- Lịch sự theo mặc định: 3 URL mỗi giây, tự chậm lại khi server trả về 429 hoặc 503.
- Mọi URL đều có chỗ: mỗi URL tìm thấy được xếp vào một nhóm, và Khám phá đề xuất loại trừ crawl trap mà không cần dừng.
- Kết xuất: kết xuất JavaScript tùy chọn trong Chrome, so với HTML gốc.
- Sau lần crawl: mục đánh dấu Cần sửa và Nên xem, ticket theo mục kiểm tra và nhóm trang, Kế hoạch hành động, So sánh các lần crawl, và file xuất từ CSV đến PDF gắn thương hiệu.
Trang tính năng có danh sách đầy đủ, và So sánh đặt nó cạnh các crawler khác.
Checklist ngắn cho một lần crawl SEO kỹ thuật
- Một phiên bản trang chủ trả về 200; các phiên bản còn lại redirect về đó.
- Không có internal link tới URL 4xx hoặc 5xx.
- Không có chuỗi redirect hay vòng lặp giữa các URL nội bộ.
- Canonical trỏ tới URL index được và trả về 200.
- Mọi trang index được đều nằm trong sitemap XML, và không có gì khác.
- Không trang quan trọng nào sâu hơn 3 cú nhấp tính từ trang chủ.
- Không trang nào trả về 200 kèm thông báo không tìm thấy. Xem Thẻ title hoặc H1 chứa cụm từ soft 404.
- Title, link và nội dung chính nằm trong HTML gốc.
- robots.txt chỉ chặn những gì nó cần chặn.
Mở sẵn hướng dẫn về URL canonical của Google khi làm việc, và FAQ về audit SEO trên SEO ProCheck cho những câu khách hàng hay hỏi.
Câu hỏi
Crawler SEO kỹ thuật là gì?
Một chương trình tải website từng trang, đi theo link giống cách công cụ tìm kiếm làm, và ghi lại mã trạng thái, chỉ thị, canonical và link. Sau đó nó đối chiếu dữ liệu với quy tắc của công cụ tìm kiếm và đánh dấu những gì cản trở việc crawl và index.
Crawler SEO nào tốt nhất?
Công cụ phù hợp với website của bạn. So sánh nơi nó chạy, một lần crawl lớn được đến đâu, nó có kết xuất JavaScript không, mỗi phát hiện được giải thích rõ đến đâu, và nó có so sánh các lần crawl không. Hãy thử trên chính website của bạn trước khi quyết định.
Crawler audit website có giống Google Search Console không?
Không. Search Console cho thấy Google đã thấy gì và đã làm gì. Crawler cho thấy website của bạn đang phục vụ gì ngay lúc này, trên mọi URL nó tới được. Chúng hoạt động tốt nhất khi đi cùng nhau, vì thế nhiều crawler ghép dữ liệu Search Console vào lần crawl.
Một lần crawl SEO kỹ thuật mất bao lâu?
Tùy vào kích thước và tốc độ bạn đặt. Lần crawl đầy đủ seoprocheck.com của chúng tôi đã tải 10.222 URL trong 61 phút ngày 17 tháng 10 năm 2026. Một mẫu cho mỗi template chỉ mất vài phút.
Tôi nên chạy crawl SEO kỹ thuật bao lâu một lần?
Sau mỗi lần phát hành quan trọng, và hằng tuần với website thay đổi thường xuyên. So mỗi lần crawl với lần trước để thay đổi nổi bật lên.