NeovaNền tảng SEO chuyên sâu

Crawler SEO kỹ thuật: làm được gì và cách chọn

Một crawler SEO kỹ thuật đọc website theo cách công cụ tìm kiếm làm và cho bạn biết điều gì đang cản trở. Đây là những gì nó nên kiểm tra, những con số đằng sau mỗi mục kiểm tra, những gì một lần crawl đầy đủ website của chính chúng tôi tìm ra, và cách chọn công cụ.

Chọn crawlercrawler seo kỹ thuậtCập nhật ngày 21 tháng 11 năm 2026Tác giả: đội ngũ Neova

Crawler SEO kỹ thuật làm gì

Một crawler SEO kỹ thuật bắt đầu từ một URL, tải nó, đọc các link và đi theo chúng, đúng vòng lặp mà Googlebot chạy. Với mỗi URL, nó ghi lại mã trạng thái, header, HTML, canonical, chỉ thị robots và các link vào, link ra.

Crawl mới là một nửa công việc. Nửa còn lại là so sánh các trang với nhau và với những quy tắc mà công cụ tìm kiếm công bố. Một link hỏng thì dễ thấy. Một canonical trỏ tới redirect trên 3.000 trang sản phẩm thì không, và đó là lúc crawler chứng tỏ giá trị.

Phần lớn crawler cũng đọc sitemap XML và robots.txt, nên chúng cho thấy những trang nào website nói là quan trọng, những trang nào nó chặn, và hai câu chuyện đó mâu thuẫn ở đâu.

Một công cụ audit SEO kỹ thuật nên kiểm tra gì

Mọi crawler audit website nghiêm túc đều bao quát cùng các mảng cốt lõi. Đây là các mảng đó cùng mục tiêu cần đạt và mục kiểm tra của Neova đánh dấu khi không đạt.

Lĩnh vựcMục tiêuMục kiểm tra của Neova
Mã trạng thái0 internal link tới 4xx hoặc 5xxURL nội bộ trả về 4xx, 5xx hoặc không phản hồi
Redirect1 bước nhảy, không có chuỗiURL nội bộ nằm trong chuỗi redirect
CanonicalTrỏ tới URL trả về 200Canonical trỏ tới URL bị redirect
Kích thước sitemap XML50.000 URL, 50 MB mỗi fileSitemap XML có hơn 50.000 mục
Độ bao phủ của sitemap XMLMọi trang index được đều được liệt kêURL có thể index không nằm trong XML Sitemap nào
robots.txtGoogle đọc tối đa 500 KiBKhông truy cập được robots.txt hoặc file quá lớn
Độ sâu crawlTối đa 3 cú nhấpURL có thể index ở độ sâu crawl từ 4 trở lên
Title60 ký tự (mặc định phổ biến)Thẻ title dài hơn 60 ký tự
Meta description155 ký tự (mặc định phổ biến)Meta description dài hơn 155 ký tự
hreflangCó link trả về trên mọi đíchThiếu link trả về của hreflang

Các giới hạn cứng đến từ nguồn: 50.000 URL và 50 MB mỗi file từ giao thức sitemaps.org, 500 KiB từ đặc tả robots.txt của Google, link trả về từ hướng dẫn hreflang của Google. Độ dài title và description là mặc định hiển thị, không phải quy tắc: Google cắt theo độ rộng pixel, nên hãy coi chúng là Nên xem, không phải Cần sửa.

Để đi chi tiết hơn qua từng mảng, xem checklist audit SEO kỹ thuật trên SEO ProCheck.

Một lần crawl đầy đủ website của chúng tôi đã tìm thấy gì

Chúng tôi đã crawl chính website của mình, seoprocheck.com, bằng Neova ngày 17 tháng 10 năm 2026, một lần crawl đầy đủ cùng sitemap XML. Đây là các con số.

Chỉ sốseoprocheck.com, ngày 17 tháng 10 năm 2026
URL đã tải10.222
Thời gian61 phút
Trang HTML trả về 2004.561
URL trong XML Sitemap1.835
Có link tới, không nằm trong sitemap nào2.727
Có trong sitemap, không có link nào tới1
Độ đầy đủ99.98%
Nội dung trang1,66 GB thô, 340 MB khi lưu
Mục đánh dấuURL
Meta description dài hơn 155 ký tự582
Thẻ title dài hơn 60 ký tự557
Thẻ title trùng lặp giữa các trang HTML56
Canonical trỏ tới URL nội bộ khác5
Ảnh thiếu alt text2

Hai bài học. Thứ nhất, sitemap chỉ kể một nửa câu chuyện: 2.727 URL tới được bằng link nhưng không được liệt kê ở đâu cả, điều mà chỉ một lần crawl vừa đi theo link vừa đọc sitemap mới cho thấy được. Thứ hai, con số lớn nhất là các mục đánh dấu về độ dài, vốn cần phán đoán. 5 canonical và 2 alt text bị thiếu ít hơn nhưng giải quyết nhanh hơn. Hãy sắp xếp theo những gì một mục đánh dấu ảnh hưởng, không phải theo độ lớn của con số.

Cách chạy một lần crawl SEO kỹ thuật

  1. Chọn URL bắt đầu. Dùng phiên bản trang chủ trả về 200. Nếu http hoặc host còn lại cũng trả về 200, đó là phát hiện đầu tiên của bạn.
  2. Quyết định phạm vi. Toàn bộ website, vài thư mục, hay một mẫu của mỗi template. Trên website lớn, một mẫu cho mỗi template tìm ra khuôn mẫu lỗi nhanh hơn.
  3. Bật sitemap XML. Crawl chúng sau khi crawl link cho thấy những trang có trong sitemap nhưng không link nào tới.
  4. Quyết định về kết xuất JavaScript. Trên website dùng framework, kết xuất một mẫu và so với HTML gốc.
  5. Đặt tốc độ lịch sự. Vài URL mỗi giây là đủ. Chỉ chạy nhanh hơn trên website của chính bạn.
  6. Theo dõi những phút đầu tiên. Nếu số URL tăng nhanh hơn dự kiến nhiều, bạn đã gặp một crawl trap: một lịch, một bộ lọc faceted hoặc session ID. Loại trừ nó và chạy tiếp.
  7. Đọc phần tóm tắt trước. Bắt đầu từ những vấn đề chạm tới nhiều trang index được nhất.

Mới làm quen? Lần crawl đầu tiên hướng dẫn từng bước trong Neova.

Đọc kết quả mà không bị ngợp

Một bản audit đầy đủ cho website cỡ trung có thể tạo ra hàng nghìn mục đánh dấu. Phần lớn đến từ một vài nguyên nhân, thường là một template.

  • Nhóm theo template. Nếu 90% trang sản phẩm có chung một mục đánh dấu, đó là một lần sửa, không phải 4.000 ticket.
  • Cân theo traffic. Một trang hỏng có lượt nhấp từ tìm kiếm quan trọng hơn một trang không ai truy cập. Ghép dữ liệu Google Search Console vào lần crawl.
  • Tách Cần sửa khỏi Nên xem. Lỗi 5xx trên trang quan trọng là việc cần sửa. Một title vượt giới hạn vài ký tự là chuyện cần phán đoán.
  • Kiểm tra nguồn. Khi developer hỏi vì sao có một quy tắc, hãy trả lời bằng tài liệu của Google hoặc W3C. Tài liệu tham khảo mã trạng thái HTTP trên SEO ProCheck giải thích ý nghĩa của từng mã trạng thái.
  • Crawl lại sau khi sửa. So sánh hai lần crawl là bằng chứng duy nhất cho thấy bản sửa đã lên và không làm hỏng gì khác.
Tất cả mục đánh dấu trong Neova: 12 mục kiểm tra Cần sửa và 30 mục Nên xem trên một lần crawl demo, mỗi mục có Đánh dấu khi, Điều này thường có nghĩa là gì và Bạn có thể làm gì
Tất cả mục đánh dấu trong Neova: 12 mục kiểm tra Cần sửa và 30 mục Nên xem trên một lần crawl demo, mỗi mục có Đánh dấu khi, Điều này thường có nghĩa là gì và Bạn có thể làm gì

Cách chọn crawler SEO tốt nhất cho bạn

Không có crawler SEO nào tốt nhất cho mọi người. Một freelancer audit website nhỏ cần thứ khác với một nhóm in-house có một triệu URL. Những câu hỏi này giúp phân định.

Câu hỏiCần tìmNeova
Nó chạy ở đâu?Máy tính của bạn, hoặc trình duyệt
Một lần crawl có thể lớn đến đâu?Giới hạn URL, lưu trên ổ đĩaTối đa 5 triệu URL
Nó có kết xuất JavaScript không?HTML gốc và đã kết xuất, đặt cạnh nhau✓
Mục kiểm tra có được giải thích không?Quy tắc, ý nghĩa, cách sửa, nguồn694 mục kiểm tra
Nó có so sánh các lần crawl không?URL mới, đã sửa, đã thay đổi✓
Sau đó là gì?File xuất, ticket, cảnh báo✓
Bạn có thể dùng thử miễn phí không?Một gói hoặc bản dùng thử1.000 URL, mọi mục kiểm tra

Con số 5 triệu thuộc gói Desktop và phụ thuộc vào máy tính của bạn. Trang so sánh của chúng tôi đặt Neova cạnh Screaming Frog, Sitebulb và các công cụ khác, từng dòng một, theo tài liệu của chính họ.

Neova crawl SEO kỹ thuật như thế nào

Neova là một crawler SEO desktop cho Mac (Apple silicon), Windows và Linux, với Neova Online trên trình duyệt trong cùng một tài khoản. Nó crawl từ một URL bắt đầu, các link và sitemap XML của nó, rồi chạy 694 mục kiểm tra. Mỗi mục kiểm tra cho biết khi nào nó đánh dấu, điều đó thường có nghĩa là gì và bạn có thể làm gì, kèm link tới nguồn.

  • Phạm vi: crawl đầy đủ, theo thư mục, một mẫu cho mỗi nhóm trang, hoặc một danh sách URL.
  • Lịch sự theo mặc định: 3 URL mỗi giây, tự chậm lại khi server trả về 429 hoặc 503.
  • Mọi URL đều có chỗ: mỗi URL tìm thấy được xếp vào một nhóm, và Khám phá đề xuất loại trừ crawl trap mà không cần dừng.
  • Kết xuất: kết xuất JavaScript tùy chọn trong Chrome, so với HTML gốc.
  • Sau lần crawl: mục đánh dấu Cần sửa và Nên xem, ticket theo mục kiểm tra và nhóm trang, Kế hoạch hành động, So sánh các lần crawl, và file xuất từ CSV đến PDF gắn thương hiệu.

Trang tính năng có danh sách đầy đủ, và So sánh đặt nó cạnh các crawler khác.

Checklist ngắn cho một lần crawl SEO kỹ thuật

  • Một phiên bản trang chủ trả về 200; các phiên bản còn lại redirect về đó.
  • Không có internal link tới URL 4xx hoặc 5xx.
  • Không có chuỗi redirect hay vòng lặp giữa các URL nội bộ.
  • Canonical trỏ tới URL index được và trả về 200.
  • Mọi trang index được đều nằm trong sitemap XML, và không có gì khác.
  • Không trang quan trọng nào sâu hơn 3 cú nhấp tính từ trang chủ.
  • Không trang nào trả về 200 kèm thông báo không tìm thấy. Xem Thẻ title hoặc H1 chứa cụm từ soft 404.
  • Title, link và nội dung chính nằm trong HTML gốc.
  • robots.txt chỉ chặn những gì nó cần chặn.

Mở sẵn hướng dẫn về URL canonical của Google khi làm việc, và FAQ về audit SEO trên SEO ProCheck cho những câu khách hàng hay hỏi.

Câu hỏi

Crawler SEO kỹ thuật là gì?

Một chương trình tải website từng trang, đi theo link giống cách công cụ tìm kiếm làm, và ghi lại mã trạng thái, chỉ thị, canonical và link. Sau đó nó đối chiếu dữ liệu với quy tắc của công cụ tìm kiếm và đánh dấu những gì cản trở việc crawl và index.

Crawler SEO nào tốt nhất?

Công cụ phù hợp với website của bạn. So sánh nơi nó chạy, một lần crawl lớn được đến đâu, nó có kết xuất JavaScript không, mỗi phát hiện được giải thích rõ đến đâu, và nó có so sánh các lần crawl không. Hãy thử trên chính website của bạn trước khi quyết định.

Crawler audit website có giống Google Search Console không?

Không. Search Console cho thấy Google đã thấy gì và đã làm gì. Crawler cho thấy website của bạn đang phục vụ gì ngay lúc này, trên mọi URL nó tới được. Chúng hoạt động tốt nhất khi đi cùng nhau, vì thế nhiều crawler ghép dữ liệu Search Console vào lần crawl.

Một lần crawl SEO kỹ thuật mất bao lâu?

Tùy vào kích thước và tốc độ bạn đặt. Lần crawl đầy đủ seoprocheck.com của chúng tôi đã tải 10.222 URL trong 61 phút ngày 17 tháng 10 năm 2026. Một mẫu cho mỗi template chỉ mất vài phút.

Tôi nên chạy crawl SEO kỹ thuật bao lâu một lần?

Sau mỗi lần phát hành quan trọng, và hằng tuần với website thay đổi thường xuyên. So mỗi lần crawl với lần trước để thay đổi nổi bật lên.

Tôi có thể dùng thử Neova miễn phí không?

Có. Gói Free crawl tối đa 1.000 URL mỗi lần crawl với mọi mục kiểm tra, và gói Desktop có 14 ngày dùng thử không cần thẻ. Xem bảng giá hoặc tải Neova.

Lưu lại hoặc chia sẻ

Các link tới trợ lý AI sẽ mở sẵn một câu hỏi về trang này.

Crawl website của bạn với NeovaGói Free chạy mọi mục kiểm tra trên Mac, Windows và Linux. Không cần thẻ tín dụng.

Đọc tiếp