NeovaNền tảng SEO chuyên sâu

Cách crawl website cho SEO, từng bước

Crawl một website nghĩa là tải các trang của nó theo cách một công cụ tìm kiếm làm, đi theo link từ trang này sang trang khác. Dưới đây là cách crawl website đúng cách: lịch sự, đầy đủ và không bị chặn.

Crawl và indexcách crawl websiteCập nhật ngày 21 tháng 11 năm 2026Tác giả: đội ngũ Neova

Crawl một website nghĩa là gì

Một crawler website cho SEO bắt đầu từ một URL, tải nó về, đọc các link trong HTML và thêm chúng vào hàng đợi. Sau đó nó lấy URL tiếp theo trong hàng đợi và làm tương tự, cho đến khi không còn gì mới hoặc chạm giới hạn. Công cụ tìm kiếm làm việc này ở quy mô toàn web. Crawler SEO làm cho một website, và ghi lại mỗi URL đã trả lời gì để bạn audit.

Với mỗi URL, một lần crawl thường ghi lại mã trạng thái, response header, title và meta description, canonical, chỉ thị robots, các link vào và ra, và URL đó cách trang bắt đầu bao nhiêu click. Google mô tả cách crawler và trình tải của họ hoạt động trong tổng quan về các crawler của Google.

Trước khi crawl: quyền, robots.txt và phạm vi

Ba câu hỏi cần trả lời trước khi bấm bắt đầu:

  • Đó là website của bạn, hay bạn có quyền không? Crawl website của chính bạn hoặc của khách hàng là việc bình thường. Với website của người khác, hãy lịch sự: tôn trọng robots.txt và giữ tốc độ thấp.
  • robots.txt nói gì? Mở /robots.txt và đọc nó. File này cho crawler biết những gì không được tải, và thường liệt kê các XML Sitemap. Các quy tắc tuân theo RFC 9309, và Google giải thích cách họ đọc chúng trong giới thiệu về robots.txt. Tài liệu tham khảo robots.txt đầy đủ trên SEO ProCheck giải thích từng dòng.
  • Bạn cần bao nhiêu? Toàn bộ website, một chuyên mục, hay một mẫu của mỗi template. Một mẫu trả lời phần lớn câu hỏi về template trong vài phút; crawl đầy đủ là thứ bạn cần để tìm link hỏng và trang mồ côi.

Cách crawl website từng bước

  1. Tìm đúng URL bắt đầu. Gửi request tới http và https, có và không có www. Một phiên bản nên trả về 200 và các phiên bản khác nên redirect về nó. Bắt đầu từ đó.
  2. Chọn chế độ. Chế độ Spider đi theo link từ URL bắt đầu. Chế độ List chỉ crawl những URL bạn đưa vào, hữu ích để kiểm tra một tập URL cũ sau khi chuyển đổi website.
  3. Thêm XML Sitemap. Crawl các URL trong sitemap sau các trang có link cho thấy những trang website liệt kê nhưng không bao giờ link tới.
  4. Đặt giới hạn. Giới hạn URL, giới hạn độ sâu và quy tắc cho tham số truy vấn giúp bộ lọc không kéo lần crawl đi quá xa. Hướng dẫn SEO cho faceted navigation trên SEO ProCheck cho biết URL bộ lọc nào đáng crawl.
  5. Loại trừ những gì bạn không cần. Khu vực quản trị, URL giỏ hàng và thanh toán, kết quả tìm kiếm nội bộ. Dùng mẫu bao gồm và loại trừ, và test một URL với chúng trước khi bắt đầu.
  6. Chọn user agent. Tên riêng của crawler là lựa chọn mặc định trung thực. Crawl dưới tên Googlebot cho thấy Google nhận được gì, nhưng một số server coi Googlebot giả là một cuộc tấn công.
  7. Bắt đầu, rồi theo dõi vài phút đầu. Nếu số URL mới tăng nhanh hơn nhiều so với quy mô website, hãy xem chúng đến từ đâu. Lịch và bộ lọc vô tận là nguyên nhân thường gặp.
  8. Để các mục kiểm tra chạy. Khi lần crawl kết thúc, bắt đầu với các vấn đề ảnh hưởng nhiều trang có thể index nhất.
Lần crawl mới, Tốc độ và kết xuất: tốc độ tính bằng URL mỗi giây, giảm khi server chậm lại, user agent gửi kèm mỗi request, và kết xuất JavaScript
Lần crawl mới, Tốc độ và kết xuất: tốc độ tính bằng URL mỗi giây, giảm khi server chậm lại, user agent gửi kèm mỗi request, và kết xuất JavaScript

Cách crawl website để lấy mọi URL

Đi theo link chỉ tìm được những trang có link tới. Để crawl website lấy mọi URL, hãy kết hợp nhiều nguồn:

NguồnTrang có link tớiTrang không có link tớiĐến từ
Crawl theo link✓–URL bắt đầu
XML Sitemaps◐✓robots.txt hoặc /sitemap.xml
URL seed◐✓Danh sách của bạn
Log server◐✓Server hoặc CDN
Search Console◐✓Thuộc tính Google của bạn

Chúng tôi đã thấy điều này quan trọng thế nào trên chính website của mình. Trong lần crawl Neova đầy đủ seoprocheck.com ngày 17 tháng 10 năm 2026:

Chỉ sốseoprocheck.com
URL đã tải10.222
Thời gian61 phút
Trang HTML trả về 2004.561
URL trong XML Sitemap1.835
Có link tới, không nằm trong sitemap nào2.727
Có trong sitemap, không có link nào tới1
Độ đầy đủ99.98%
Nội dung trang1,66 GB thô, 340 MB khi lưu

Một bản audit chỉ dựa trên sitemap sẽ bỏ sót 2.727 URL, và một lần crawl chỉ theo link sẽ bỏ sót trang mồ côi duy nhất. Những trang chỉ đến từ sitemap, log hoặc Search Console là trang mồ côi. Trang mồ côi có thể index và có traffic tìm kiếm thường cần thêm link nội bộ. Các mục kiểm tra đáng biết ở đây: URL mồ côi trả về 200 và có thể index, URL có thể index không nằm trong XML Sitemap nào và XML Sitemap không tải hoặc không phân tích được.

Cách crawl website mà không bị chặn

Phần lớn việc bị chặn đến từ crawl quá nhanh hoặc trông giống một bot mà server không tin tưởng. Hãy crawl theo cách chủ website mong muốn:

  • Giữ tốc độ thấp. 2 hoặc 3 URL mỗi giây là đủ cho phần lớn bản audit. Chỉ nhanh hơn trên website của chính bạn.
  • Cho biết bạn là ai. Một user agent rõ ràng kèm link tới trang giới thiệu crawler dễ được cho phép hơn một chuỗi trình duyệt giả.
  • Tôn trọng robots.txt. Đó là mong muốn đã được nêu rõ của website, và phớt lờ nó trên website của người khác là cách nhanh nhất để bị chặn.
  • Xin được cho phép. Trên website khách hàng đứng sau firewall hoặc lớp chống bot, hãy nhờ đội IT cho phép crawler của bạn, ví dụ bằng một header bí mật chỉ crawler của bạn gửi.

Sau đó đọc các phản hồi. Mỗi mã trạng thái nói một điều khác nhau:

AnswerÝ nghĩaNên
429Quá nhiều requestGiảm nửa tốc độ, tuân theo Retry-After
503Server bận hoặc ngừng hoạt độngChậm lại, thử lại sau
403Bị từ chốiDừng lại và hỏi
401Cần đăng nhậpXin quyền truy cập
Một loạt 5xxServer đang quá tảiTạm dừng lần crawl

Trang của Google về mã trạng thái HTTP và lỗi mạng giải thích chính Googlebot xử lý phản hồi 429 và 5xx thế nào.

Crawl website JavaScript

Nếu website được xây dựng bằng React, Vue, Angular hoặc framework tương tự, HTML server gửi có thể gần như trống, với nội dung được script thêm vào. Một lần crawl thông thường khi đó chỉ tìm thấy ít link và ít chữ. Hãy bật kết xuất JavaScript, tức tải từng trang trong một trình duyệt headless, và so sánh trang đã render với HTML gốc. Điều quan trọng là những gì bị thiếu trước khi render: văn bản chính, link, title và canonical chỉ xuất hiện sau khi script chạy. Render chậm hơn, nên hãy render một mẫu của mỗi template trước.

Crawl website của tôi với Neova

Để crawl website của bạn với Neova, tải app, rồi chọn Crawl, Lần crawl mới, nhập địa chỉ và bấm Bắt đầu crawl. Trang Lần crawl đầu tiên hướng dẫn từng màn hình.

Thiết lậpMặc định
Chạy trên
User agentNeovaBot
Tốc độ3 URL mỗi giây
Khi gặp 429 hoặc 503Giảm nửa tốc độ, tuân theo Retry-After
robots.txtĐược tôn trọng
CAPTCHAKhông bao giờ giải
Gói miễn phí1.000 URL mỗi lần crawl
  • Kiểm tra URL bắt đầu chọn phiên bản của website (http hay https, có hay không có www) trả về 200 và cho biết các phiên bản khác làm gì.
  • Chế độ và phạm vi: Spider hoặc List, Toàn bộ website, Thư mục cụ thể hoặc Mẫu mỗi nhóm trang, cùng XML Sitemap, URL seed và quy tắc bao gồm, loại trừ.
  • Website của chính bạn: khi bạn xác nhận website là của mình, Neova có thể chạy nhanh hơn và bỏ qua robots.txt. Header danh sách cho phép tạo một header bí mật chỉ gửi tới website đó, kèm quy tắc để chuyển cho đội IT.
  • Giải thích lần crawl bị chặn: khi một website từ chối lần crawl, Neova cho biết lý do (bị giới hạn tốc độ, bị firewall chặn, bị cấm) và nên làm gì tiếp theo.
  • Khám phá và Phân loại URL: trong lúc chạy, mọi URL tìm thấy được xếp vào một nhóm và các dạng bẫy crawl được đánh dấu, kèm Bỏ qua hoặc Loại trừ ngay tại chỗ.
  • Tạm dừng, Dừng và Tiếp tục: dừng bất cứ lúc nào và chạy các mục kiểm tra trên phần đã crawl, hoặc Tiếp tục sau đó từ chỗ đã dừng.

Chủ website có thể đọc cách crawler tự nhận diện, và cách chặn nó, trên trang NeovaBot.

Làm gì với lần crawl

Một lần crawl là ảnh chụp tại một thời điểm. Giá trị của nó nằm ở những gì bạn sửa. Sắp xếp kết quả theo số trang có thể index bị ảnh hưởng, sửa lỗi template một lần thay vì từng trang, và crawl lại để xác nhận. Một lượt đầu ngắn thường mang lại hiệu quả:

Checklist audit SEO kỹ thuật sắp xếp toàn bộ quá trình rà soát theo thứ tự.

Câu hỏi

Làm sao để crawl website lấy mọi URL?

Kết hợp crawl theo link với XML Sitemap, rồi thêm URL từ Google Search Console và log server. Trang nào chỉ những nguồn đó tìm thấy, và không có link nội bộ nào tới, là trang mồ côi đáng xem.

Làm sao để crawl website mà không bị chặn?

Crawl chậm, dùng user agent trung thực, tôn trọng robots.txt và giảm tốc khi server trả về 429 hoặc 503. Trên website khách hàng đứng sau firewall, hãy nhờ đội IT cho phép crawler của bạn thay vì tìm cách lách qua.

Crawl website có hợp pháp không?

Crawl trang công khai là việc phổ biến, nhưng quy định khác nhau tùy quốc gia và điều khoản của website. Hãy thoải mái crawl website của bạn và của khách hàng, tôn trọng robots.txt ở mọi nơi, và đọc điều khoản của website khi còn nghi ngờ. Đây không phải tư vấn pháp lý.

Crawl một website mất bao lâu?

Xấp xỉ số URL chia cho tốc độ. Lần crawl đầy đủ seoprocheck.com của chúng tôi ngày 17 tháng 10 năm 2026 đã tải 10.222 URL trong 61 phút, khoảng 2,8 URL mỗi giây. Ở tốc độ 3 URL mỗi giây, 1.000 URL mất khoảng 6 phút và 100.000 URL khoảng 9 giờ, chưa tính render. Lấy mẫu theo từng template nhanh hơn nhiều.

Tôi có thể crawl website miễn phí không?

Có. Gói Free của Neova crawl tối đa 1.000 URL mỗi lần crawl với mọi mục kiểm tra, trên Mac, Windows và Linux. Xem bảng giá cho các gói lớn hơn.

Lưu lại hoặc chia sẻ

Các link tới trợ lý AI sẽ mở sẵn một câu hỏi về trang này.

Crawl website của bạn với NeovaGói Free chạy mọi mục kiểm tra trên Mac, Windows và Linux. Không cần thẻ tín dụng.

Đọc tiếp