NeovaNền tảng SEO chuyên sâu

Crawl budget: là gì, cách kiểm tra và cách ngăn lãng phí

Crawl budget là số URL mà Googlebot có thể và muốn tải trên website của bạn. Phần lớn website không bao giờ phải bận tâm tới nó. Website lớn hoặc thay đổi nhanh thì có, và cách sửa thường giống nhau: đừng để Googlebot tốn thời gian vào những URL không quan trọng.

Crawl và indexcrawl budgetCập nhật ngày 21 tháng 11 năm 2026Tác giả: đội ngũ Neova

Crawl budget là gì?

Google định nghĩa crawl budget là tập hợp các URL mà Googlebot có thể và muốn crawl trên một website. Trong hướng dẫn quản lý crawl budget, Google chia nó thành hai phần:

  • Giới hạn khả năng crawl. Googlebot tải được bao nhiêu mà không làm quá tải server. Nếu website phản hồi nhanh, giới hạn tăng lên. Nếu website chậm lại hoặc trả lỗi server, Googlebot lùi lại.
  • Nhu cầu crawl. Google muốn crawl bao nhiêu. URL phổ biến và URL hay thay đổi được crawl nhiều hơn. URL cũ hoặc ít giá trị được crawl ít hơn.

Gộp lại, crawl budget trong SEO là điểm gặp nhau giữa những gì server của bạn chịu được và những gì Google cho là đáng tải. Bạn không thể mua thêm. Bạn có thể dùng tốt hơn phần mình có.

Crawl budget có quan trọng với website của bạn không?

Google cho biết crawl budget chủ yếu là mối lo của ba loại website. Theo hướng dẫn crawl budget của Google:

WebsiteSố trang duy nhấtNội dung thay đổiLà mối lo
Lớn1.000.000+Hằng tuần✓
Trung bình trở lên10.000+Hằng ngày✓
Nhiều trang Đã phát hiện, chưa indexKhông giới hạnKhông giới hạn✓
Phần lớn website khácVài nghìnKhông giới hạn–

Nếu trang mới được crawl trong vòng một hai ngày, crawl budget không phải vấn đề của bạn. Hãy xem chất lượng nội dung, link nội bộ và khả năng index. Hướng dẫn về trạng thái Discovered, currently not indexed trên SEO ProCheck trình bày trạng thái này và nguyên nhân.

Những thói quen giúp tiết kiệm crawl budget, như URL sạch, ít redirect và không có bẫy crawl, vẫn có ích cho mọi website. Chúng cũng làm các lần crawl của chính bạn nhanh hơn và báo cáo audit dễ đọc hơn.

Cách kiểm tra crawl budget

Không có một con số crawl budget duy nhất. Bạn đọc nó từ ba nơi.

1. Báo cáo Thống kê thu thập dữ liệu trong Search Console

Mở Cài đặt, rồi Thống kê thu thập dữ liệu. Bạn có tổng số request crawl, tổng dung lượng tải xuống và thời gian phản hồi trung bình trong 90 ngày qua, chia theo mã phản hồi, loại file, mục đích (khám phá hay làm mới) và loại Googlebot. Trạng thái máy chủ cho biết việc tải robots.txt, DNS hay kết nối server có gặp vấn đề không.

Cần để ý: tỷ lệ phản hồi 3xx và 4xx tăng dần, thời gian phản hồi tăng lên, hoặc phần lớn request dành cho việc làm mới trong khi trang mới phải chờ.

2. Log server của bạn

Thống kê thu thập dữ liệu chỉ là bản tóm tắt. Log cho thấy mọi request, nên bạn thấy chính xác Googlebot tải những URL nào, bao lâu một lần và những URL nào nó không bao giờ đụng tới. Nhập thay vì kết nối liệt kê các định dạng log Neova đọc được và nơi mỗi nhà cung cấp hosting lưu chúng.

3. Một lần crawl của chính bạn

Crawler cho thấy những URL mà link và sitemap của bạn để lộ ra. So số lượng đó với số trang bạn thực sự muốn được index. Chúng tôi đã làm việc này trên chính website của mình:

seoprocheck.com, ngày 17 tháng 10 năm 2026URL
Được tải trong lần crawl đầy đủ10.222
Trang HTML trả về 2004.561
Có trong XML Sitemap1.835
Có link tới, không nằm trong sitemap nào2.727

Như vậy chưa tới một nửa số URL được tải là trang HTML trả về 200; phần còn lại là file, redirect và các phản hồi khác mà bot cũng tốn request. Và 2.727 URL có link tới nhưng không nằm trong sitemap nào, đáng để xem lại trước khi đổ lỗi cho Google. Nếu một website có 20.000 sản phẩm tạo ra 400.000 URL crawl được, bạn đã tìm ra chỗ lãng phí crawl budget.

Lãng phí crawl budget đến từ đâu

NguồnBiểu hiệnCách sửa thường dùng
Điều hướng theo bộ lọc (faceted navigation)Mỗi tổ hợp bộ lọc một URLChặn các tổ hợp ít giá trị
Tham sốTheo dõi, phiên, sắp xếpGỡ khỏi link nội bộ
Bẫy crawlLịch, thư mục lặp lạiGiới hạn, chặn hoặc sửa link
Chuỗi redirectTừ 2 bước nhảy trở lênLink tới URL cuối cùng
Soft 404Không tìm thấy, nhưng trả về 200Trả về 404 hoặc 410
URL trùng lặpChữ hoa thường, dấu gạch chéo, thứ tự tham sốRedirect về một phiên bản
Sitemap bẩnRedirect, noindex, lỗiChỉ URL 200 có thể index
Phản hồi chậmThời gian phản hồi tăng dầnTăng tốc server

Điều hướng theo bộ lọc là nguồn lớn nhất ở phần lớn website bán hàng; bài giải thích crawl budget trên SEO ProCheck nói rõ khi nào mỗi nguồn trở nên quan trọng.

Tối ưu crawl budget từng bước

  1. Đếm những gì nên được index. Ghi lại số trang bạn muốn có trên Google. Mọi thứ vượt quá con số đó đều có thể là lãng phí.
  2. Crawl website và phân loại URL. Tách URL trang sạch khỏi các biến thể tham số, URL sai định dạng, bẫy crawl và tài nguyên.
  3. Tìm quy luật. Lãng phí hiếm khi ngẫu nhiên. Đó là một bộ lọc, một cuốn lịch, một link tương đối bị hỏng lặp lại hàng nghìn lần.
  4. Chặn những gì không bao giờ cần crawl. Dùng robots.txt cho các mẫu URL không có giá trị tìm kiếm, như kết quả tìm kiếm nội bộ hay thứ tự sắp xếp. Test quy tắc với các URL đã crawl trước khi áp dụng.
  5. Sửa các link tạo ra lãng phí. Chặn chỉ giấu URL đi; sửa link mới ngăn chúng được tạo ra.
  6. Làm sạch XML Sitemap. Chỉ gồm URL có thể index trả về 200, với ngày lastmod thay đổi khi trang thay đổi.
  7. Trả về đúng mã trạng thái. 404 hoặc 410 cho trang đã mất, không phải 200 kèm thông báo không tìm thấy.
  8. Rút ngắn chuỗi redirect và cập nhật link nội bộ trỏ thẳng tới URL cuối cùng.
  9. Theo dõi log và Thống kê thu thập dữ liệu trong vài tuần để xác nhận Googlebot chuyển sang những trang quan trọng.

Những điều không nên làm

Một vài mẹo crawl budget phổ biến không hiệu quả như người ta nghĩ. Theo hướng dẫn crawl budget của Google và trang về giảm tốc độ crawl:

MẹoTiết kiệm budgetLý do
Thêm noindex–Trang vẫn bị tải
Tạm chặn trang một thời gian–Google khuyên không nên
Crawl-delay trong robots.txt–Googlebot bỏ qua
Trả về 503 hoặc 429◐Khẩn cấp, 1 đến 2 ngày
Liệt kê URL trong sitemap◐Là gợi ý, không phải mệnh lệnh
Chặn hẳn trong robots.txt✓URL không bao giờ bị tải

Noindex giúp việc index, không giúp việc crawl. Chỉ chặn trong robots.txt những URL bạn không bao giờ muốn bị crawl, và sửa các link tạo ra chúng.

Neova giúp gì với crawl budget

Neova là một crawler, không phải Googlebot, nên không thể hiển thị budget riêng của Google. Thứ nó cho thấy là những chỗ website của bạn bắt Googlebot làm thêm việc:

  • Khám phá chạy song song với lần crawl. Mỗi phút nó cho biết URL mới đến từ đâu theo mẫu và đánh dấu các dạng bẫy crawl, như lịch, thư mục lặp lại, session ID, quá nhiều tham số và URL rất sâu, kèm lựa chọn Tiếp tục crawl, Bỏ qua hoặc Loại trừ ngay tại chỗ.
  • Phân loại URL xếp mọi URL vào một nhóm: URL trang sạch, biến thể tham số, URL sai định dạng, bẫy crawl và tài nguyên. Con số luôn được giải thích.
  • Công cụ kiểm tra robots.txt giải thích từng dòng, và bài test bản nháp liệt kê những URL mà một thay đổi sẽ chặn mới hoặc cho phép mới trước khi bạn áp dụng.
  • Log server, trong app desktop, liệt kê những trang HTML Googlebot chưa từng ghé trong khoảng thời gian của log và những URL bot yêu cầu mà lần crawl không biết tới.
  • Các mục kiểm tra như URL có thể index chứa tham số tìm kiếm hoặc bộ lọc, cùng tham số nhưng khác thứ tự, cụm từ soft 404, URL redirect trong XML Sitemap và khoảng cách giữa các lần Googlebot crawl lại tăng từ 50% trở lên.
Một lần crawl đang chạy: số URL đã tải trên số đã tìm thấy, giới hạn tốc độ, Phân loại URL, Khám phá và Bản đồ crawl trực tiếp theo số click từ URL bắt đầu
Một lần crawl đang chạy: số URL đã tải trên số đã tìm thấy, giới hạn tốc độ, Phân loại URL, Khám phá và Bản đồ crawl trực tiếp theo số click từ URL bắt đầu

Neova cũng crawl lịch sự: mặc định 3 URL mỗi giây, giảm một nửa tốc độ khi server chậm lại hoặc trả về 429 hay 503. Xem Tính năng hoặc tải Neova để dùng thử.

Checklist crawl budget

Tín hiệuKhỏe mạnhVị trí
Thời gian phản hồiỔn định hoặc giảmThống kê thu thập dữ liệu
Tỷ lệ 3xx và 4xxKhông tăngThống kê thu thập dữ liệu, log
URL crawl được so với trang mong muốnGần 1 trên 1Lần crawl của bạn
Bẫy crawl0Lần crawl của bạn
Bước nhảy redirectTối đa 1Lần crawl của bạn
Trang đã gỡ bỏ404 hoặc 410Lần crawl của bạn
Mục trong sitemapChỉ URL 200 có thể indexLần crawl của bạn
Số URL mỗi file sitemapTối đa 50.000Lần crawl của bạn
Số ngày log đã đọcTừ 30 trở lênLog server
Trang quan trọng mớiĐã được Googlebot ghéLog server

Câu hỏi

Crawl budget trong SEO là gì?

Là số URL mà một công cụ tìm kiếm có thể và muốn crawl trên website của bạn trong một khoảng thời gian. Google mô tả nó là sự kết hợp giữa khả năng crawl và nhu cầu crawl.

Crawl budget có quan trọng với website nhỏ không?

Thường là không. Google cho biết nó chủ yếu là mối lo của website rất lớn, website thay đổi hằng ngày và website có nhiều trang đã phát hiện nhưng chưa index. Website nhỏ được lợi nhiều hơn từ nội dung tốt hơn và link nội bộ.

Làm sao để tăng crawl budget?

Làm server nhanh và ổn định, và cho Google lý do để crawl: những trang được người khác link tới và truy cập, và nội dung có thay đổi. Sau đó đừng lãng phí phần đang có vào tham số, redirect và trang trùng lặp.

Noindex có tiết kiệm crawl budget không?

Không. Google phải crawl một trang mới đọc được noindex của nó. Để giữ Googlebot tránh xa một mẫu URL lâu dài, hãy chặn nó trong robots.txt và sửa các link tạo ra nó.

Googlebot có tuân theo crawl-delay không?

Không. Google không hỗ trợ crawl-delay trong robots.txt. Bing có tài liệu hỗ trợ nó. Neova đánh dấu crawl-delay đặt cho mọi user agent để bạn quyết định có còn cần nó hay không.

Lưu lại hoặc chia sẻ

Các link tới trợ lý AI sẽ mở sẵn một câu hỏi về trang này.

Crawl website của bạn với NeovaGói Free chạy mọi mục kiểm tra trên Mac, Windows và Linux. Không cần thẻ tín dụng.

Đọc tiếp