Crawl budget: là gì, cách kiểm tra và cách ngăn lãng phí
Crawl budget là số URL mà Googlebot có thể và muốn tải trên website của bạn. Phần lớn website không bao giờ phải bận tâm tới nó. Website lớn hoặc thay đổi nhanh thì có, và cách sửa thường giống nhau: đừng để Googlebot tốn thời gian vào những URL không quan trọng.
Crawl budget là gì?
Google định nghĩa crawl budget là tập hợp các URL mà Googlebot có thể và muốn crawl trên một website. Trong hướng dẫn quản lý crawl budget, Google chia nó thành hai phần:
- Giới hạn khả năng crawl. Googlebot tải được bao nhiêu mà không làm quá tải server. Nếu website phản hồi nhanh, giới hạn tăng lên. Nếu website chậm lại hoặc trả lỗi server, Googlebot lùi lại.
- Nhu cầu crawl. Google muốn crawl bao nhiêu. URL phổ biến và URL hay thay đổi được crawl nhiều hơn. URL cũ hoặc ít giá trị được crawl ít hơn.
Gộp lại, crawl budget trong SEO là điểm gặp nhau giữa những gì server của bạn chịu được và những gì Google cho là đáng tải. Bạn không thể mua thêm. Bạn có thể dùng tốt hơn phần mình có.
Crawl budget có quan trọng với website của bạn không?
Google cho biết crawl budget chủ yếu là mối lo của ba loại website. Theo hướng dẫn crawl budget của Google:
| Website | Số trang duy nhất | Nội dung thay đổi | Là mối lo |
|---|---|---|---|
| Lớn | 1.000.000+ | Hằng tuần | ✓ |
| Trung bình trở lên | 10.000+ | Hằng ngày | ✓ |
| Nhiều trang Đã phát hiện, chưa index | Không giới hạn | Không giới hạn | ✓ |
| Phần lớn website khác | Vài nghìn | Không giới hạn | – |
Nếu trang mới được crawl trong vòng một hai ngày, crawl budget không phải vấn đề của bạn. Hãy xem chất lượng nội dung, link nội bộ và khả năng index. Hướng dẫn về trạng thái Discovered, currently not indexed trên SEO ProCheck trình bày trạng thái này và nguyên nhân.
Những thói quen giúp tiết kiệm crawl budget, như URL sạch, ít redirect và không có bẫy crawl, vẫn có ích cho mọi website. Chúng cũng làm các lần crawl của chính bạn nhanh hơn và báo cáo audit dễ đọc hơn.
Cách kiểm tra crawl budget
Không có một con số crawl budget duy nhất. Bạn đọc nó từ ba nơi.
1. Báo cáo Thống kê thu thập dữ liệu trong Search Console
Mở Cài đặt, rồi Thống kê thu thập dữ liệu. Bạn có tổng số request crawl, tổng dung lượng tải xuống và thời gian phản hồi trung bình trong 90 ngày qua, chia theo mã phản hồi, loại file, mục đích (khám phá hay làm mới) và loại Googlebot. Trạng thái máy chủ cho biết việc tải robots.txt, DNS hay kết nối server có gặp vấn đề không.
Cần để ý: tỷ lệ phản hồi 3xx và 4xx tăng dần, thời gian phản hồi tăng lên, hoặc phần lớn request dành cho việc làm mới trong khi trang mới phải chờ.
2. Log server của bạn
Thống kê thu thập dữ liệu chỉ là bản tóm tắt. Log cho thấy mọi request, nên bạn thấy chính xác Googlebot tải những URL nào, bao lâu một lần và những URL nào nó không bao giờ đụng tới. Nhập thay vì kết nối liệt kê các định dạng log Neova đọc được và nơi mỗi nhà cung cấp hosting lưu chúng.
3. Một lần crawl của chính bạn
Crawler cho thấy những URL mà link và sitemap của bạn để lộ ra. So số lượng đó với số trang bạn thực sự muốn được index. Chúng tôi đã làm việc này trên chính website của mình:
| seoprocheck.com, ngày 17 tháng 10 năm 2026 | URL |
|---|---|
| Được tải trong lần crawl đầy đủ | 10.222 |
| Trang HTML trả về 200 | 4.561 |
| Có trong XML Sitemap | 1.835 |
| Có link tới, không nằm trong sitemap nào | 2.727 |
Như vậy chưa tới một nửa số URL được tải là trang HTML trả về 200; phần còn lại là file, redirect và các phản hồi khác mà bot cũng tốn request. Và 2.727 URL có link tới nhưng không nằm trong sitemap nào, đáng để xem lại trước khi đổ lỗi cho Google. Nếu một website có 20.000 sản phẩm tạo ra 400.000 URL crawl được, bạn đã tìm ra chỗ lãng phí crawl budget.
Lãng phí crawl budget đến từ đâu
| Nguồn | Biểu hiện | Cách sửa thường dùng |
|---|---|---|
| Điều hướng theo bộ lọc (faceted navigation) | Mỗi tổ hợp bộ lọc một URL | Chặn các tổ hợp ít giá trị |
| Tham số | Theo dõi, phiên, sắp xếp | Gỡ khỏi link nội bộ |
| Bẫy crawl | Lịch, thư mục lặp lại | Giới hạn, chặn hoặc sửa link |
| Chuỗi redirect | Từ 2 bước nhảy trở lên | Link tới URL cuối cùng |
| Soft 404 | Không tìm thấy, nhưng trả về 200 | Trả về 404 hoặc 410 |
| URL trùng lặp | Chữ hoa thường, dấu gạch chéo, thứ tự tham số | Redirect về một phiên bản |
| Sitemap bẩn | Redirect, noindex, lỗi | Chỉ URL 200 có thể index |
| Phản hồi chậm | Thời gian phản hồi tăng dần | Tăng tốc server |
Điều hướng theo bộ lọc là nguồn lớn nhất ở phần lớn website bán hàng; bài giải thích crawl budget trên SEO ProCheck nói rõ khi nào mỗi nguồn trở nên quan trọng.
Tối ưu crawl budget từng bước
- Đếm những gì nên được index. Ghi lại số trang bạn muốn có trên Google. Mọi thứ vượt quá con số đó đều có thể là lãng phí.
- Crawl website và phân loại URL. Tách URL trang sạch khỏi các biến thể tham số, URL sai định dạng, bẫy crawl và tài nguyên.
- Tìm quy luật. Lãng phí hiếm khi ngẫu nhiên. Đó là một bộ lọc, một cuốn lịch, một link tương đối bị hỏng lặp lại hàng nghìn lần.
- Chặn những gì không bao giờ cần crawl. Dùng robots.txt cho các mẫu URL không có giá trị tìm kiếm, như kết quả tìm kiếm nội bộ hay thứ tự sắp xếp. Test quy tắc với các URL đã crawl trước khi áp dụng.
- Sửa các link tạo ra lãng phí. Chặn chỉ giấu URL đi; sửa link mới ngăn chúng được tạo ra.
- Làm sạch XML Sitemap. Chỉ gồm URL có thể index trả về 200, với ngày lastmod thay đổi khi trang thay đổi.
- Trả về đúng mã trạng thái. 404 hoặc 410 cho trang đã mất, không phải 200 kèm thông báo không tìm thấy.
- Rút ngắn chuỗi redirect và cập nhật link nội bộ trỏ thẳng tới URL cuối cùng.
- Theo dõi log và Thống kê thu thập dữ liệu trong vài tuần để xác nhận Googlebot chuyển sang những trang quan trọng.
Những điều không nên làm
Một vài mẹo crawl budget phổ biến không hiệu quả như người ta nghĩ. Theo hướng dẫn crawl budget của Google và trang về giảm tốc độ crawl:
| Mẹo | Tiết kiệm budget | Lý do |
|---|---|---|
| Thêm noindex | – | Trang vẫn bị tải |
| Tạm chặn trang một thời gian | – | Google khuyên không nên |
| Crawl-delay trong robots.txt | – | Googlebot bỏ qua |
| Trả về 503 hoặc 429 | ◐ | Khẩn cấp, 1 đến 2 ngày |
| Liệt kê URL trong sitemap | ◐ | Là gợi ý, không phải mệnh lệnh |
| Chặn hẳn trong robots.txt | ✓ | URL không bao giờ bị tải |
Noindex giúp việc index, không giúp việc crawl. Chỉ chặn trong robots.txt những URL bạn không bao giờ muốn bị crawl, và sửa các link tạo ra chúng.
Neova giúp gì với crawl budget
Neova là một crawler, không phải Googlebot, nên không thể hiển thị budget riêng của Google. Thứ nó cho thấy là những chỗ website của bạn bắt Googlebot làm thêm việc:
- Khám phá chạy song song với lần crawl. Mỗi phút nó cho biết URL mới đến từ đâu theo mẫu và đánh dấu các dạng bẫy crawl, như lịch, thư mục lặp lại, session ID, quá nhiều tham số và URL rất sâu, kèm lựa chọn Tiếp tục crawl, Bỏ qua hoặc Loại trừ ngay tại chỗ.
- Phân loại URL xếp mọi URL vào một nhóm: URL trang sạch, biến thể tham số, URL sai định dạng, bẫy crawl và tài nguyên. Con số luôn được giải thích.
- Công cụ kiểm tra robots.txt giải thích từng dòng, và bài test bản nháp liệt kê những URL mà một thay đổi sẽ chặn mới hoặc cho phép mới trước khi bạn áp dụng.
- Log server, trong app desktop, liệt kê những trang HTML Googlebot chưa từng ghé trong khoảng thời gian của log và những URL bot yêu cầu mà lần crawl không biết tới.
- Các mục kiểm tra như URL có thể index chứa tham số tìm kiếm hoặc bộ lọc, cùng tham số nhưng khác thứ tự, cụm từ soft 404, URL redirect trong XML Sitemap và khoảng cách giữa các lần Googlebot crawl lại tăng từ 50% trở lên.

Neova cũng crawl lịch sự: mặc định 3 URL mỗi giây, giảm một nửa tốc độ khi server chậm lại hoặc trả về 429 hay 503. Xem Tính năng hoặc tải Neova để dùng thử.
Checklist crawl budget
| Tín hiệu | Khỏe mạnh | Vị trí |
|---|---|---|
| Thời gian phản hồi | Ổn định hoặc giảm | Thống kê thu thập dữ liệu |
| Tỷ lệ 3xx và 4xx | Không tăng | Thống kê thu thập dữ liệu, log |
| URL crawl được so với trang mong muốn | Gần 1 trên 1 | Lần crawl của bạn |
| Bẫy crawl | 0 | Lần crawl của bạn |
| Bước nhảy redirect | Tối đa 1 | Lần crawl của bạn |
| Trang đã gỡ bỏ | 404 hoặc 410 | Lần crawl của bạn |
| Mục trong sitemap | Chỉ URL 200 có thể index | Lần crawl của bạn |
| Số URL mỗi file sitemap | Tối đa 50.000 | Lần crawl của bạn |
| Số ngày log đã đọc | Từ 30 trở lên | Log server |
| Trang quan trọng mới | Đã được Googlebot ghé | Log server |
Câu hỏi
Crawl budget trong SEO là gì?
Là số URL mà một công cụ tìm kiếm có thể và muốn crawl trên website của bạn trong một khoảng thời gian. Google mô tả nó là sự kết hợp giữa khả năng crawl và nhu cầu crawl.
Crawl budget có quan trọng với website nhỏ không?
Thường là không. Google cho biết nó chủ yếu là mối lo của website rất lớn, website thay đổi hằng ngày và website có nhiều trang đã phát hiện nhưng chưa index. Website nhỏ được lợi nhiều hơn từ nội dung tốt hơn và link nội bộ.
Làm sao để tăng crawl budget?
Làm server nhanh và ổn định, và cho Google lý do để crawl: những trang được người khác link tới và truy cập, và nội dung có thay đổi. Sau đó đừng lãng phí phần đang có vào tham số, redirect và trang trùng lặp.
Noindex có tiết kiệm crawl budget không?
Không. Google phải crawl một trang mới đọc được noindex của nó. Để giữ Googlebot tránh xa một mẫu URL lâu dài, hãy chặn nó trong robots.txt và sửa các link tạo ra nó.
Googlebot có tuân theo crawl-delay không?
Không. Google không hỗ trợ crawl-delay trong robots.txt. Bing có tài liệu hỗ trợ nó. Neova đánh dấu crawl-delay đặt cho mọi user agent để bạn quyết định có còn cần nó hay không.