Kiểm tra robots.txt: cách test quy tắc robots.txt trước khi chúng chặn nhầm trang
robots.txt là một file văn bản ngắn nhưng có sức ảnh hưởng rất lớn. Một dòng có thể giữ công cụ tìm kiếm tránh xa một thư mục bạn muốn ẩn, hoặc cả website bạn muốn xếp hạng. Công cụ kiểm tra robots.txt cho bạn biết, từng URL một, mỗi crawler được phép tải gì, để bạn phát hiện ra trước Googlebot.
Công cụ kiểm tra robots.txt làm gì
Công cụ kiểm tra robots.txt nhận một file robots.txt và một URL, chọn nhóm quy tắc áp dụng cho một user agent nhất định, và cho bạn biết URL đó được phép hay bị disallow, và dòng nào quyết định. Một công cụ tốt còn chỉ ra các dòng trình phân tích không đọc được, các trường nó bỏ qua và các quy tắc triệt tiêu nhau.
Kiểm tra từng URL một hữu ích cho một câu hỏi nhanh. Kiểm tra mọi URL của một lần crawl mới bắt được những bất ngờ: một quy tắc viết cho một thư mục nhưng cũng khớp với bộ lọc sản phẩm, hoặc một wildcard chặn CSS mà trang cần để kết xuất.
Google đã ngừng công cụ kiểm tra robots.txt
Trong nhiều năm, Search Console có công cụ kiểm tra robots.txt để bạn sửa file và kiểm tra URL. Cuối năm 2023, Google ngừng công cụ này và thay bằng báo cáo robots.txt. Báo cáo cho thấy Google tìm thấy những file robots.txt nào cho 20 host hàng đầu của một thuộc tính, lần cuối mỗi file được crawl, và các cảnh báo hoặc lỗi. Nó cũng cho phép yêu cầu crawl lại file sau một lần sửa gấp.
Báo cáo cho bạn biết Google đã đọc file đang hoạt động của bạn thế nào. Nó không kiểm tra quy tắc chưa được áp dụng, và không chạy toàn bộ danh sách URL của bạn với file. Để làm việc đó bạn cần một công cụ kiểm tra riêng. Google công bố trình phân tích robots.txt mã nguồn mở của mình, và Bing Webmaster Tools có công cụ kiểm tra robots.txt tiện để xem Bingbot đọc file thế nào.
Quy tắc robots.txt hoạt động thế nào
File nằm ở thư mục gốc của một host, ví dụ https://www.example.com/robots.txt. Các quy tắc được định nghĩa bởi RFC 9309, Robots Exclusion Protocol, và Google mô tả cách họ đọc chúng trong Cách Google diễn giải đặc tả robots.txt. Một file gồm các nhóm. Mỗi nhóm bắt đầu bằng một hoặc nhiều dòng User-agent, theo sau là các quy tắc Allow và Disallow:
User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help
User-agent: Googlebot-Image
Disallow: /private-images/
Sitemap: https://www.example.com/sitemap.xml
Những điểm mà công cụ kiểm tra xem xét, theo tài liệu của Google. Tài liệu tham khảo robots.txt đầy đủ của SEO ProCheck đi qua từng trường.
- Mỗi crawler một nhóm. Một crawler chỉ tuân theo nhóm cụ thể nhất khớp với tên của nó. Nếu Googlebot có nhóm riêng, nó bỏ qua hoàn toàn nhóm
*. - Khớp dài nhất thắng. Khi cả Allow và Disallow cùng khớp một URL, quy tắc có đường dẫn dài hơn được áp dụng. Nếu bằng nhau, Google dùng quy tắc ít hạn chế nhất.
- Hai wildcard.
*khớp với bất kỳ chuỗi ký tự nào và$đánh dấu cuối URL. - Đường dẫn phân biệt chữ hoa chữ thường.
Disallow: /Adminkhông chặn/admin. - Mỗi host một file. Quy tắc chỉ áp dụng cho giao thức, host và cổng mà file được phục vụ. Một subdomain cần file riêng.
Những gì robots.txt không làm
robots.txt kiểm soát việc crawl, không phải việc index. Giới thiệu về robots.txt của Google nói rõ một URL bị disallow vẫn có thể được index nếu các trang khác link tới nó, thường hiển thị không có description. Nếu bạn muốn một trang biến khỏi kết quả tìm kiếm, hãy cho nó được crawl và dùng noindex. Một trang Google không tải được là trang mà Google không bao giờ thấy noindex của nó.
Vài giới hạn khác đáng biết:
- Không có dòng noindex. Google đã ngừng hỗ trợ noindex trong robots.txt năm 2019, cùng với các quy tắc nofollow và crawl-delay ở đó.
- Không có crawl-delay cho Google. Googlebot bỏ qua
Crawl-delay. Một số crawler khác đọc nó, đó là lý do một giá trị đặt cho mọi user agent có thể làm chúng chậm đi rất nhiều. - Không có tác dụng bảo mật. File này công khai và crawler lịch sự tự nguyện tuân theo. Mọi thứ riêng tư cần đăng nhập.
Lỗi robots.txt thường gặp mà công cụ kiểm tra bắt được
| Lỗi | Hậu quả | Cách sửa |
|---|---|---|
Disallow: / còn sót từ staging | Cả website bị chặn | Bỏ dòng đó |
| Nhóm có tên nhưng không có quy tắc chung | Quy tắc * bị bỏ cho bot đó | Chép quy tắc chung vào |
| CSS, JavaScript, ảnh bị chặn | Trang không kết xuất được | Cho phép các file |
| Wildcard quá rộng | /*? chặn bộ lọc, trang | Thu hẹp mẫu |
| Quy tắc đứng trước User-agent, lỗi chính tả | Dòng bị bỏ qua | Sửa cú pháp |
| Disallow để gỡ index | noindex không bao giờ được đọc | Cho phép, rồi noindex |
| www và non-www khác nhau | Quy tắc khác nhau theo host | Phục vụ một file duy nhất |
Chặn một URL mà bạn cũng liệt kê trong XML Sitemap là gửi tín hiệu mâu thuẫn. Hướng dẫn kiểm tra sitemap XML nói về khía cạnh đó.
Lỗi server và kích thước file
File được phục vụ thế nào quan trọng không kém nội dung của nó. Google có tài liệu cho từng trường hợp:
| Trường hợp | Google làm gì | Trong bao lâu |
|---|---|---|
| 4xx, không phải 429 | Crawl như thể không có file | Cho tới khi sửa xong |
| 5xx hoặc 429 | Ngừng crawl website | 12 giờ đầu |
| Vẫn lỗi | Dùng bản tốt gần nhất | Tối đa 30 ngày |
| File trên 500 KiB | Bỏ qua phần còn lại | Sau 500 KiB |
| Bất kỳ thay đổi nào | Dùng bản đã cache | Tối đa 24 giờ |
Yêu cầu crawl lại trong báo cáo robots.txt dành cho các lần sửa gấp. Một robots.txt bị timeout đúng lúc có thể làm việc crawl cả website tạm dừng; hướng dẫn crawl budget giải thích vì sao điều đó quan trọng nhất với website lớn.
Những gì chúng tôi tìm thấy trong robots.txt của chính mình
Lượt rà soát SEO neova.app của chúng tôi, ngày 20 tháng 11 năm 2026, tìm thấy hai quy tắc chặn nhiều hơn chúng tôi định:
| Nội dung bị chặn | Trang bị ảnh hưởng | Google thấy gì | Cách sửa |
|---|---|---|---|
| Script email của Cloudflare dưới /cdn-cgi/ | 1.320 | Một script Google không tải được | Cho phép script đó |
| /favicon và /apple-touch-icon.png | Mọi kết quả | Một chữ cái đơn giản, không có logo | Cho phép cả hai file |
Các file favicon nằm sau một quy tắc Disallow: /. Hướng dẫn về favicon của Google yêu cầu file phải crawl được bởi Googlebot-Image, nên kết quả tìm kiếm hiển thị một chữ cái thay vì logo của chúng tôi cạnh neova.app. Không quy tắc nào trông sai trong file. Cả hai chỉ lộ ra khi các quy tắc được kiểm tra với mọi URL và file mà các trang tải.
Cách kiểm tra robots.txt an toàn
- Crawl website để có danh sách đầy đủ các URL thật, không chỉ vài URL bạn nhớ.
- Kiểm tra file đang hoạt động với danh sách đó cho từng crawler bạn quan tâm: Googlebot, Googlebot-Image, Bingbot và các AI crawler.
- Viết thay đổi dưới dạng bản nháp và kiểm tra bản nháp với cùng danh sách. Xem các URL mới bị chặn và mới được cho phép.
- Kiểm tra tài nguyên. Đảm bảo không trang có thể index nào bị mất script, style sheet hay ảnh.
- Triển khai, rồi xác nhận trong báo cáo robots.txt của Search Console rằng Google đã tải phiên bản mới không lỗi.
- Crawl lại và so sánh, để bắt được những thay đổi vô tình về sau.
Nếu bạn đang quyết định AI crawler được tải gì, hướng dẫn AI crawler liệt kê tên và việc mỗi crawler làm. Các trang bị chặn cũng xuất hiện trong hướng dẫn kiểm tra khả năng index.
Kiểm tra robots.txt với Neova
Công cụ kiểm tra robots.txt của Neova giải thích từng dòng của file đang hoạt động, hoặc của một bản nháp, bằng lời dễ hiểu, theo tài liệu của Google và định nghĩa của RFC 9309, cùng các URL đã crawl mà mỗi quy tắc khớp. Màn hình Mọi crawler cho thấy Googlebot, Bingbot và các AI crawler được tải gì, cùng các URL mỗi crawler bị chặn. Nó báo khi nhóm riêng của một crawler bỏ mất các quy tắc của nhóm *, và bài test bản nháp liệt kê mọi URL trong lần crawl sẽ bắt đầu bị chặn hoặc bắt đầu được cho phép nếu áp dụng thay đổi. Sau đó bạn có thể crawl theo bản nháp để thấy toàn bộ tác động. Các mục kiểm tra phía sau:
- robots.txt có cú pháp không hợp lệ hoặc trường không xác định
- Không truy cập được robots.txt hoặc file quá lớn, với 5xx, 429, không phản hồi hoặc trên 500 KiB
- URL nội bộ bị robots.txt chặn
- Trang HTML dùng file JavaScript bị robots.txt disallow, Style sheet và Ảnh
- Crawl-delay được đặt cho tất cả user agent trong robots.txt
- robots.txt của biến thể host khác với host canonical
- Quy tắc robots.txt đã thay đổi so với lần crawl trước
- Favicon bị thiếu, hỏng hoặc bị chặn, kể cả favicon bị disallow với Googlebot-Image
- URL bị disallow nằm trong sitemap XML
Neova giữ mọi phiên bản robots.txt mà các lần crawl đã đọc, để bạn thấy quy tắc thay đổi khi nào. Với thiết lập User agent, bạn có thể crawl giả lập Googlebot, Bingbot, một AI crawler hoặc một chuỗi tùy chỉnh. Xem Tính năng hoặc tải Neova.
Câu hỏi
Google còn công cụ kiểm tra robots.txt không?
Không. Google đã ngừng công cụ kiểm tra robots.txt trong Search Console năm 2023 và thay bằng báo cáo robots.txt, cho thấy Google đã đọc file đang hoạt động của bạn thế nào và các lỗi. Để kiểm tra một thay đổi trước khi đưa lên, hãy dùng một công cụ kiểm tra robots.txt riêng.
Làm sao kiểm tra một URL có bị robots.txt chặn không?
Tìm nhóm khớp với user agent của crawler, rồi tìm đường dẫn Allow hoặc Disallow dài nhất khớp với URL. Quy tắc đó quyết định. Công cụ kiểm tra robots.txt làm việc này cho bạn và nêu tên dòng, cho một URL hoặc cho mọi URL của một lần crawl. FAQ robots.txt của SEO ProCheck trả lời các trường hợp đặc biệt.
robots.txt có ngăn một trang được index không?
Không. Nó ngăn việc crawl. Một URL bị disallow vẫn có thể được index nếu các trang khác link tới nó. Hãy dùng noindex trên một trang Google crawl được nếu bạn muốn nó biến khỏi kết quả tìm kiếm.
Vì sao Googlebot bỏ qua các quy tắc User-agent: * của tôi?
Vì file có một nhóm dành riêng cho Googlebot. Một crawler chỉ tuân theo nhóm cụ thể nhất khớp với nó, nên hãy chép các quy tắc chung vào cả nhóm Googlebot.
Một thay đổi robots.txt mất bao lâu để có hiệu lực?
Google thường cache robots.txt tối đa 24 giờ. Sau một lần sửa gấp, bạn có thể yêu cầu crawl lại trong báo cáo robots.txt của Search Console.