NeovaNền tảng SEO chuyên sâu

Kiểm tra robots.txt: cách test quy tắc robots.txt trước khi chúng chặn nhầm trang

robots.txt là một file văn bản ngắn nhưng có sức ảnh hưởng rất lớn. Một dòng có thể giữ công cụ tìm kiếm tránh xa một thư mục bạn muốn ẩn, hoặc cả website bạn muốn xếp hạng. Công cụ kiểm tra robots.txt cho bạn biết, từng URL một, mỗi crawler được phép tải gì, để bạn phát hiện ra trước Googlebot.

Crawl và indexKiểm tra robots.txtCập nhật ngày 21 tháng 11 năm 2026Tác giả: đội ngũ Neova

Công cụ kiểm tra robots.txt làm gì

Công cụ kiểm tra robots.txt nhận một file robots.txt và một URL, chọn nhóm quy tắc áp dụng cho một user agent nhất định, và cho bạn biết URL đó được phép hay bị disallow, và dòng nào quyết định. Một công cụ tốt còn chỉ ra các dòng trình phân tích không đọc được, các trường nó bỏ qua và các quy tắc triệt tiêu nhau.

Kiểm tra từng URL một hữu ích cho một câu hỏi nhanh. Kiểm tra mọi URL của một lần crawl mới bắt được những bất ngờ: một quy tắc viết cho một thư mục nhưng cũng khớp với bộ lọc sản phẩm, hoặc một wildcard chặn CSS mà trang cần để kết xuất.

Google đã ngừng công cụ kiểm tra robots.txt

Trong nhiều năm, Search Console có công cụ kiểm tra robots.txt để bạn sửa file và kiểm tra URL. Cuối năm 2023, Google ngừng công cụ này và thay bằng báo cáo robots.txt. Báo cáo cho thấy Google tìm thấy những file robots.txt nào cho 20 host hàng đầu của một thuộc tính, lần cuối mỗi file được crawl, và các cảnh báo hoặc lỗi. Nó cũng cho phép yêu cầu crawl lại file sau một lần sửa gấp.

Báo cáo cho bạn biết Google đã đọc file đang hoạt động của bạn thế nào. Nó không kiểm tra quy tắc chưa được áp dụng, và không chạy toàn bộ danh sách URL của bạn với file. Để làm việc đó bạn cần một công cụ kiểm tra riêng. Google công bố trình phân tích robots.txt mã nguồn mở của mình, và Bing Webmaster Tools có công cụ kiểm tra robots.txt tiện để xem Bingbot đọc file thế nào.

Quy tắc robots.txt hoạt động thế nào

File nằm ở thư mục gốc của một host, ví dụ https://www.example.com/robots.txt. Các quy tắc được định nghĩa bởi RFC 9309, Robots Exclusion Protocol, và Google mô tả cách họ đọc chúng trong Cách Google diễn giải đặc tả robots.txt. Một file gồm các nhóm. Mỗi nhóm bắt đầu bằng một hoặc nhiều dòng User-agent, theo sau là các quy tắc Allow và Disallow:

User-agent: *
Disallow: /cart/
Disallow: /*?sort=
Allow: /cart/help

User-agent: Googlebot-Image
Disallow: /private-images/

Sitemap: https://www.example.com/sitemap.xml

Những điểm mà công cụ kiểm tra xem xét, theo tài liệu của Google. Tài liệu tham khảo robots.txt đầy đủ của SEO ProCheck đi qua từng trường.

  • Mỗi crawler một nhóm. Một crawler chỉ tuân theo nhóm cụ thể nhất khớp với tên của nó. Nếu Googlebot có nhóm riêng, nó bỏ qua hoàn toàn nhóm *.
  • Khớp dài nhất thắng. Khi cả Allow và Disallow cùng khớp một URL, quy tắc có đường dẫn dài hơn được áp dụng. Nếu bằng nhau, Google dùng quy tắc ít hạn chế nhất.
  • Hai wildcard. * khớp với bất kỳ chuỗi ký tự nào và $ đánh dấu cuối URL.
  • Đường dẫn phân biệt chữ hoa chữ thường. Disallow: /Admin không chặn /admin.
  • Mỗi host một file. Quy tắc chỉ áp dụng cho giao thức, host và cổng mà file được phục vụ. Một subdomain cần file riêng.

Những gì robots.txt không làm

robots.txt kiểm soát việc crawl, không phải việc index. Giới thiệu về robots.txt của Google nói rõ một URL bị disallow vẫn có thể được index nếu các trang khác link tới nó, thường hiển thị không có description. Nếu bạn muốn một trang biến khỏi kết quả tìm kiếm, hãy cho nó được crawl và dùng noindex. Một trang Google không tải được là trang mà Google không bao giờ thấy noindex của nó.

Vài giới hạn khác đáng biết:

  • Không có dòng noindex. Google đã ngừng hỗ trợ noindex trong robots.txt năm 2019, cùng với các quy tắc nofollow và crawl-delay ở đó.
  • Không có crawl-delay cho Google. Googlebot bỏ qua Crawl-delay. Một số crawler khác đọc nó, đó là lý do một giá trị đặt cho mọi user agent có thể làm chúng chậm đi rất nhiều.
  • Không có tác dụng bảo mật. File này công khai và crawler lịch sự tự nguyện tuân theo. Mọi thứ riêng tư cần đăng nhập.

Lỗi robots.txt thường gặp mà công cụ kiểm tra bắt được

LỗiHậu quảCách sửa
Disallow: / còn sót từ stagingCả website bị chặnBỏ dòng đó
Nhóm có tên nhưng không có quy tắc chungQuy tắc * bị bỏ cho bot đóChép quy tắc chung vào
CSS, JavaScript, ảnh bị chặnTrang không kết xuất đượcCho phép các file
Wildcard quá rộng/*? chặn bộ lọc, trangThu hẹp mẫu
Quy tắc đứng trước User-agent, lỗi chính tảDòng bị bỏ quaSửa cú pháp
Disallow để gỡ indexnoindex không bao giờ được đọcCho phép, rồi noindex
www và non-www khác nhauQuy tắc khác nhau theo hostPhục vụ một file duy nhất

Chặn một URL mà bạn cũng liệt kê trong XML Sitemap là gửi tín hiệu mâu thuẫn. Hướng dẫn kiểm tra sitemap XML nói về khía cạnh đó.

Lỗi server và kích thước file

File được phục vụ thế nào quan trọng không kém nội dung của nó. Google có tài liệu cho từng trường hợp:

Trường hợpGoogle làm gìTrong bao lâu
4xx, không phải 429Crawl như thể không có fileCho tới khi sửa xong
5xx hoặc 429Ngừng crawl website12 giờ đầu
Vẫn lỗiDùng bản tốt gần nhấtTối đa 30 ngày
File trên 500 KiBBỏ qua phần còn lạiSau 500 KiB
Bất kỳ thay đổi nàoDùng bản đã cacheTối đa 24 giờ

Yêu cầu crawl lại trong báo cáo robots.txt dành cho các lần sửa gấp. Một robots.txt bị timeout đúng lúc có thể làm việc crawl cả website tạm dừng; hướng dẫn crawl budget giải thích vì sao điều đó quan trọng nhất với website lớn.

Những gì chúng tôi tìm thấy trong robots.txt của chính mình

Lượt rà soát SEO neova.app của chúng tôi, ngày 20 tháng 11 năm 2026, tìm thấy hai quy tắc chặn nhiều hơn chúng tôi định:

Nội dung bị chặnTrang bị ảnh hưởngGoogle thấy gìCách sửa
Script email của Cloudflare dưới /cdn-cgi/1.320Một script Google không tải đượcCho phép script đó
/favicon và /apple-touch-icon.pngMọi kết quảMột chữ cái đơn giản, không có logoCho phép cả hai file

Các file favicon nằm sau một quy tắc Disallow: /. Hướng dẫn về favicon của Google yêu cầu file phải crawl được bởi Googlebot-Image, nên kết quả tìm kiếm hiển thị một chữ cái thay vì logo của chúng tôi cạnh neova.app. Không quy tắc nào trông sai trong file. Cả hai chỉ lộ ra khi các quy tắc được kiểm tra với mọi URL và file mà các trang tải.

Cách kiểm tra robots.txt an toàn

  1. Crawl website để có danh sách đầy đủ các URL thật, không chỉ vài URL bạn nhớ.
  2. Kiểm tra file đang hoạt động với danh sách đó cho từng crawler bạn quan tâm: Googlebot, Googlebot-Image, Bingbot và các AI crawler.
  3. Viết thay đổi dưới dạng bản nháp và kiểm tra bản nháp với cùng danh sách. Xem các URL mới bị chặn và mới được cho phép.
  4. Kiểm tra tài nguyên. Đảm bảo không trang có thể index nào bị mất script, style sheet hay ảnh.
  5. Triển khai, rồi xác nhận trong báo cáo robots.txt của Search Console rằng Google đã tải phiên bản mới không lỗi.
  6. Crawl lại và so sánh, để bắt được những thay đổi vô tình về sau.

Nếu bạn đang quyết định AI crawler được tải gì, hướng dẫn AI crawler liệt kê tên và việc mỗi crawler làm. Các trang bị chặn cũng xuất hiện trong hướng dẫn kiểm tra khả năng index.

Kiểm tra robots.txt với Neova

Công cụ kiểm tra robots.txt của Neova giải thích từng dòng của file đang hoạt động, hoặc của một bản nháp, bằng lời dễ hiểu, theo tài liệu của Google và định nghĩa của RFC 9309, cùng các URL đã crawl mà mỗi quy tắc khớp. Màn hình Mọi crawler cho thấy Googlebot, Bingbot và các AI crawler được tải gì, cùng các URL mỗi crawler bị chặn. Nó báo khi nhóm riêng của một crawler bỏ mất các quy tắc của nhóm *, và bài test bản nháp liệt kê mọi URL trong lần crawl sẽ bắt đầu bị chặn hoặc bắt đầu được cho phép nếu áp dụng thay đổi. Sau đó bạn có thể crawl theo bản nháp để thấy toàn bộ tác động. Các mục kiểm tra phía sau:

Neova giữ mọi phiên bản robots.txt mà các lần crawl đã đọc, để bạn thấy quy tắc thay đổi khi nào. Với thiết lập User agent, bạn có thể crawl giả lập Googlebot, Bingbot, một AI crawler hoặc một chuỗi tùy chỉnh. Xem Tính năng hoặc tải Neova.

Câu hỏi

Google còn công cụ kiểm tra robots.txt không?

Không. Google đã ngừng công cụ kiểm tra robots.txt trong Search Console năm 2023 và thay bằng báo cáo robots.txt, cho thấy Google đã đọc file đang hoạt động của bạn thế nào và các lỗi. Để kiểm tra một thay đổi trước khi đưa lên, hãy dùng một công cụ kiểm tra robots.txt riêng.

Làm sao kiểm tra một URL có bị robots.txt chặn không?

Tìm nhóm khớp với user agent của crawler, rồi tìm đường dẫn Allow hoặc Disallow dài nhất khớp với URL. Quy tắc đó quyết định. Công cụ kiểm tra robots.txt làm việc này cho bạn và nêu tên dòng, cho một URL hoặc cho mọi URL của một lần crawl. FAQ robots.txt của SEO ProCheck trả lời các trường hợp đặc biệt.

robots.txt có ngăn một trang được index không?

Không. Nó ngăn việc crawl. Một URL bị disallow vẫn có thể được index nếu các trang khác link tới nó. Hãy dùng noindex trên một trang Google crawl được nếu bạn muốn nó biến khỏi kết quả tìm kiếm.

Vì sao Googlebot bỏ qua các quy tắc User-agent: * của tôi?

Vì file có một nhóm dành riêng cho Googlebot. Một crawler chỉ tuân theo nhóm cụ thể nhất khớp với nó, nên hãy chép các quy tắc chung vào cả nhóm Googlebot.

Một thay đổi robots.txt mất bao lâu để có hiệu lực?

Google thường cache robots.txt tối đa 24 giờ. Sau một lần sửa gấp, bạn có thể yêu cầu crawl lại trong báo cáo robots.txt của Search Console.

Lưu lại hoặc chia sẻ

Các link tới trợ lý AI sẽ mở sẵn một câu hỏi về trang này.

Crawl website của bạn với NeovaGói Free chạy mọi mục kiểm tra trên Mac, Windows và Linux. Không cần thẻ tín dụng.

Đọc tiếp