Kiểm tra noindex: cách tìm trang noindex trước khi chúng làm bạn mất traffic
Một dòng HTML giữ một trang ngoài Google. Đó đúng là điều bạn muốn trên trang cảm ơn, và đúng là điều bạn không muốn trên trang sản phẩm mà lập trình viên quên bật lại sau khi ra mắt. Công cụ kiểm tra noindex cho bạn biết trang nào mang noindex, nó được đặt ở đâu và Google có nhìn thấy nó hay không.
Công cụ kiểm tra noindex làm gì
Công cụ kiểm tra noindex tải một URL và đọc hai chỗ: thẻ meta robots trong HTML và X-Robots-Tag trong header phản hồi HTTP. Nó báo cái nào ghi noindex hoặc none, và cho crawler nào.
Kiểm tra một URL trả lời một câu hỏi nhanh. Kiểm tra mọi URL của một lần crawl trả lời những câu hỏi hữu ích: trang có thể index nào mà bạn muốn xếp hạng lại mang noindex, trang noindex nào vẫn nằm trong XML Sitemap, và trang nào Google không đọc được vì robots.txt chặn.
Hai cách đặt noindex
Trang chặn index bằng noindex của Google nói cả hai cách có cùng tác dụng. Hãy chọn cách hợp với loại file.
| Phương pháp | Nằm ở đâu | Dùng cho | Thấy ở |
|---|---|---|---|
| Thẻ meta robots | HTML head | Trang HTML | Mã nguồn trang |
| Header X-Robots-Tag | Phản hồi HTTP | Mọi loại file, PDF, ảnh | Header phản hồi |
| Dòng noindex trong robots.txt | robots.txt | – không được hỗ trợ | Google bỏ qua |
<!-- in the <head> -->
<meta name="robots" content="noindex">
# as an HTTP response header
X-Robots-Tag: noindex
Thay robots bằng tên một crawler, như googlebot, để áp quy tắc cho riêng crawler đó. Tài liệu tham khảo meta robots và X-Robots-Tag của SEO ProCheck liệt kê mọi giá trị.
Các chỉ thị robots trong nháy mắt
Các giá trị Google ghi trong đặc tả thẻ meta robots, và tác dụng của từng giá trị:
| Chỉ thị | Hậu quả | Cách dùng phổ biến |
|---|---|---|
noindex | Không hiển thị trong kết quả | Trang cảm ơn, tìm kiếm nội bộ |
nofollow | Link trên trang không được theo | Trang do người dùng chưa tin cậy tạo |
không có | noindex cộng nofollow | Hiếm khi là lựa chọn đúng |
nosnippet | Không có snippet văn bản | Văn bản có paywall hoặc pháp lý |
max-snippet:[n] | Snippet tối đa n ký tự | Snippet ngắn hơn |
unavailable_after:[date] | Bị loại sau ngày đó | Sự kiện, ưu đãi |
index, follow | Mặc định, không có tác dụng | Có thể bỏ đi |
Khi hai chỉ thị mâu thuẫn, Google áp dụng chỉ thị chặt hơn. Một trang có index trong HTML và noindex trong header rốt cuộc sẽ không được index.
Lỗi noindex làm ẩn nhầm trang
| Lỗi | Hậu quả | Cách sửa |
|---|---|---|
| Noindex của staging còn sót khi ra mắt | Cả website biến mất | Bỏ nó, crawl lại |
| Noindex cộng Disallow trong robots.txt | Noindex không bao giờ được đọc | Cho phép crawl |
| Noindex bị JavaScript gỡ bỏ | Google có thể bỏ qua bước kết xuất | Phục vụ thẻ cuối cùng |
| URL noindex trong XML Sitemap | Tín hiệu lẫn lộn | Bỏ khỏi sitemap |
| Canonical cộng noindex | Tín hiệu mâu thuẫn | Chọn một |
| Meta robots nằm ngoài head | Thẻ có thể bị bỏ qua | Chuyển vào head |
| Header và HTML không khớp | Cái chặt hơn thắng | Giữ một nguồn duy nhất |
| Hreflang trỏ tới noindex | Bộ ngôn ngữ bị hỏng | Trỏ tới URL có thể index |
Dòng thứ hai là bất ngờ thường gặp nhất. Google nói rằng nếu robots.txt chặn một trang, crawler sẽ không bao giờ thấy quy tắc noindex, và URL vẫn có thể xuất hiện trong kết quả chỉ nhờ link. Dòng thứ ba đến từ kiến thức cơ bản về JavaScript SEO của Google: khi Google thấy noindex trong HTML gốc, nó có thể bỏ qua bước kết xuất, nên một script gỡ noindex sau đó có thể không bao giờ chạy. Hướng dẫn kiểm tra robots.txt bao quát phía crawl.
Noindex mất bao lâu, và các cách nhanh hơn
Google loại một trang khi nó crawl trang đó và đọc được noindex. Việc này tùy vào lúc nó quay lại, và Google nói có thể mất vài tháng với một số trang. Hãy chọn công cụ theo mục tiêu:
| Mục tiêu | Dùng | Nhanh cỡ nào |
|---|---|---|
| Khỏi kết quả ngay | Công cụ Xóa URL, rồi noindex | Nhanh nhất |
| Khỏi kết quả vĩnh viễn | noindex, 404 hoặc 410 | Lần crawl tiếp theo |
| Đã crawl nhưng không index | noindex | Lần crawl tiếp theo |
| Không crawl chút nào | Disallow trong robots.txt | Lần tải robots.txt tiếp theo |
| Quay lại kết quả | Bỏ noindex, yêu cầu lập chỉ mục | Vài ngày tới vài tuần |
Công cụ Xóa URL chỉ ẩn URL trong khoảng sáu tháng, nên trang vẫn cần noindex, 404 hoặc 410 phía sau. Hãy dùng Yêu cầu lập chỉ mục trong Kiểm tra URL cho một vài trang quan trọng sau khi sửa.
Cách kiểm tra noindex thủ công
Với một URL, hãy kiểm tra cả hai chỗ. Header trước, rồi tới HTML:
curl -sI https://example.com/page | grep -i x-robots-tag
curl -s https://example.com/page | grep -io '<meta[^>]*robots[^>]*>'
Sau đó kiểm tra Google đã thấy gì. Trong Search Console, Kiểm tra URL cho thấy HTML Googlebot nhận được, và báo cáo Lập chỉ mục trang liệt kê mọi trang bị loại với lý do Bị loại trừ bởi thẻ 'noindex'. Hãy xem danh sách đó sau mỗi lần phát hành: một trang bạn muốn có trên kết quả tìm kiếm không bao giờ nên nằm ở đó.
Kiểm tra thủ công có hai cái bẫy. Một website có thể trả lời user agent của crawler khác với trình duyệt, và một thẻ do JavaScript thêm vào chỉ xuất hiện trong HTML đã kết xuất, không có trong curl. Một crawler tải cả HTML gốc lẫn HTML đã kết xuất sẽ thấy cả hai.
Kiểm tra noindex trên toàn website
- Crawl website từ trang chủ, bật kết xuất JavaScript nếu website phụ thuộc vào nó.
- Liệt kê mọi trang không index được theo lý do: noindex, canonical sang URL khác, mã trạng thái lỗi hoặc bị chặn.
- Sắp xếp trang noindex theo template. Một template có noindex có thể ẩn hàng trăm trang cùng lúc.
- So sánh với XML Sitemap. Mọi URL được liệt kê đều nên index được. Trong lần crawl seoprocheck.com của chúng tôi ngày 17 tháng 10 năm 2026, sitemap liệt kê 1.835 URL trong khi 4.561 trang HTML trả về 200, đó là lý do cần đối chiếu hai danh sách với nhau.
- Ghép lượt nhấp từ Search Console. Một trang noindex vẫn có lượt nhấp tức là nó mới xếp hạng cho tới gần đây, thường là dấu hiệu của một sai sót.
- Crawl lại sau mỗi lần phát hành và so sánh, để noindex mới xuất hiện ngay ngày nó được đưa lên.
Hướng dẫn kiểm tra khả năng index bao quát các lý do khác khiến một trang không thể index, và hướng dẫn kiểm tra XML sitemap bao quát phía sitemap.
Tìm trang noindex với Neova
Neova đánh dấu mọi URL là Index được hoặc Không index được và nói lý do: trạng thái 200, không có noindex, canonical trỏ về chính nó hoặc không có. Bộ cột Chỉ thị trong Tất cả URL hiển thị chỉ thị robots của mọi URL, với bộ lọc Noindex và Nofollow. Di chuyển và staging so sánh một lần crawl staging với production, gồm cả noindex, để noindex của staging không lọt tới lúc ra mắt mà không ai hay.

Các mục kiểm tra đứng sau gồm:
- Có chỉ thị noindex và Có chỉ thị noindex và nofollow
- Noindex khác nhau giữa HTML và HTTP header và Noindex được khai báo nhiều hơn một lần
- Chỉ thị noindex bị JavaScript gỡ bỏ
- Thẻ meta robots nằm ngoài head
- URL noindex nằm trong XML Sitemap
- URL đã canonical sang URL khác bị noindex và Canonical trỏ tới URL noindex
- Redirect nội bộ kết thúc ở URL noindex và Hreflang trỏ tới URL noindex
- URL chỉ được link từ các trang HTML noindex
- URL noindex nhận được click trong Search Console, khi đã kết nối Search Console
- Ngày unavailable_after đã qua hoặc không hợp lệ
Gói Free crawl 1.000 URL mỗi lần crawl với mọi mục kiểm tra, trên Mac, Windows và Linux. Tải Neova hoặc xem Tính năng.
Câu hỏi
Làm sao kiểm tra một trang có noindex không?
Tìm thẻ meta robots có noindex trong mã nguồn trang và header X-Robots-Tag trong phản hồi HTTP. Kiểm tra URL trong Search Console cho thấy Googlebot đã thấy gì. Với cả website, hãy crawl và lọc các trang không index được theo lý do.
Noindex có tác dụng nếu trang bị chặn trong robots.txt không?
Không. Google phải crawl trang để đọc được noindex. Nếu robots.txt chặn, Google không bao giờ thấy quy tắc và URL vẫn có thể xuất hiện trong kết quả nhờ link. Hãy cho phép crawl cho tới khi trang đã biến mất khỏi kết quả.
Noindex trong robots.txt có được hỗ trợ không?
Google thì không. Google đã ngừng hỗ trợ dòng noindex trong robots.txt từ năm 2019. Hãy dùng thẻ meta robots hoặc header X-Robots-Tag.
Một trang noindex mất bao lâu để rời khỏi Google?
Cho tới khi Google crawl lại trang, có thể vài ngày với trang được ghé thường xuyên và vài tháng với trang hiếm khi được crawl. Trong trường hợp gấp, hãy dùng công cụ Xóa URL, công cụ này ẩn URL khoảng sáu tháng trong lúc noindex có hiệu lực.
Trang noindex có nên nằm trong XML sitemap không?
Không. Sitemap nên liệt kê những trang bạn muốn được index. Một URL noindex trong đó gửi tín hiệu lẫn lộn.