AI crawler: GPTBot, ClaudeBot và PerplexityBot làm gì, và cách kiểm soát chúng
AI crawler tải các trang của bạn để huấn luyện mô hình ngôn ngữ, xây chỉ mục tìm kiếm AI, hoặc trả lời câu hỏi của một người ngay lập tức. Mỗi loại có tên riêng trong robots.txt, nên bạn có thể cho phép loại này và chặn loại khác. Đây là danh sách chúng là ai, mỗi bot làm gì, và cách kiểm tra chúng thực sự nhận được gì.
AI crawler là gì?
AI crawler, còn gọi là LLM crawler, là bot do các công ty AI vận hành. Chúng không giống nhau, và gộp chung thành một nhóm sẽ dẫn tới quy tắc robots.txt tệ. Có ba loại:
- Crawler huấn luyện thu thập các trang có thể được dùng để huấn luyện mô hình tương lai. GPTBot và ClaudeBot là nổi tiếng nhất.
- Crawler tìm kiếm xây chỉ mục mà trợ lý AI tìm khi trả lời kèm nguồn và link. OAI-SearchBot, Claude-SearchBot và PerplexityBot thuộc nhóm này.
- Fetcher do người dùng kích hoạt tải một trang vì có người hỏi trợ lý về trang đó, ví dụ bằng cách dán URL. ChatGPT-User, Claude-User và Perplexity-User hoạt động theo cách này.
Chặn crawler huấn luyện giữ các trang của bạn ngoài bộ dữ liệu huấn luyện tương lai. Chặn crawler tìm kiếm có thể khiến bạn vắng mặt trong câu trả lời AI có trích dẫn, thường là ngược với điều doanh nghiệp muốn.
Các AI crawler chính và token robots.txt của chúng
Mỗi nhà cung cấp có tài liệu riêng về bot của mình. Đây là các tên dùng trong robots.txt, kèm link tới trang của chính nhà cung cấp:
| Token | Công ty | Loại | Bot riêng |
|---|---|---|---|
| GPTBot | OpenAI | Huấn luyện | ✓ |
| OAI-SearchBot | OpenAI | Tìm kiếm AI | ✓ |
| ChatGPT-User | OpenAI | Yêu cầu của người dùng | ✓ |
| ClaudeBot | Anthropic | Huấn luyện | ✓ |
| Claude-SearchBot | Anthropic | Tìm kiếm AI | ✓ |
| Claude-User | Anthropic | Yêu cầu của người dùng | ✓ |
| PerplexityBot | Perplexity | Tìm kiếm AI | ✓ |
| Perplexity-User | Perplexity | Yêu cầu của người dùng | ✓ |
| Google-Extended | Gemini dùng nội dung | – | |
| Applebot-Extended | Apple | Apple huấn luyện mô hình | – |
| CCBot | Common Crawl | Kho lưu trữ web mở | ✓ |
Google-Extended và Applebot-Extended là token, không phải bot riêng: chúng kiểm soát cách nội dung mà Googlebot hoặc Applebot đã crawl được phép sử dụng. Google cho biết Google-Extended không ảnh hưởng tới việc có mặt trong Google Search hay thứ hạng. Để giới hạn cách nội dung xuất hiện trong tính năng AI trong Search của chính Google, Google chỉ tới các kiểm soát snippet như nosnippet. Để xem danh sách dài hơn với mọi bot và mục đích, xem bản đồ AI crawler trên SEO ProCheck.
Có nên chặn LLM crawler không?
Không có một câu trả lời đúng duy nhất. Nó tùy vào mục đích nội dung của bạn. Xét theo robots.txt, ba chính sách bao phủ hầu hết website:
| Chính sách | Huấn luyện | Tìm kiếm AI | Yêu cầu của người dùng |
|---|---|---|---|
| Mở cho tất cả | ✓ | ✓ | ✓ |
| Được trích dẫn, không bị dùng để huấn luyện | – | ✓ | ✓ |
| Đóng với AI | – | – | ◐ |
- Cho phép crawler tìm kiếm nếu bạn muốn được trích dẫn và gắn link trong ChatGPT search, Claude và Perplexity. Với hầu hết doanh nghiệp, đây là khả năng hiển thị bạn muốn có.
- Cân nhắc chặn crawler huấn luyện nếu nội dung chính là sản phẩm của bạn: tin tức, nghiên cứu, khóa học, dữ liệu trả phí. Chặn sẽ ngừng việc thu thập trong tương lai; nó không xóa những gì đã thu thập.
- Cân nhắc kỹ trước khi chặn fetcher do người dùng kích hoạt. Chúng hành động thay cho một người đã hỏi về trang của bạn, và một số nhà cung cấp cho biết chúng có thể không tuân theo robots.txt như crawler, nên ở trên ghi là một phần.
Hãy viết quyết định ra: bot nào được phép, bot nào bị chặn, và vì sao. Rồi làm cho robots.txt khớp với nó. Một chính sách bằng văn bản là thứ ngăn một lập trình viên sau này chặn mọi thứ trong lúc thiết kế lại website.
robots.txt cho bot AI: ví dụ
Đây là một thiết lập phổ biến: cho phép tìm kiếm AI, chặn huấn luyện.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
Nhiều dòng User-agent có thể dùng chung một nhóm quy tắc. Hãy để ý kỹ một cái bẫy. Theo tiêu chuẩn robots.txt, RFC 9309, một crawler chỉ tuân theo nhóm cụ thể nhất có tên nó. Nếu bạn thêm một nhóm cho GPTBot, GPTBot bỏ qua hoàn toàn nhóm *, kể cả Disallow: /search/ của bạn. Đó là lý do nhóm tìm kiếm ở trên lặp lại hai quy tắc chung. Mọi thứ mà một nhóm có tên không disallow đều được phép.
Để chặn một thư mục khỏi việc huấn luyện thay vì cả website:
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
Với fetcher do người dùng kích hoạt, hãy đọc trang của từng nhà cung cấp trước khi trông cậy vào robots.txt.
Hãy thử mọi quy tắc với URL thật trước khi đưa lên. Ngày 20 tháng 11 năm 2026, chúng tôi tìm thấy hai quy tắc trên neova.app chặn nhiều hơn dự định:
| Quy tắc bị dính | Hậu quả | Phạm vi ảnh hưởng |
|---|---|---|
| /cdn-cgi/ bị chặn | Script email của Cloudflare bị chặn | 1.320 trang |
| Disallow: / chặn cả favicon | Google hiện một chữ cái thay cho logo | Mọi kết quả tìm kiếm |
Cả hai được sửa bằng cách cho phép các đường dẫn đó. Một Disallow viết cho một bot hay một thư mục sẽ ảnh hưởng tới mọi file bên dưới, kể cả script và icon.
Ngoài robots.txt: firewall, CDN và xác minh
robots.txt là một lời đề nghị, không phải ổ khóa. Các công ty AI ở trên có tài liệu về cách crawler của họ tuân theo nó, nhưng các bot khác có thể phớt lờ.
- Kiểm tra cả firewall. Một số CDN và WAF có thiết lập chặn AI crawler, đôi khi là mặc định. Một website có thể cho phép GPTBot trong robots.txt mà vẫn trả về 403 cho nó. Hãy thử xem mỗi crawler thực sự nhận được gì.
- Xác minh trước khi tin. OpenAI và Perplexity công bố danh sách IP cho bot của họ, Google và Microsoft cũng vậy. Một request mang tên một bot nhưng đến từ địa chỉ ngoài danh sách của công ty đó thì không phải bot đó.
- Chặn kẻ xấu ở biên mạng. Với scraper phớt lờ robots.txt, quy tắc trong CDN hoặc server là cách duy nhất có tác dụng.
Chuyện này sai thường xuyên đến mức nào trong thực tế: SEO ProCheck đã thử AI crawler thực sự nhận được gì trên 400 website trong Can AI Crawlers Actually Read Your Site? 400 Sites Measured.
Làm cho trang của bạn dễ đọc với AI crawler
Cho phép crawler chỉ là một nửa của SEO cho AI crawler. Nửa còn lại là bảo đảm nó đọc được những gì nó tải về.
- Đặt nội dung chính trong HTML. Không phải crawler nào cũng chạy JavaScript. Nếu văn bản chỉ xuất hiện sau khi script chạy, hãy giả định một số AI crawler không bao giờ thấy nó.
- Vào thẳng vấn đề sớm. Menu dài và phần lặp lại trước nội dung chính đẩy câu trả lời xuống sâu hơn trong trang.
- Đừng giấu thông tin quan trọng trong ảnh, PDF hay widget. Giá, thông số và thông tin liên hệ nên nằm trong văn bản HTML thuần.
- Trả về mã trạng thái thật. Một trang hỏng hoặc bị redirect mà câu trả lời AI trích dẫn sẽ đưa người đọc tới trang lỗi.
- Giữ HTML nhẹ. Googlebot đọc 2 MB đầu của một file HTML; Neova đánh dấu các trang vượt mức đó trong HTML vượt 2 MB hoặc Core Web Vitals không đạt mức tốt.
- llms.txt là tùy chọn. Đây là một định dạng được đề xuất, không phải tiêu chuẩn web. Nếu bạn có file này, hãy giữ nó hợp lệ và cập nhật.
Cách kiểm tra AI crawler thấy gì
Neova cho thấy mỗi AI crawler được phép làm gì và thực sự được trả về gì, trong app desktop và trong Neova Online:
- Những gì mỗi trợ lý AI nhận được yêu cầu các trang mẫu dưới danh nghĩa 10 tác tử AI, gồm ChatGPT, Claude và Perplexity cùng crawler của chúng, Meta AI, Google-Extended và Common Crawl, và cho thấy ai được truy cập đầy đủ và robots.txt cho phép gì.
- Crawl dưới tên một bot AI. Chạy cả một lần crawl dưới danh nghĩa GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot hoặc một user agent AI khác.
- Công cụ kiểm tra robots.txt cho thấy Googlebot, Bingbot và các AI crawler được tải gì, kèm các URL mỗi bot bị chặn, và cho biết khi nhóm riêng của một crawler làm mất các quy tắc của nhóm
*. - Màn hình Kết xuất cho thấy bao nhiêu trang cần JavaScript và mỗi AI crawler được trả về gì.
- Log server, trong app desktop, cho thấy lượt truy cập của AI crawler đã xác minh và các lần bị từ chối theo từng URL.
- Trích dẫn AI từ Bing Webmaster Tools và từ AI Visibility của Microsoft Clarity, khi bạn kết nối chúng. Xem Microsoft Clarity.
Các mục kiểm tra nên bắt đầu: request với user agent của AI search crawler bị chặn, quy tắc AI crawler trong robots.txt khác với chính sách đã viết, fetcher AI do người dùng kích hoạt bị chặn, trang quan trọng giới hạn snippet hoặc chặn AI search crawler và bot AI yêu cầu URL trả về lỗi. Gói Free có sẵn các màn hình Tìm kiếm AI; xem Bảng giá hoặc tải Neova.
Checklist SEO cho AI crawler
| Hạng mục | Xong khi |
|---|---|
| Chính sách bằng văn bản | Mỗi bot AI: cho phép hoặc chặn |
| robots.txt | Khớp với chính sách |
| Nhóm có tên | Quy tắc chung được lặp lại |
| AI search crawler | Được phép trên các trang muốn được trích dẫn |
| Firewall và CDN | Giống chính sách |
| Mỗi crawler nhận được gì | 200 và trang đầy đủ |
| Nội dung chính | Trong HTML, xuất hiện sớm |
| Thông tin quan trọng | Bằng văn bản, không phải ảnh |
| Log | Lượt truy cập đã xác minh, bot giả đếm riêng |
| Trang được trích dẫn | Trả về 200 |
Câu hỏi
GPTBot là gì?
GPTBot là crawler của OpenAI để thu thập nội dung có thể dùng huấn luyện mô hình của họ. Nó tách biệt với OAI-SearchBot, bot tìm trang cho ChatGPT search. Xem trang về crawler của OpenAI.
Chặn GPTBot có làm website biến mất khỏi ChatGPT search không?
Không. OpenAI dùng các bot riêng biệt, và mỗi bot đọc quy tắc robots.txt của riêng mình. ChatGPT search dựa vào OAI-SearchBot, nên bạn có thể chặn GPTBot mà vẫn cho phép OAI-SearchBot.
Google-Extended có ảnh hưởng tới thứ hạng Google không?
Google cho biết nó không ảnh hưởng tới việc có mặt trong Google Search và không phải tín hiệu xếp hạng. Nó kiểm soát việc nội dung của bạn có được dùng cho mô hình Gemini hay không.
Làm sao để chặn LLM crawler?
Thêm vào robots.txt một nhóm ghi tên từng crawler, như GPTBot, ClaudeBot và CCBot, với Disallow: /. Với bot phớt lờ robots.txt, thêm quy tắc trong firewall hoặc CDN.
Làm sao biết AI crawler có ghé website của tôi không?
Đọc log server hoặc CDN, và xác minh từng request với danh sách IP mà công ty đó công bố. Công cụ Log server của Neova làm việc này theo từng URL. Xem Nhập thay vì kết nối để biết các định dạng log.