Crawlers de IA: qué hacen GPTBot, ClaudeBot y PerplexityBot, y cómo controlarlos
Los crawlers de IA descargan tus páginas para entrenar modelos de lenguaje, para crear índices de búsqueda con IA o para responder en el momento a la pregunta de una persona. Cada tipo tiene su propio nombre en robots.txt, así que puedes permitir unos y bloquear otros. Aquí tienes quiénes son, qué hace cada uno y cómo comprobar lo que reciben de verdad.
¿Qué son los crawlers de IA?
Los crawlers de IA, también llamados crawlers de LLM, son bots de empresas de IA. No son todos iguales, y tratarlos como un solo grupo lleva a malas reglas de robots.txt. Hay tres tipos:
- Crawlers de entrenamiento: recogen páginas que pueden usarse para entrenar modelos futuros. GPTBot y ClaudeBot son los más conocidos.
- Crawlers de búsqueda: crean el índice en el que busca un asistente de IA cuando responde con fuentes y enlaces. OAI-SearchBot, Claude-SearchBot y PerplexityBot están en este grupo.
- Fetchers activados por el usuario: cargan una página porque una persona preguntó al asistente por ella, por ejemplo pegando una URL. ChatGPT-User, Claude-User y Perplexity-User funcionan así.
Bloquear un crawler de entrenamiento deja tus páginas fuera de futuros conjuntos de entrenamiento. Bloquear un crawler de búsqueda puede dejarte fuera de las respuestas de IA con citas, que a menudo es lo contrario de lo que quiere un negocio.
Los principales crawlers de IA y sus tokens de robots.txt
Cada proveedor documenta sus propios bots. Estos son los nombres que hay que usar en robots.txt, con enlace a la página del propio proveedor:
| Token | Empresa | Tipo | Bot propio |
|---|---|---|---|
| GPTBot | OpenAI | Entrenamiento | ✓ |
| OAI-SearchBot | OpenAI | Búsqueda con IA | ✓ |
| ChatGPT-User | OpenAI | Petición del usuario | ✓ |
| ClaudeBot | Anthropic | Entrenamiento | ✓ |
| Claude-SearchBot | Anthropic | Búsqueda con IA | ✓ |
| Claude-User | Anthropic | Petición del usuario | ✓ |
| PerplexityBot | Perplexity | Búsqueda con IA | ✓ |
| Perplexity-User | Perplexity | Petición del usuario | ✓ |
| Google-Extended | Uso del contenido en Gemini | – | |
| Applebot-Extended | Apple | Entrenamiento de modelos de Apple | – |
| CCBot | Common Crawl | Archivo abierto de la web | ✓ |
Google-Extended y Applebot-Extended son tokens, no bots aparte: controlan cómo puede usarse el contenido que Googlebot o Applebot ya rastrean. Google dice que Google-Extended no afecta a la inclusión en la Búsqueda de Google ni al posicionamiento. Para limitar cómo aparece tu contenido en las propias funciones de IA de la Búsqueda de Google, Google remite a controles de snippets como nosnippet. Para una lista más larga con cada bot y su finalidad, consulta el mapa de crawlers de IA de SEO ProCheck.
¿Deberías bloquear los crawlers de LLM?
No hay una única respuesta correcta. Depende de para qué sirve tu contenido. En términos de robots.txt, tres políticas cubren la mayoría de los sitios:
| Política | Entrenamiento | Búsqueda con IA | Petición del usuario |
|---|---|---|---|
| Abierto a todos | ✓ | ✓ | ✓ |
| Citado, sin entrenamiento | – | ✓ | ✓ |
| Cerrado a la IA | – | – | ◐ |
- Permite los crawlers de búsqueda si quieres que te citen y enlacen en la búsqueda de ChatGPT, en Claude y en Perplexity. Para la mayoría de los negocios, es visibilidad que interesa.
- Plantéate bloquear los crawlers de entrenamiento si tu contenido es tu producto: noticias, investigación, cursos, datos de pago. Bloquear detiene la recogida futura; no elimina lo que ya se recogió.
- Piénsalo dos veces antes de bloquear los fetchers activados por el usuario. Actúan en nombre de una persona que preguntó por tu página, y algunos proveedores dicen que puede que no sigan robots.txt como lo hacen los crawlers; de ahí el "en parte" de arriba.
Pon la decisión por escrito: qué bots están permitidos, cuáles bloqueados y por qué. Luego haz que robots.txt coincida. Una política escrita es lo que impide que un futuro desarrollador lo bloquee todo durante un rediseño.
robots.txt para bots de IA: ejemplos
Esta es una configuración habitual: permitir la búsqueda con IA y bloquear el entrenamiento.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/
Varias líneas User-agent pueden compartir un mismo grupo de reglas. Vigila de cerca una trampa. Según el estándar de robots.txt, la RFC 9309, un crawler solo sigue el grupo más específico que lo nombra. Si añades un grupo para GPTBot, GPTBot ignora por completo el grupo *, incluido tu Disallow: /search/. Por eso el grupo de búsqueda de arriba repite las dos reglas compartidas. Todo lo que un grupo con nombre no prohíbe está permitido.
Para bloquear al entrenamiento una sola carpeta en lugar de todo el sitio:
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /research/
Disallow: /search/
Para los fetchers activados por el usuario, lee la página de cada proveedor antes de confiar en robots.txt.
Prueba cada regla con URL reales antes de publicarla. El 20 de noviembre de 2026 encontramos en neova.app dos reglas que bloqueaban más de lo previsto:
| Regla afectada | Efecto | Alcance |
|---|---|---|
| /cdn-cgi/ bloqueado | Script de email de Cloudflare bloqueado | 1.320 páginas |
| Disallow: / sobre los favicons | Una letra en lugar del logotipo en Google | Todos los resultados de búsqueda |
Las dos se arreglaron permitiendo esas rutas. Un Disallow escrito para un bot o una carpeta alcanza a todos los archivos que hay debajo, scripts e iconos incluidos.
Más allá de robots.txt: firewalls, CDN y verificación
robots.txt es una petición, no un candado. Las empresas de IA de arriba documentan cómo lo tratan sus crawlers, pero otros bots pueden ignorarlo.
- Revisa también el firewall. Algunas CDN y WAF tienen ajustes que bloquean los crawlers de IA, a veces por defecto. Un sitio puede permitir GPTBot en robots.txt y aun así responderle con un 403. Prueba lo que recibe de verdad cada crawler.
- Verifica antes de fiarte. OpenAI y Perplexity publican listas de IP de sus bots, y Google y Microsoft de los suyos. Una petición que dice ser un bot desde una dirección que no está en la lista de su empresa no es ese bot.
- Bloquea a los malos actores en el borde. Para los scrapers que ignoran robots.txt, las reglas en tu CDN o en tu servidor son lo único que funciona.
Con qué frecuencia sale mal en la práctica: SEO ProCheck probó lo que reciben de verdad los crawlers de IA en 400 sitios en Can AI Crawlers Actually Read Your Site? 400 Sites Measured.
Haz que tus páginas sean legibles para los crawlers de IA
Permitir un crawler es la mitad del SEO para crawlers de IA. La otra mitad es asegurarte de que puede leer lo que descarga.
- Pon el contenido principal en el HTML. No todos los crawlers ejecutan JavaScript. Si tu texto solo aparece después de ejecutar scripts, da por hecho que algunos crawlers de IA nunca lo ven.
- Ve al grano pronto. Los menús largos y el texto repetido antes del contenido principal empujan la respuesta hacia abajo en la página.
- No escondas datos clave en imágenes, PDF o widgets. Los precios, las especificaciones y los datos de contacto deben ir en texto HTML normal.
- Devuelve códigos de estado reales. Una página rota o redirigida que citan las respuestas de IA envía a sus lectores a un error.
- Mantén el HTML ligero. Googlebot lee los primeros 2 MB de un archivo HTML; Neova señala las páginas que lo superan en El HTML supera los 2 MB o las Core Web Vitals no están en el rango bueno.
- llms.txt es opcional. Es un formato propuesto, no un estándar web. Si publicas uno, mantenlo válido y al día.
Cómo comprobar lo que ven los crawlers de IA
Neova muestra lo que cada crawler de IA tiene permitido y lo que se le sirve de verdad, en la app de escritorio y en Neova Online:
- Lo que se sirve a cada asistente de IA pide una muestra de páginas como 10 agentes de IA, entre ellos ChatGPT, Claude y Perplexity y sus crawlers, Meta AI, Google-Extended y Common Crawl, y muestra quién obtiene acceso completo y qué permite robots.txt.
- Rastrea como un crawler de IA. Haz un rastreo completo como GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot u otro user agent de IA.
- El probador de robots.txt muestra lo que pueden descargar Googlebot, Bingbot y los crawlers de IA, con las URL que cada uno tiene bloqueadas, y avisa cuando el grupo propio de un crawler descarta las reglas del grupo
*. - La pantalla de renderizado muestra cuántas páginas necesitan JavaScript y lo que se sirve a cada crawler de IA.
- Log del servidor, en la app de escritorio, muestra las visitas verificadas de crawlers de IA y los rechazos por URL.
- Citas de IA de Bing Webmaster Tools y de AI Visibility de Microsoft Clarity, cuando los conectas. Consulta Microsoft Clarity.
Comprobaciones para empezar: se bloquea una petición con el user agent de un crawler de búsqueda con IA, una regla de robots.txt para crawlers de IA difiere de la política escrita, se bloquea un fetcher de IA activado por el usuario, una página clave restringe los snippets o bloquea los crawlers de búsqueda con IA y bots de IA que piden URL que responden con un error. El plan Free incluye las vistas de búsqueda con IA; consulta los precios o descarga Neova.
Checklist SEO para crawlers de IA
| Elemento | Listo cuando |
|---|---|
| Política escrita | Cada bot de IA: permitir o bloquear |
| robots.txt | Coincide con la política |
| Grupos con nombre | Reglas compartidas repetidas |
| Crawlers de búsqueda con IA | Permitidos en las páginas que quieres que citen |
| Firewall y CDN | Igual que la política |
| Lo que recibe cada crawler | 200 y la página completa |
| Contenido principal | En el HTML, pronto |
| Datos clave | En texto, no en imágenes |
| Logs | Visitas verificadas, falsas contadas aparte |
| Páginas citadas | Responden 200 |
Preguntas
¿Qué es GPTBot?
GPTBot es el crawler de OpenAI que recoge contenido que puede usarse para entrenar sus modelos. Es distinto de OAI-SearchBot, que encuentra páginas para la búsqueda de ChatGPT. Consulta la página de crawlers de OpenAI.
¿Bloquear GPTBot elimina mi sitio de la búsqueda de ChatGPT?
No. OpenAI usa bots distintos, y cada uno lee sus propias reglas de robots.txt. La búsqueda de ChatGPT depende de OAI-SearchBot, así que puedes bloquear GPTBot y seguir permitiendo OAI-SearchBot.
¿Afecta Google-Extended a mi posicionamiento en Google?
Google dice que no afecta a la inclusión en la Búsqueda de Google y que no es una señal de posicionamiento. Controla si tu contenido puede usarse para los modelos Gemini.
¿Cómo bloqueo los crawlers de LLM?
Añade a robots.txt un grupo que nombre a cada crawler, como GPTBot, ClaudeBot y CCBot, con Disallow: /. Para los bots que ignoran robots.txt, añade una regla en tu firewall o CDN.
¿Cómo sé si los crawlers de IA visitan mi sitio?
Lee los logs de tu servidor o CDN y verifica cada petición contra la lista de IP que publica su empresa. La herramienta Log del servidor de Neova lo hace por URL. Consulta Importar en lugar de conectar para ver los formatos de log.