robots.txt y crawlers de IA: GPTBot, OAI-SearchBot y ClaudeBot

Para controlar los crawlers de IA en el robots.txt, separa tres finalidades: entrenamiento (GPTBot, ClaudeBot, Google-Extended), búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) y acciones pedidas por un usuario (ChatGPT-User, Claude-User, Perplexity-User). Bloquear el entrenamiento no te saca de la búsqueda, y bloquear la búsqueda te saca de las respuestas. Además, el robots.txt es una petición cortés, no una barrera de seguridad.

Resumen rápido

• En la búsqueda con IA (mira la diferencia entre SEO, AEO y GEO), cada empresa usa más de un robot, y cada uno tiene una función: entrenar modelos, armar un índice de búsqueda o traer una página cuando alguien lo pide.
• Bloquear el robot de entrenamiento (como GPTBot) es una decisión de política de contenido. Bloquear el robot de búsqueda (como OAI-SearchBot) saca el sitio de las respuestas de búsqueda de ese producto.
• ChatGPT-User y Perplexity-User existen para acciones del usuario y, según las propias empresas, pueden ignorar el robots.txt. Claude-User, según Anthropic, lo respeta.
• Google-Extended no afecta la inclusión ni el posicionamiento en la Búsqueda de Google. Es un control de uso para los modelos Gemini.
• Confirma lo que ocurre en los logs del servidor, validando la IP contra las listas oficiales, porque cualquiera puede falsificar un user-agent.
• Ninguna configuración garantiza una cita en IA, y nadie sabe decir si permitir o bloquear el entrenamiento cambia la frecuencia de las menciones.

Cómo leer este artículo: si eres dueño de un sitio y solo quieres saber "¿qué permito?", lee el resumen, la tabla y los tres ejemplos de archivo. Si eres del equipo técnico, las secciones sobre logs, límites del protocolo y casos límite son las que más importan. Este artículo complementa el SEO técnico básico.

¿Qué son los crawlers de IA y por qué hay tantos?

Los crawlers de IA son robots que visitan páginas web con tres fines distintos: recolectar contenido que puede entrenar modelos, armar un índice de búsqueda para respuestas con fuentes y abrir una página específica cuando un usuario lo pide. Las empresas separaron los robots justamente para que el dueño del sitio pueda permitir un uso y negar otro.

En lenguaje sencillo: imagina tres tipos de visita en tu tienda. Un fotógrafo que lo registra todo para un catálogo (entrenamiento), un guía turístico que anota la dirección para recomendarla a los clientes (búsqueda) y un cliente que le pide a su asistente "ve a mirar esa vitrina y cuéntame" (acción del usuario). El robots.txt es el letrero en la puerta que dice quién puede entrar. Pero el letrero depende de la buena voluntad de quien lo lee.

OpenAI dice que las configuraciones son independientes. Según la documentación oficial de crawlers de OpenAI, un webmaster puede permitir OAI-SearchBot para aparecer en los resultados y prohibir GPTBot para indicar que el contenido no debe entrenar modelos. Anthropic y Perplexity también separan los roles, como muestra la tabla siguiente.

¿Cuáles son los user-agents oficiales y qué hace cada uno?

La tabla reúne los tokens documentados por las empresas al 4 de octubre de 2026. Los tokens son los nombres que usas en User-agent: del robots.txt, y pueden cambiar. Revisa siempre la documentación antes de publicar.

Empresa	Token	Finalidad	¿Respeta el robots.txt?	Qué hace bloquearlo
OpenAI	OAI-SearchBot	Búsqueda de ChatGPT	Sí	El sitio no aparece en las respuestas de búsqueda de ChatGPT, aunque puede aparecer como enlace de navegación
OpenAI	GPTBot	Entrenamiento de modelos	Sí	Indica que el contenido no debe entrenar modelos de OpenAI
OpenAI	ChatGPT-User	Acciones del usuario en ChatGPT y en GPTs	"Puede no aplicarse", según OpenAI	No controla la búsqueda. Para eso, usa OAI-SearchBot
Anthropic	ClaudeBot	Entrenamiento de modelos	Sí	Los materiales futuros salen de los conjuntos de entrenamiento
Anthropic	Claude-SearchBot	Calidad de los resultados de búsqueda	Sí	Impide la indexación del contenido para búsqueda
Anthropic	Claude-User	Consulta pedida por un usuario en Claude	Sí, según Anthropic	Impide la recuperación del contenido en respuestas a usuarios
Perplexity	PerplexityBot	Listar y enlazar sitios en la búsqueda de Perplexity	Sí	El sitio deja de listarse. Según Perplexity, no se usa para entrenar modelos de base
Perplexity	Perplexity-User	Acción del usuario en Perplexity	En general, no	Poco efecto, porque ignora las reglas del robots.txt
Google	Google-Extended	Entrenamiento y grounding de modelos Gemini	Sí (token de control)	No afecta la Búsqueda de Google

Fuentes: OpenAI, Anthropic, Perplexity y Google. OpenAI también lista OAI-AdsBot, que solo visita páginas enviadas como anuncios en ChatGPT y, según la empresa, no recolecta datos para entrenamiento.

¿Google-Extended afecta a los AI Overviews?

No hay indicios de eso en la documentación. Google dice que Google-Extended es un token independiente que controla el uso del contenido en el entrenamiento de futuras generaciones de modelos Gemini y en el grounding en las apps de Gemini y en Vertex AI, y que no afecta la inclusión en la Búsqueda de Google ni se usa como señal de posicionamiento. Tampoco tiene un user-agent HTTP propio: el rastreo usa las cadenas de Google que ya existen. La documentación de las funciones de IA de Google trata los AI Overviews y el AI Mode por separado, y los controles allí son nosnippet, data-nosnippet, max-snippet y noindex. Reducir los snippets también reduce la visibilidad en esas funciones.

Para quien ya trabaja en SEO: Googlebot sigue siendo el único robot que importa para la indexación y, por consiguiente, para las funciones de IA de la Búsqueda, que exigen una página indexada y elegible para snippet. Si bloqueas Googlebot por error al intentar bloquear "robots de IA", sales de toda la Búsqueda. Por eso, nunca uses User-agent: * con Disallow: / como atajo.

¿Bloquear o permitir? ¿Cuáles son los trade-offs?

La decisión depende de lo que quieras proteger y de lo que quieras conquistar. No existe una respuesta universal y, en las documentaciones consultadas, ninguna empresa afirma que permitir el entrenamiento aumente la frecuencia de las citas. Lo que se sabe es el efecto directo de cada bloqueo.

Decisión	Efecto directo documentado	Riesgo o costo
Bloquear solo el robot de entrenamiento	Señala que el contenido no debe entrenar modelos	Se desconoce el efecto sobre las menciones en respuestas
Bloquear el robot de búsqueda	Desapareces de las respuestas de búsqueda de ese producto	Pierdes la oportunidad de ser citado y de recibir visitas desde ahí
Permitir todo	Mayor alcance y uso del contenido	Tu texto puede formar parte del entrenamiento de modelos
Bloquear todo	Máximo control	Invisibilidad en IA y, para acciones del usuario, puede que el bloqueo ni se respete

Para un sitio que depende de la adquisición orgánica (blog, e-commerce, SaaS), el camino más común es permitir los robots de búsqueda y decidir por separado sobre el entrenamiento. Si el contenido es el producto (editoriales, cursos de pago), la cuenta cambia, y bloquear el entrenamiento puede tener sentido por razones comerciales y legales. Para entender qué hace después cada robot de búsqueda con la página, lee cómo buscan los LLM, con RAG y grounding.

¿Cómo escribir el robots.txt? Tres ejemplos

Cada grupo User-agent vale solo para los robots citados en él. El robots.txt va en la raíz de cada host (https://tusitio.com/robots.txt), y un subdominio necesita su propio archivo. Anthropic recomienda aplicar la regla a cada subdominio que quieras excluir.

Ejemplo A: aparecer en búsquedas de IA, sin entrenamiento. Es el más usado por sitios que quieren tráfico y no quieren alimentar el entrenamiento.

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Ejemplo B: permitir todo. El comportamiento por defecto, si el archivo no menciona estos robots.

User-agent: *
Allow: /

Ejemplo C: bloquear solo un área. Útil para mantener a los robots de IA fuera de las áreas de cuenta, carrito o borradores, sin sacar el blog del aire.

User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /area-do-cliente/
Disallow: /carrinho/

En lenguaje sencillo: piensa en el robots.txt como una lista de reglas en la portería de un edificio. Cada portero (robot) lee la parte que lleva su nombre. Si su nombre no aparece, sigue la regla general, y si aparece, solo sigue la regla de su grupo.

Para quien ya trabaja en SEO: el RFC 9309 define que el crawler elige el grupo que coincide con su product token, sin distinguir mayúsculas de minúsculas, y que el tamaño mínimo que debe procesar es de 500 KiB. En archivos grandes pueden ignorarse las reglas del final. Pon las reglas de IA al principio o mantén el archivo breve. Anthropic admite la extensión no estándar Crawl-delay para ClaudeBot, pero la extensión no forma parte del RFC.

¿El robots.txt protege mi contenido?

No. El propio RFC 9309 dice que estas reglas no son una forma de autorización de acceso. Funcionan con los robots que eligen obedecer. Quien quiere recolectar sin pedir permiso puede ignorar el archivo y usar cualquier user-agent. Para contenido que no debe ser público, usa autenticación, paywall o reglas de WAF.

Dos consecuencias prácticas. Primero, según la documentación de Google sobre robots.txt, sirve para controlar el tráfico de rastreo y no para sacar una página de Google; para eso, usa noindex. Segundo, Anthropic desaconseja bloquear por IP, porque puede impedir que el robot lea el propio robots.txt y, así, que sepa que pediste la exclusión.

¿Cómo verificar en los logs si los robots visitan tu sitio y si son quienes dicen ser?

Filtra los logs de acceso por user-agent, valida las IP contra las listas oficiales y revisa los códigos de respuesta. Los user-agents son texto libre, así que un acceso con el nombre de GPTBot no prueba que venga de OpenAI. Cada empresa publica rangos de IP en JSON para esta comprobación.

1. Reúne los logs. Exporta el log de acceso del servidor, del CDN o del WAF de los últimos 7 a 30 días.

2. Filtra por los tokens. En logs con el formato común de Nginx o Apache, donde la IP es el primer campo, este comando cuenta los accesos por IP:

   grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User" access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -20
   

3. Valida las IP. Descarga las listas oficiales y compara: openai.com/searchbot.json, openai.com/gptbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json, perplexity.com/perplexitybot.json y perplexity.com/perplexity-user.json. Los accesos con el user-agent correcto y una IP fuera de la lista son sospechosos.

4. Busca el robots.txt. OpenAI informa que OAI-SearchBot y GPTBot pueden incluir un marcador robots.txt en el user-agent al pedir el archivo, lo que ayuda cuando el log no muestra la ruta.

5. Mira los códigos de estado. Muchos 403 o 429 para robots que quieres permitir indican que el CDN o el WAF está bloqueando antes de que el robots.txt entre en juego. OpenAI recomienda permitir los rangos de IP publicados, y Perplexity recomienda combinar user-agent e IP en la regla del WAF.

6. Espera el efecto. Para la búsqueda, OpenAI dice que puede tardar cerca de 24 horas en que sus sistemas se ajusten después de un cambio en el robots.txt.

¿Y si el robot ignora mi robots.txt?

Si el robot es ChatGPT-User o Perplexity-User, es lo esperado. OpenAI afirma que, por ser acciones iniciadas por un usuario, las reglas del robots.txt pueden no aplicarse, y Perplexity dice que Perplexity-User en general ignora el archivo. Según OpenAI, ChatGPT-User tampoco se usa para decidir si el contenido aparece en la búsqueda.

Si el robot debería obedecer (GPTBot, ClaudeBot, PerplexityBot), valida primero la IP. Si es falsa, bloquéala en el WAF. Si es verdadera, revisa el archivo: un error de sintaxis, el archivo en el host equivocado o una regla más específica que sobrescribe la general resuelven la mayoría de los casos. Después, contacta a la empresa por los canales indicados en su documentación.

Ejemplo hipotético: una tienda en línea quiere aparecer en las respuestas de ChatGPT, pero no quiere que las descripciones de sus productos entren al entrenamiento. El equipo adopta el Ejemplo A y comprueba en el log que OAI-SearchBot recibe 200 en las páginas de categoría y de producto, pero 403 en /colecciones/. La culpable es una regla del CDN que bloquea "bots desconocidos". Tras permitir los rangos de IP oficiales, el equipo espera cerca de 24 horas, repite la revisión y registra la fecha del cambio. Si más adelante las menciones en ChatGPT cambian, sabrá qué cambió en el sitio. Para seguir las menciones, mira cómo aparecer en ChatGPT.

Preguntas frecuentes

¿Bloquear GPTBot saca mi sitio de ChatGPT?

No directamente. Según OpenAI, GPTBot sirve para el entrenamiento, y OAI-SearchBot es el robot de la búsqueda de ChatGPT. Las configuraciones son independientes. Quien bloquea OAI-SearchBot no aparece en las respuestas de búsqueda, aunque todavía puede surgir como enlace de navegación.

¿Necesito permitir OAI-SearchBot para aparecer en ChatGPT?

OpenAI recomienda permitir OAI-SearchBot en el robots.txt y permitir los rangos de IP publicados para asegurar que el sitio aparezca en los resultados de búsqueda. Eso no garantiza una cita: aparecer depende de que la página sea relevante para la pregunta.

Perplexity-User ignora el robots.txt. ¿Qué hago?

Si quieres controlar el acceso, usa controles del lado del servidor, como autenticación o reglas de WAF que combinen user-agent e IP, ya que la propia Perplexity dice que este robot suele ignorar el robots.txt porque lo activa un usuario. Si el contenido es público, evalúa si el bloqueo compensa la pérdida de visibilidad.

¿Google-Extended afecta mi posicionamiento?

No. La documentación de Google afirma que Google-Extended no afecta la inclusión en la Búsqueda de Google ni se usa como señal de posicionamiento. Solo controla el uso del contenido para el entrenamiento y el grounding de modelos Gemini, en las apps y en Vertex AI.

¿El robots.txt elimina contenido que ya fue recolectado?

Ninguna documentación consultada lo promete. Anthropic describe el bloqueo como una señal de exclusión de materiales futuros, y OpenAI dice que desautorizar GPTBot indica que el contenido no debe usarse en el entrenamiento. Para solicitudes sobre datos ya recolectados, usa el canal de contacto de cada empresa.

Siguiente paso

Con los robots configurados, el siguiente paso es decidir si vale la pena crear también un archivo para agentes: lee llms.txt: ¿vale la pena crearlo?. Para seguir si los cambios alteran las citas, Contentor ofrece AI Visibility, que monitorea, en las preguntas que elijas, si ChatGPT cita tu marca. Piensa en él como un complemento de la revisión de logs, no como un sustituto.

Lee también:

• Bing Webmaster Tools e IndexNow para búsquedas con IA
• Cómo buscan los LLM: RAG y grounding
• Cómo aparecer en ChatGPT