robots.txt e crawlers de IA: GPTBot, OAI-SearchBot e ClaudeBot

Para controlar crawlers de IA no robots.txt, separe três finalidades: treino (GPTBot, ClaudeBot, Google-Extended), busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) e ações pedidas por um usuário (ChatGPT-User, Claude-User, Perplexity-User). Bloquear o treino não tira você da busca, e bloquear a busca tira você das respostas. Além disso, o robots.txt é um pedido educado, não uma barreira de segurança.

Resumo rápido

• Na busca por IA (veja a diferença entre SEO, AEO e GEO), cada empresa usa mais de um robô, e cada um tem uma função: treinar modelos, montar um índice de busca ou buscar uma página quando alguém pede.
• Bloquear o robô de treino (como o GPTBot) é uma decisão de política de conteúdo. Bloquear o robô de busca (como o OAI-SearchBot) tira o site das respostas de busca daquele produto.
• ChatGPT-User e Perplexity-User existem para ações do usuário e, segundo as próprias empresas, podem ignorar o robots.txt. Já o Claude-User, segundo a Anthropic, obedece.
• O Google-Extended não afeta a inclusão nem o ranking na Busca do Google. É um controle de uso para os modelos Gemini.
• Confirme o que está acontecendo nos logs do servidor, validando o IP contra as listas oficiais, porque qualquer um pode falsificar um user-agent.
• Nenhuma configuração garante citação em IA, e ninguém sabe dizer se liberar ou bloquear o treino muda a frequência de menções.

Como ler: se você é dono de site e só quer saber "o que eu libero?", leia o resumo, a tabela e os três exemplos de arquivo. Se você é do time técnico, as seções sobre logs, limites do protocolo e edge cases são as que mais importam. Este post complementa o SEO técnico básico.

O que são crawlers de IA e por que existem tantos?

Crawlers de IA são robôs que visitam páginas web para três fins distintos: coletar conteúdo que pode treinar modelos, montar um índice de busca para respostas com fontes e abrir uma página específica quando um usuário pede. As empresas separaram os robôs justamente para que o dono do site possa permitir um uso e negar outro.

Em linguagem simples: imagine três tipos de visita na sua loja. Um fotógrafo que registra tudo para um catálogo (treino), um guia turístico que anota o endereço para indicar a clientes (busca) e um cliente que pede ao assistente "vá olhar essa vitrine e me conte" (ação do usuário). O robots.txt é a placa na porta dizendo quem pode entrar. Só que a placa depende da boa vontade de quem lê.

A OpenAI diz que as configurações são independentes. Segundo a documentação oficial de crawlers da OpenAI, um webmaster pode permitir o OAI-SearchBot para aparecer nos resultados e proibir o GPTBot para indicar que o conteúdo não deve treinar modelos. A Anthropic e a Perplexity também separam os papéis, como mostra a tabela a seguir.

Quais são os user-agents oficiais e o que cada um faz?

A tabela reúne os tokens documentados pelas empresas em 4 de outubro de 2026. Os tokens são os nomes que você usa no User-agent: do robots.txt, e podem mudar. Confira sempre a documentação antes de publicar.

Empresa	Token	Finalidade	Obedece ao robots.txt?	O que bloquear faz
OpenAI	OAI-SearchBot	Busca do ChatGPT	Sim	Site não aparece nas respostas de busca do ChatGPT, embora possa aparecer como link de navegação
OpenAI	GPTBot	Treino de modelos	Sim	Indica que o conteúdo não deve treinar modelos da OpenAI
OpenAI	ChatGPT-User	Ações do usuário no ChatGPT e em GPTs	"Pode não se aplicar", segundo a OpenAI	Não controla a busca. Para isso, use o OAI-SearchBot
Anthropic	ClaudeBot	Treino de modelos	Sim	Materiais futuros saem dos conjuntos de treino
Anthropic	Claude-SearchBot	Qualidade dos resultados de busca	Sim	Impede a indexação do conteúdo para busca
Anthropic	Claude-User	Consulta pedida por um usuário no Claude	Sim, segundo a Anthropic	Impede a recuperação do conteúdo em respostas a usuários
Perplexity	PerplexityBot	Listar e linkar sites na busca do Perplexity	Sim	Site deixa de ser listado. Segundo a Perplexity, não é usado para treinar modelos de fundação
Perplexity	Perplexity-User	Ação do usuário no Perplexity	Em geral, não	Pouco efeito, pois ignora regras do robots.txt
Google	Google-Extended	Treino e grounding de modelos Gemini	Sim (token de controle)	Não afeta a Busca do Google

Fontes: OpenAI, Anthropic, Perplexity e Google. A OpenAI também lista o OAI-AdsBot, que só visita páginas enviadas como anúncios no ChatGPT e, segundo a empresa, não coleta dados para treino.

O Google-Extended afeta os AI Overviews?

Não há indicação disso na documentação. O Google diz que o Google-Extended é um token independente que controla o uso do conteúdo no treino de futuras gerações de modelos Gemini e no grounding em apps Gemini e na Vertex AI, e que ele "não afeta a inclusão no Google Search nem é usado como sinal de ranking". Ele também não tem um user-agent HTTP próprio: o rastreamento usa as strings do Google já existentes. A documentação dos recursos de IA do Google trata os AI Overviews e o AI Mode à parte, e os controles ali são nosnippet, data-nosnippet, max-snippet e noindex. Reduzir snippets também reduz a visibilidade nesses recursos.

Para quem já trabalha com SEO: o Googlebot continua sendo o único robô que importa para indexação e, por consequência, para os recursos de IA da Busca, que exigem página indexada e elegível a snippet. Se você bloquear o Googlebot por engano ao tentar bloquear "robôs de IA", sai da Busca inteira. Por isso, nunca use User-agent: * com Disallow: / como atalho.

Bloquear ou liberar: quais são os trade-offs?

A decisão depende do que você quer proteger e do que quer conquistar. Não existe uma resposta universal e, nas documentações consultadas, nenhuma empresa afirma que liberar o treino aumente a frequência de citações. O que se sabe é o efeito direto de cada bloqueio.

Decisão	Efeito direto documentado	Risco ou custo
Bloquear só o robô de treino	Sinaliza que o conteúdo não deve treinar modelos	O efeito sobre menções em respostas é desconhecido
Bloquear o robô de busca	Some das respostas de busca daquele produto	Perde a chance de ser citado e de receber visitas dali
Liberar tudo	Maior alcance e uso do conteúdo	Seu texto pode compor treino de modelos
Bloquear tudo	Máximo controle	Invisibilidade em IA e, para ações do usuário, o bloqueio pode nem ser respeitado

Para um site que depende de aquisição orgânica (blog, e-commerce, SaaS), o caminho mais comum é liberar os robôs de busca e decidir separadamente sobre o treino. Se o conteúdo é o produto (editoras, cursos pagos), a conta muda, e bloquear o treino pode fazer sentido por razões comerciais e jurídicas. Para entender o que cada robô de busca faz com a página depois, leia como os LLMs buscam, com RAG e grounding.

Como escrever o robots.txt? Três exemplos

Cada grupo User-agent vale só para os robôs citados nele. O robots.txt fica na raiz de cada host (https://seusite.com.br/robots.txt), e um subdomínio precisa do seu próprio arquivo. A Anthropic orienta aplicar a regra a cada subdomínio que você quiser excluir.

Exemplo A: aparecer em buscas de IA, sem treino. É o mais usado por sites que querem tráfego e não querem alimentar treino.

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Exemplo B: liberar tudo. O comportamento padrão, caso o arquivo não mencione esses robôs.

User-agent: *
Allow: /

Exemplo C: bloquear só uma área. Útil para manter os robôs de IA fora de áreas de conta, carrinho ou rascunhos, sem tirar o blog do ar.

User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /area-do-cliente/
Disallow: /carrinho/

Em linguagem simples: pense no robots.txt como uma lista de regras na portaria do prédio. Cada porteiro (robô) lê a parte que tem o seu nome. Se o seu nome não aparece, ele segue a regra geral, e se aparece, ele só segue a regra do grupo dele.

Para quem já trabalha com SEO: o RFC 9309 define que o crawler escolhe o grupo que casa com o seu product token, sem diferenciar maiúsculas de minúsculas, e que o limite mínimo de leitura do arquivo é de 500 KiB. Arquivos grandes podem ter regras ignoradas no final. Ponha as regras de IA no começo ou mantenha o arquivo enxuto. A Anthropic suporta a extensão não padronizada Crawl-delay para o ClaudeBot, mas a extensão não faz parte do RFC.

O robots.txt protege o meu conteúdo?

Não. O próprio RFC 9309 diz que essas regras "não são uma forma de autorização de acesso". Elas funcionam com robôs que escolhem obedecer. Quem quer coletar sem pedir pode ignorar o arquivo e usar qualquer user-agent. Para conteúdo que não deve ser público, use autenticação, paywall ou regras de WAF.

Duas consequências práticas. Primeiro, segundo a documentação do Google sobre robots.txt, ele serve para controlar o tráfego de rastreamento e não para tirar uma página do Google; para isso, use noindex. Segundo, bloquear por IP é desencorajado pela Anthropic, porque pode impedir o robô de ler o próprio robots.txt e, assim, de saber que você pediu exclusão.

Como verificar nos logs se os robôs estão visitando e se são quem dizem ser?

Filtre os logs de acesso pelos user-agents, valide os IPs contra as listas oficiais e confira os códigos de resposta. User-agents são texto livre, então um acesso com o nome do GPTBot não prova que veio da OpenAI. Cada empresa publica faixas de IP em JSON para essa checagem.

1. Reúna os logs. Exporte o log de acesso do servidor, do CDN ou do WAF dos últimos 7 a 30 dias.

2. Filtre pelos tokens. Em logs no formato comum do Nginx ou do Apache, onde o IP é o primeiro campo, este comando conta os acessos por IP:

   grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User" access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -20
   

3. Valide os IPs. Baixe as listas oficiais e compare: openai.com/searchbot.json, openai.com/gptbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json, perplexity.com/perplexitybot.json e perplexity.com/perplexity-user.json. Acessos com o user-agent certo e IP fora da lista são suspeitos.

4. Procure o robots.txt. A OpenAI informa que o OAI-SearchBot e o GPTBot podem incluir um marcador robots.txt no user-agent ao buscar o arquivo, o que ajuda quando o log não mostra o caminho.

5. Olhe os códigos de status. Muitos 403 ou 429 para robôs que você quer permitir indicam que o CDN ou o WAF está bloqueando antes do robots.txt entrar em jogo. A OpenAI recomenda permitir as faixas de IP publicadas, e a Perplexity recomenda combinar user-agent e IP na regra de WAF.

6. Espere o efeito. Para busca, a OpenAI diz que pode levar cerca de 24 horas para os sistemas se ajustarem depois de uma mudança no robots.txt.

E se o robô ignorar o meu robots.txt?

Se o robô é o ChatGPT-User ou o Perplexity-User, isso é esperado. A OpenAI afirma que, por serem ações iniciadas por usuário, as regras do robots.txt podem não se aplicar, e a Perplexity diz que o Perplexity-User em geral ignora o arquivo. O ChatGPT-User, segundo a OpenAI, também não é usado para decidir se o conteúdo aparece na busca.

Se o robô deveria obedecer (GPTBot, ClaudeBot, PerplexityBot), valide primeiro o IP. Se for falso, bloqueie no WAF. Se for verdadeiro, confira o arquivo: erro de sintaxe, arquivo no host errado ou regra mais específica sobrescrevendo a geral resolvem a maioria dos casos. Depois, contate a empresa pelos canais indicados na documentação.

Exemplo hipotético: uma loja virtual brasileira quer aparecer nas respostas do ChatGPT, mas não quer ter as descrições de produto no treino. A equipe adota o Exemplo A, verifica no log que o OAI-SearchBot recebe 200 nas páginas de categoria e produto, mas 403 em /colecoes/. O culpado é uma regra do CDN que bloqueia "bots desconhecidos". Depois de liberar as faixas de IP oficiais, a equipe espera cerca de 24 horas, repete a checagem e registra a data da mudança. Se mais tarde as menções no ChatGPT mudarem, ela saberá o que mudou no site. Para acompanhar as menções, veja como aparecer no ChatGPT.

Perguntas frequentes

Bloquear o GPTBot tira o meu site do ChatGPT?

Não diretamente. Segundo a OpenAI, o GPTBot serve para treino, e o OAI-SearchBot é o robô da busca do ChatGPT. As configurações são independentes. Quem bloqueia o OAI-SearchBot não aparece nas respostas de busca, embora ainda possa surgir como link de navegação.

Preciso liberar o OAI-SearchBot para aparecer no ChatGPT?

A OpenAI recomenda permitir o OAI-SearchBot no robots.txt e liberar as faixas de IP publicadas para garantir que o site apareça nos resultados de busca. Isso não garante citação: aparecer depende de a página ser relevante para a pergunta.

O Perplexity-User ignora o robots.txt. O que fazer?

Se você quer controlar o acesso, use controles do lado do servidor, como autenticação ou regras de WAF combinando user-agent e IP, já que a própria Perplexity diz que esse robô costuma ignorar o robots.txt por ser acionado por um usuário. Se o conteúdo é público, avalie se o bloqueio compensa a perda de visibilidade.

O Google-Extended afeta o meu ranking?

Não. A documentação do Google afirma que o Google-Extended não afeta a inclusão no Google Search nem é usado como sinal de ranking. Ele só controla o uso do conteúdo para treino e grounding de modelos Gemini, nos apps e na Vertex AI.

O robots.txt remove conteúdo que já foi coletado?

Nenhuma documentação consultada promete isso. A Anthropic descreve o bloqueio como um sinal de exclusão de materiais futuros, e a OpenAI diz que desautorizar o GPTBot indica que o conteúdo não deve ser usado em treino. Para pedidos sobre dados já coletados, procure o canal de contato de cada empresa.

Próximo passo

Com os robôs configurados, o próximo passo é decidir se vale criar também um arquivo para agentes: leia llms.txt: vale a pena criar?. Para acompanhar se as mudanças alteram as citações, a Contentor oferece o AI Visibility, que monitora, nas perguntas escolhidas, se o ChatGPT cita a sua marca. Pense nele como um complemento da checagem de logs, e não como um substituto.

Leia também:

• Bing Webmaster Tools e IndexNow para buscas em IA
• Como os LLMs buscam: RAG e grounding
• Como aparecer no ChatGPT