Gerador de robots.txt para os robôs de IA
Libere ou bloqueie cada robô de IA sabendo exatamente o que ele faz, depois copie o bloco para adicionar ao seu robots.txt.
O GPTBot coleta páginas para treinar os modelos da OpenAI. Bloqueá-lo não tem efeito nenhum sobre a sua presença dentro do ChatGPT. Já o OAI-SearchBot alimenta o índice de busca do ChatGPT: é ele que decide se a sua página pode ser recuperada, resumida e citada com um link. Bloqueá-lo tira você das respostas do ChatGPT. Muitos sites copiaram um bloqueio de GPTBot e acrescentaram o OAI-SearchBot “por segurança”, cortando-se justamente do canal de tráfego que queriam conquistar. Decida linha por linha, não em bloco.
Coleta páginas para treinar os modelos da OpenAI.
Bloqueá-lo não tira você das respostas do ChatGPT. É uma decisão sobre os seus dados, não sobre a sua visibilidade.
Indexa páginas para a busca do ChatGPT.
É este robô que determina se você aparece e recebe um link dentro das respostas do ChatGPT. Bloqueá-lo elimina você das citações.
Verifica as páginas de destino usadas pelo ChatGPT Ads.
Necessário se você pretende comprar anúncios dentro do ChatGPT: sem ele, suas páginas de destino não podem ser validadas.
Busca uma página ao vivo porque um usuário compartilhou o link ou fez uma pergunta sobre ela.
Tráfego disparado por uma pessoa real, em tempo real. Bloqueá-lo é recusar uma visita pedida explicitamente.
Coleta páginas para os modelos Claude.
A Anthropic também usa o Claude-User para as buscas ao vivo e o Claude-SearchBot para a pesquisa: são agentes distintos e merecem decisões separadas.
Indexa páginas para as respostas com fontes do Perplexity.
O Perplexity sempre exibe suas fontes. Bloqueá-lo é abrir mão dessas citações e do tráfego que vem com elas.
Token que controla se o seu conteúdo alimenta o Gemini e o embasamento das respostas.
Não é um robô de rastreamento: não muda nem a sua indexação nem a sua posição no Google Search.
Monta um corpus público reaproveitado por muitos treinamentos.
Nenhum ganho direto de visibilidade: o Common Crawl não cita ninguém. É o primeiro candidato ao bloqueio se você está protegendo o seu conteúdo.
Coleta páginas para os modelos da ByteDance.
Conhecido por um ritmo de rastreamento agressivo. Muitos sites o bloqueiam por causa da carga no servidor tanto quanto por questão de direitos.
Coleta páginas para os modelos da Meta e para o Meta AI.
A Meta usa vários agentes. Este é o crawler documentado para treinamento.
Token que controla se o seu conteúdo alimenta a Apple Intelligence.
Ele não mexe no Applebot, que alimenta a Siri e o Spotlight: a sua presença na busca da Apple não é afetada.
Adicione este bloco ao seu robots.txt existente, na raiz do domínio. Não sobrescreva as regras atuais: o robots.txt é lido por grupo de User-agent, então as suas continuam valendo para os demais robôs.
Esta ferramenta roda inteiramente no seu navegador. Nada do que você digita aqui chega aos nossos servidores, nada fica gravado, não há conta para criar nem cota a respeitar. Podemos oferecê-la sem contrapartida: ela não nos custa nada.
O que esta ferramenta faz
Um robots.txt mal calibrado é a forma mais rápida de sumir das respostas de IA sem perceber. A confusão mais frequente e mais cara envolve a OpenAI: GPTBot e OAI-SearchBot não fazem o mesmo trabalho, e bloquear um no lugar do outro tem consequências opostas. Esta ferramenta mostra o papel real de cada robô antes de deixar você decidir.
- Onze robôs de IA cobertos, cada um com seu papel real: treinamento, busca e citação, visita disparada por um usuário, publicidade.
- Quatro predefinições, entre elas uma que preserva as citações e recusa a coleta para treinamento.
- Acrescenta caminhos proibidos que valem para os robôs que você deixa passar, protegendo uma área do cliente ou um carrinho.
- Adiciona a linha Sitemap no fim do arquivo e comentários que lembram o papel de cada robô.
- Geração local: o arquivo é montado no seu navegador e nada é transmitido.
Perguntas frequentes
Bloquear o GPTBot me faz sumir do ChatGPT?
Os robôs realmente respeitam o robots.txt?
Onde colocar o arquivo?
Posso bloquear só uma parte do site?
Como verificar se as minhas regras estão sendo aplicadas?
Ir além do gerador
Estas microferramentas produzem um arquivo. Os scanners Ready2GEO vão olhar o que acontece de verdade no seu site e dentro das respostas dos motores de IA.
Verifica se o seu site é realmente elegível e utilizável pela plataforma de anúncios do ChatGPT: acesso dos robôs, estrutura, sinais comerciais.
Testar meu site 🕷️ Analisador de logs de crawlers de IACole os logs do seu servidor e veja quais crawlers de IA passam de verdade, com que frequência e em quais páginas eles empacam.
Analisar meus logs 🧭 Auditoria GEO completaA auditoria agrupada reúne todos os scanners em um único relatório, com as correções priorizadas e exportação em PDF.
Rodar a auditoria