Robots.txt para inteligência artificial: como liberar Google, Bing, ChatGPT e Claude corretamente

O que é robots.txt e o que ele realmente controla?

O robots.txt é um arquivo de texto publicado na raiz de um domínio, normalmente acessível em um endereço como:

https://seudominio.com.br/robots.txt

Ele informa aos crawlers compatíveis quais caminhos podem ou não ser rastreados. Uma regra simples pode impedir que um bot visite uma seção inteira:

User-agent: ExampleBot
Disallow: /area-restrita/

O ponto mais importante é entender que robots.txt controla principalmente rastreamento, não privacidade.

O Google alerta que uma URL bloqueada no robots.txt ainda pode ser descoberta por links externos e, em algumas situações, aparecer nos resultados sem que seu conteúdo tenha sido rastreado.

As quatro diretivas mais importantes

O Google documenta suporte a User-agent, Allow, Disallow e Sitemap. A diretiva Crawl-delay, por exemplo, não é suportada pelo Google, embora outros crawlers possam interpretá-la.

Busca, resposta generativa e treinamento não são a mesma coisa

Esta é a distinção mais importante do artigo. Um crawler associado a uma empresa de IA não significa necessariamente que ele esteja coletando conteúdo para treinamento. Plataformas diferentes passaram a documentar agentes separados justamente para permitir maior controle ao proprietário do site.

Googlebot e Google-Extended: não confunda os dois

Para aparecer na Pesquisa Google, inclusive como link de apoio em AI Overviews e AI Mode, a página precisa estar indexada e elegível para aparecer nos resultados com um snippet.

O controle de rastreamento para essas experiências é o Googlebot. O Google afirma que não existem requisitos técnicos extras exclusivos para AI Overviews ou AI Mode.

Então para que serve Google-Extended?

Segundo a documentação atual do Google, Google-Extended permite ao proprietário controlar se conteúdo rastreado pelo Google pode ser utilizado:

• no treinamento de futuras gerações de modelos Gemini;
• em determinados usos de grounding nas Gemini Apps;
• em Grounding with Google Search no Vertex AI.

A documentação esclarece que bloquear Google-Extended não retira uma página do Google Search e não é um sinal de ranking.

User-agent: Google-Extended
Disallow: /

Bingbot, Microsoft Copilot e as respostas de IA do Bing

No ecossistema Microsoft, o Bingbot é o principal crawler do Bing. Se a empresa deseja manter páginas no índice e participar das experiências de busca alimentadas pelo Bing, conteúdos públicos importantes precisam estar rastreáveis.

O Bing Webmaster Tools possui um painel de AI Performance para medir citações em respostas de inteligência artificial, incluindo Microsoft Copilot, resumos gerados no Bing e integrações selecionadas.

A Microsoft afirma que respeita preferências de proprietários de conteúdo expressas por robots.txt e outros mecanismos suportados. O Bing Webmaster Tools também oferece um teste de robots.txt para verificar se o Bingbot consegue acessar URLs importantes.

User-agent: Bingbot
Disallow: /conteudo-nao-publico/

Na maioria dos sites empresariais, porém, não há motivo para criar um grupo especial para Bingbot. Um bloco genérico bem configurado para todos os crawlers costuma ser mais simples e reduzir o risco de regras conflitantes.

ChatGPT: OAI-SearchBot e GPTBot possuem finalidades diferentes

A OpenAI separa explicitamente o rastreamento usado para busca daquele associado ao possível treinamento de modelos.

Isso permite uma política relativamente simples: permitir que a empresa seja encontrada no ChatGPT Search, mas bloquear GPTBot se a organização não quiser disponibilizar o conteúdo para potencial treinamento.

# OAI-SearchBot continua sujeito às regras públicas do grupo *
# Não crie um bloqueio específico para ele.

User-agent: GPTBot
Disallow: /

A OpenAI também informa que, em determinadas situações, uma URL bloqueada para rastreamento pode ser obtida de outra fonte e ter somente o link e o título apresentados. Quando a intenção é impedir que a página apareça, controles de indexação como noindex são mais apropriados — desde que o crawler consiga acessar a página para ler a diretiva.

Claude: Claude-SearchBot, Claude-User e ClaudeBot

A Anthropic documenta três agentes principais com funções distintas.

# Claude-SearchBot e Claude-User permanecem sujeitos ao grupo *
# e continuam podendo acessar o conteúdo público permitido.

User-agent: ClaudeBot
Disallow: /

Modelo de robots.txt para WordPress com foco em SEO, GEO e IA

Não existe um robots.txt universal para todos os sites. Um e-commerce, um portal, um site institucional e uma área de membros têm necessidades diferentes.

Ainda assim, o exemplo abaixo mostra uma estrutura conservadora para um site WordPress empresarial que deseja:

• manter páginas públicas acessíveis para Google, Bing, ChatGPT e Claude;
• evitar rastreamento de áreas administrativas e transacionais sem valor de busca;
• informar o sitemap;
• bloquear GPTBot e ClaudeBot para treinamento;
• manter Google-Extended liberado para não reduzir os usos de grounding controlados por esse token.

# ============================================================
# robots.txt — exemplo para WordPress
# SEO + GEO + mecanismos de busca e IA
# Ajuste os caminhos ao seu site antes de publicar
# ============================================================

User-agent: *

# Área administrativa
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Endpoints sem valor de indexação
Disallow: /wp-login.php
Disallow: /xmlrpc.php

# Busca interna e parâmetros comuns
Disallow: /search/
Disallow: /*?s=
Disallow: /*?replytocom=

# WooCommerce — use somente se essas URLs existirem
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /order-received/
Disallow: /*?add-to-cart=

# ------------------------------------------------------------
# Política de treinamento
# Busca do ChatGPT permanece disponível via OAI-SearchBot
# ------------------------------------------------------------
User-agent: GPTBot
Disallow: /

# Busca do Claude permanece disponível via Claude-SearchBot
# e acesso solicitado pelo usuário via Claude-User
User-agent: ClaudeBot
Disallow: /

# ------------------------------------------------------------
# Sitemap
# ------------------------------------------------------------
Sitemap: https://www.seudominio.com.br/sitemap_index.xml

E o Google-Extended?

No modelo acima, ele não é bloqueado. Isso maximiza a abertura do conteúdo público para os usos de Gemini e grounding controlados por esse token.

Se a política da organização for impedir esses usos, adicione:

User-agent: Google-Extended
Disallow: /

E se eu quiser permitir também treinamento pela OpenAI e Anthropic?

Nesse caso, simplesmente não inclua os grupos de bloqueio para GPTBot e ClaudeBot. Se o grupo User-agent: * permite as páginas públicas, esses agentes poderão seguir as regras gerais.

Robots.txt, noindex e X-Robots-Tag: qual usar?

Um dos erros mais comuns é tratar Disallow e noindex como se fossem a mesma coisa.

Evite bloquear o crawler antes que ele leia o noindex

Se você coloca uma página em Disallow e também adiciona noindex dentro dela, o crawler pode não conseguir acessar a página para ler o noindex.

Seu robots.txt pode estar correto e o bot continuar bloqueado

Em sites modernos, o robots.txt é apenas uma das camadas que controlam o acesso. Um crawler permitido no arquivo pode receber 403 Forbidden, 429 Too Many Requests ou um desafio de segurança antes mesmo de chegar ao conteúdo.

Os bloqueios podem ocorrer em:

• Cloudflare ou outra CDN;
• Web Application Firewall (WAF);
• plugins de segurança do WordPress;
• regras do servidor ou hospedagem;
• sistemas anti-bot;
• bloqueios geográficos;
• rate limits excessivos;
• CAPTCHAs aplicados indiscriminadamente.

O Google recomenda explicitamente verificar se o rastreamento é permitido também pela CDN e pela infraestrutura de hospedagem. O mesmo raciocínio é importante para crawlers de IA.

Robots.txt, sitemap e IndexNow fazem trabalhos diferentes

Essas três tecnologias são complementares:

A documentação atual do IndexNow recomenda combinar IndexNow + sitemaps: o primeiro envia sinais rápidos de mudança; o segundo oferece cobertura ampla da estrutura do site.

Microsoft Bing, Naver, Seznam.cz, Yandex e Yep aparecem atualmente entre os mecanismos com suporte ao protocolo. O Bing também relaciona o uso do IndexNow à manutenção de conteúdo atualizado em experiências de busca e respostas de IA.

Para WordPress, muitos plugins de SEO e provedores já oferecem integração automática. Portanto, antes de implementar a API manualmente, verifique se a funcionalidade já existe no seu plugin, CDN ou hospedagem.

Como auditar seu robots.txt para SEO, GEO e LLMs

10 erros de robots.txt que podem prejudicar SEO, GEO e respostas de IA

Há ainda um erro menos óbvio: criar um arquivo tão complexo que ninguém sabe por que cada regra existe. Em SEO técnico, simplicidade e documentação ajudam a evitar problemas.

Qual configuração faz mais sentido para uma empresa brasileira?

Para a maioria das empresas cujo objetivo é gerar negócios por meio de busca orgânica e respostas de IA, a política mais coerente é manter o conteúdo público acessível aos mecanismos de descoberta.

Isso significa, em termos gerais:

• permitir Googlebot para Pesquisa, AI Overviews e AI Mode;
• permitir Bingbot para o ecossistema de busca da Microsoft;
• não bloquear OAI-SearchBot quando a empresa quer presença no ChatGPT Search;
• não bloquear Claude-SearchBot e Claude-User quando deseja descoberta e acesso pelo Claude;
• decidir separadamente a política de GPTBot e ClaudeBot;
• avaliar Google-Extended sabendo que o mesmo controle envolve treinamento e determinados usos de grounding no Gemini;
• manter sitemap, indexação e conteúdo atualizados;
• combinar IndexNow com sitemap nos mecanismos compatíveis.

Depois da configuração técnica, o próximo passo é conteúdo. Um crawler conseguir acessar uma página não significa que ela será indexada, classificada, citada ou recomendada.

É por isso que este artigo faz parte da mesma estratégia apresentada em GEO sem mitos: o que realmente ajuda uma empresa a aparecer nas respostas do Google e das IAs.

E, depois de liberar e otimizar a descoberta, é importante medir o resultado. Veja também: como saber se o site aparece nas respostas de IA do Google e do Bing.