User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Disallow: /
Futuro sinal compartilhado de preferência de treinamento (suporte do Google previsto para o início de 2027)
User-agent: __usage_ai-training
Disallow: /
Atenção especial: o `Disallow` em `Google-Extended` não faz uma página desaparecer dos resultados da Busca Google. A documentação oficial afirma que ele não afeta a inclusão do site nos resultados da Busca Google nem é usado como fator de medição de ranking na Busca Google. Por outro lado, uma proibição total do site em `User-agent: *` também afetará o Googlebot; esse tipo de “bloqueio de conveniência” é o auto-prejuízo mais comum no SEO técnico.
## Por que AI Training e AI Grounding precisam ser vistos separadamente
Este é o conjunto de conceitos mais fácil de descrever errado em 2027.
**AI Training (treinamento)** indica se o conteúdo da página é usado para treinar versões futuras do modelo, afetando os parâmetros do modelo. **AI Grounding (fundamentação)** indica se o modelo usa, em tempo real, o conteúdo da página recuperado como base factual ao responder, afetando se a sua informação pode aparecer em uma determinada resposta. O primeiro diz respeito ao uso não remunerado de ativos de conteúdo; o segundo, à possibilidade de você aparecer nas respostas de IA. As consequências comerciais são completamente diferentes.
Segundo a explicação oficial do Google sobre o `Google-Extended`, esse token controla se o conteúdo que o Google rastreia de sites pode ser usado para treinar versões futuras dos modelos Gemini; esses modelos dão suporte ao app Gemini e ao Gemini no Vertex AI, e também são usados no app Gemini para fornecer ao modelo conteúdo do índice da Busca Google com o objetivo de aumentar veracidade e relevância, além de serem usados para grounding ao utilizar o Google Search no Vertex AI. Ou seja, nesta implementação do Google, a licença de treinamento e a licença de fundamentação são cobertas pelo mesmo token. Operadores que desejam “proibir treinamento e manter citação” precisam confirmar, plataforma por plataforma, se existe essa capacidade de separação; não podem presumir que todas as plataformas já separam as duas coisas.
## Bloquear o treinamento afeta, por tabela, a citação em buscas de IA?

É preciso responder por cenário; não dá para resumir em uma frase.
**Dentro da Busca Google, não.** Os recursos de IA são construídos sobre o índice de busca; bloquear o treinamento não faz a página perder a chance de ser indexada. Esse é o resultado direto do design separado entre `Google-Extended` e `Googlebot`.
**Em cenários de assistentes de IA fora do Google, muitas vezes sim.** Esses sistemas usam seus próprios crawlers; as regras variam por plataforma: se executam JavaScript, se respeitam robots.txt, se priorizam páginas com estrutura clara. Bloquear o treinamento costuma equivaler a bloquear o rastreamento, e, se o rastreamento é barrado, perde-se a possibilidade de citação. Na entrevista da Moz há um lembrete prático: para conteúdos que você quer que a IA veja, as informações-chave devem aparecer diretamente no HTML bruto; por outro lado, a renderização via JavaScript também pode servir como forma de proteção, tornando mais difícil a leitura de ativos que você não quer que sejam extraídos em massa. Isso é uma troca, não um interruptor gratuito.
**No nível de monitoramento, é fácil ficar cego.** O risco real é não ver o efeito depois do bloqueio. Se não houver sequer registros correspondentes nos logs, não será possível saber se o impacto é “ninguém veio rastrear” ou “rastreou, mas não citou”.
## Onde as regras de controle do Google e de outras plataformas diferem
Com base em materiais públicos verificáveis, as diferenças se concentram em três pontos: granularidade de controle, forma de nomenclatura e ritmo de entrada em vigor.
| Dimensão | Google | Outras plataformas (conforme a documentação oficial de cada uma) |
| --- | --- | --- |
| Local de expressão | Token de user agent em robots.txt + sinal compartilhado de preferência planejado | Campos de preferência definidos em documentação própria; nomenclatura e local não são padronizados |
| Controle de treinamento | Token de produto independente `Google-Extended` | Na maioria, expresso por declaração de preferência separada, com campos distintos |
| Relação com indexação na busca | A documentação oficial afirma explicitamente que não afeta indexação nem ranking | É preciso confirmar caso a caso; não se pode inferir por analogia |
| Ritmo de vigência | Sinal compartilhado de treinamento com suporte previsto para o início de 2027 | Em fase de implementação gradual |
| Já implementado integralmente? | O sinal compartilhado ainda está em andamento | Não pode ser considerado concluído |
O mesmo robots.txt não tem o mesmo significado em plataformas diferentes; inferir por analogia entre plataformas é o erro factual mais comum.
## Os limites de cinco meios de controle de permissões
| Meio | Escopo de impacto | Afeta a indexação no Google | Afeta a IA de terceiros | Reversibilidade |
| --- | --- | --- | --- | --- |
| Token `Google-Extended` | Usos de treinamento e fundamentação do Google | Não afeta | Não afeta | Alta; basta alterar o arquivo |
| Token `Googlebot` | Busca Google e Imagens, Vídeos, Notícias etc. | Afeta diretamente | Não afeta | Alta |
| `X-Robots-Tag` / meta robots | Controle de rastreamento e indexação no nível da página | Afeta diretamente | Depende da plataforma | Média; exige aguardar novo rastreamento |
| Renderização de conteúdo crítico no cliente | Visibilidade do conteúdo | Em geral consegue renderizar | Costuma resultar em invisibilidade | Média; exige mudança de arquitetura |
| WAF / bloqueio por IP | Bloqueio na camada de requisição | Pode bloquear por tabela | Eficaz, mas grosseiro | Baixa; fácil de causar danos colaterais |
A lista de decisão pode ser simplificada em três perguntas: este conteúdo deve ser usado para treinamento? Deve ser citado? Se houver problema, é possível reverter em dez minutos? Se qualquer uma das perguntas não tiver resposta, não se deve mexer na configuração.
## Cinco passos de implementação para operadores de sites
**Primeiro passo: inventariar antes de agir.** Use logs para confirmar quais user agents realmente estão acessando. Um ponto de partida suficiente é contar requisições por UA:
```bash
awk -F'"' '{print $6}' access.log \
| sort | uniq -c | sort -rn | head -30
Veja a lista primeiro e depois defina a política; não adicione proibições a um UA por impressão.
Segundo passo: definir camadas de política. Diferencie pelo menos três tipos de página: páginas de marketing que precisam ser citadas pela busca e pela IA, conteúdos sensíveis apenas para leitura humana e materiais que podem ser públicos, mas que você não quer que sejam usados para treinamento. Os três tipos não devem compartilhar a mesma regra.
Terceiro passo: escrever a configuração e marcar a intenção. No robots.txt, use comentários para explicar o motivo de negócio de cada bloco de regras, facilitando futuras transições e auditorias.
Quarto passo: validar. Use a ferramenta de teste de robots.txt da plataforma para verificar o resultado de análise para o UA desejado e, ao mesmo tempo, releia os logs para confirmar mudanças no rastreamento.
Quinto passo: estabelecer uma cadência de revisão. O sinal compartilhado de preferência de treinamento ainda está em andamento; recomenda-se revisar trimestralmente, em vez de configurar uma vez e deixar sem alterações por longos períodos.
Equívocos comuns e limitações
Tratar o robots.txt como barreira legal. Ele expressa intenção, não oferece força coercitiva; a proteção real deve combinar camadas de conteúdo, controle de acesso e cláusulas contratuais.
Achar que bloquear o treinamento equivale a tornar o conteúdo invisível. No lado da Busca Google, isso não se sustenta; no lado de assistentes fora do Google, muitas vezes se sustenta. As conclusões são opostas.
Tratar apenas o treinamento e ignorar a fundamentação. Se a plataforma vincula treinamento e grounding ao mesmo token, bloquear o treinamento também reduz a chance de citação.
Crie um site de apresentacao e gere leads em minutos
Descreva sua ideia uma vez e o We0 AI pode gerar um site de apresentacao, paginas e CMS, alem de ajudar a atrair clientes e trafego apos o lancamento.
Uma geração completa de projetos para registro gratuito
Melhor para experimentar um fluxo de geração completo e ver rapidamente um primeiro rascunho do projeto.
Tratar a gestão de permissões como um interruptor de tráfego. Ela decide “quem pode ler e o que pode ser feito depois da leitura”; não promete ranking, tráfego ou resultado de conversão.
Ignorar diferenças de renderização. Conteúdo que existe apenas em JavaScript equivale a silêncio para um tipo de crawler; esse tipo de problema está além do escopo da configuração de permissões e exige mudanças conjuntas no frontend e na arquitetura.
O trabalho diário do SEO técnico está se expandindo de “fazer o mecanismo de busca entender” para “deixar claro quem pode ler e o que pode ser feito depois da leitura”. Se a estrutura de páginas, as informações estruturadas e a atualização de conteúdo do site já são confusas, a configuração de permissões apenas registrará essa confusão. Avançar a criação do site e a operação de conteúdo dentro do mesmo sistema costuma custar menos do que corrigir regras depois — por exemplo, ao gerar um site, o We0 já coloca otimização de SEO e GEO, o back-end de CMS e a implantação de domínio no mesmo fluxo; a estrutura de páginas, os blocos de informação citáveis e o processo de publicação se formam juntos, e a política de permissões posterior também se torna mais fácil de aplicar a tipos específicos de página.
FAQ
A gestão de permissões para crawlers de IA precisa estar concluída antes de 2027?
Não é necessário alterar a configuração imediatamente, mas recomenda-se definir o inventário e a política antes de 2027. O sinal compartilhado de preferência de treinamento ainda está em andamento, e o Google planeja oferecer suporte no início de 2027; equipes que esclarecerem desde já a segmentação de páginas precisarão alterar apenas algumas linhas de configuração quando o campo entrar em vigor oficialmente.
Proibir o Google-Extended no robots.txt fará o site desaparecer da Busca Google?
Não. Segundo a documentação oficial do Google, o Google-Extended não afeta a inclusão do site nos resultados da Busca Google nem é usado como fator de medição de ranking. O que afeta a indexação na busca são as regras relacionadas ao Googlebot.
AI Training e AI Grounding são a mesma coisa?
Não. O treinamento decide se o conteúdo entra nos parâmetros de modelos futuros; o grounding decide se o modelo usa o seu conteúdo em tempo real como base ao responder. Algumas implementações cobrem os dois com o mesmo token, o que exige confirmação caso a caso.
Os crawlers de IA não executam JavaScript; qual é o impacto para a configuração de permissões?
O impacto é grande. Se as informações-chave existirem apenas no resultado da renderização no cliente, por mais precisa que seja a configuração de permissões, a outra parte não conseguirá ler o conteúdo. Ou você coloca as informações centrais no HTML bruto, ou aceita que esse tipo de crawler não as veja.
Como saber se a configuração realmente entrou em vigor?
Três coisas: validar com a ferramenta oficial de teste o resultado de análise para o user agent desejado; reler os logs de acesso para confirmar se o rastreamento mudou; e fixar um conjunto de perguntas reais para verificar periodicamente se a sua marca e a fonte ainda aparecem nas respostas de IA.
Ferramentas relacionadas
- Google Search Console (diagnóstico de indexação e rastreamento)
- Ferramenta de teste de robots.txt (validação do resultado de análise para o user agent desejado)
- Análise de logs de acesso do servidor (distribuição de rastreamento por UA)
- We0 (workspace de criação de sites e crescimento com IA, cobrindo otimização de SEO e GEO, back-end de CMS e implantação de domínio)
Links relacionados
- Lista de crawlers comuns do Google (documentação oficial)
- Oferecer aos sites opções compartilhadas de controle de treinamento de IA (blog do Google Search Central)
- Stop Calling It SEO: 12 estratégias para dominar a busca por IA em 2026 (Moz)
- Prática de implementação de Generative Engine Optimization (GEO) (Comunidade de desenvolvedores Tencent Cloud)
- Site oficial do We0
Resumo
A gestão de permissões para crawlers de IA em 2027 provavelmente se tornará um item padrão das entregas de SEO técnico, mas o ponto central não é “bloquear a IA”, e sim expressar separadamente três tipos de uso — rastreamento para busca, treinamento de modelos e fundamentação de conteúdo — e manter registros auditáveis. A avaliação se baseia em três pontos: as preferências de treinamento estão caminhando para sinais legíveis por máquina compartilhados, com suporte do Google previsto para o início de 2027; o objeto de controle deixou de ser um único Googlebot e passou a abranger tokens de produtos independentes; e a citação por IA ainda depende da possibilidade de rastreamento. Na execução, inventariar logs, definir políticas por camadas de páginas, marcar intenções com comentários, validar os resultados de análise e estabelecer uma cadência de revisão trimestral é mais eficaz do que um bloqueio único. Os limites também são claros: o robots.txt é uma convenção, não uma imposição; o Google-Extended não afeta a indexação e o ranking na Busca Google; e, em algumas implementações, a licença de treinamento e a licença de fundamentação ainda não estão separadas. Deixar essas diferenças claras evita que a gestão de permissões se torne uma operação equivocada irreversível.



