Quem administra um site precisa decidir como seu conteúdo poderá ser usado por sistemas de IA. Depois vem uma tarefa menos visível: traduzir essa decisão para as regras de cada provedor e mantê-las atualizadas. A OpenAI anunciou em 30 de outubro (em inglês) que pretende respeitar um sinal compartilhado no robots.txt para comunicar preferências sobre treinamento de modelos generativos fundacionais.
A proposta permite expressar a mesma escolha a vários provedores participantes. A adesão foi anunciada, mas a implementação da OpenAI está prevista para os próximos meses. A empresa ainda publicará os detalhes e afirma que seus controles atuais continuarão válidos.
Uma preferência sobre uso, além da visita
O robots.txt fica na raiz do site e oferece orientações legíveis por máquinas. O rascunho técnico citado no anúncio (em inglês) aproveita essa estrutura para associar preferências de treinamento a caminhos do site. Ele separa a finalidade de uso do conteúdo das regras dirigidas a um rastreador específico.
Essa diferença ajuda a formular a decisão. Um portal pode querer que suas páginas sejam encontradas por quem pesquisa, ao mesmo tempo que restringe seu uso para treinamento. Na documentação atual da OpenAI (em inglês), OAI-SearchBot e GPTBot já têm configurações independentes para busca e treinamento, respectivamente.
Por isso, bloquear tudo em nome de uma única política pode produzir um efeito diferente do pretendido. Antes de editar o arquivo, é preciso saber se a escolha diz respeito à descoberta da página, à coleta por determinado robô ou ao uso para modificar parâmetros de um modelo.
O que acompanhar antes de mudar a configuração
O documento está registrado como Internet-Draft individual, ainda sem endosso da IETF. Ele dialoga com o trabalho do grupo AI Preferences, mas não representa um padrão final aprovado. Essa condição importa para quem mantém ferramentas, plugins de publicação ou regras de infraestrutura: uma sintaxe em discussão pode evoluir.
O ganho esperado é reduzir a manutenção repetida por fornecedor. Se houver adoção consistente, a preferência ficará mais fácil de declarar e de conferir. Para que isso tenha valor operacional, porém, cada participante precisará explicar como interpreta o sinal, quando passou a aplicá-lo e como resolve conflitos com regras específicas.
Também é importante entender a natureza desse mecanismo. Uma declaração no arquivo comunica uma escolha; ela não autentica visitantes nem impede tecnicamente que um cliente ignore a orientação. O próprio rascunho mantém independentes a preferência de uso e o comportamento de rastreamento.
Para quem cuida do site hoje, o anúncio oferece um motivo para revisar e documentar as escolhas existentes. A troca de configuração deve acompanhar a implementação efetiva e suas instruções. Até lá, retirar regras específicas seria abrir mão de controles que a OpenAI diz continuar respeitando antes de conhecer os detalhes do novo sinal.