Uma avaliação independente de IA serve para descobrir riscos que o laboratório preferiria não encontrar. Mas quem decide se o resultado pode sair de lá? Em 15 de outubro, a Anthropic afirmou que a METR começou a receber acesso semelhante ao de funcionários e que a empresa não pode vetar suas publicações.

É uma mudança material nesta discussão. O anúncio torna mais concreta uma condição que antes precisava ser procurada em princípios gerais: a liberdade de divulgar conclusões. Também exige cuidado com o plural. Um acordo sem veto não significa que todas as avaliações externas tenham a mesma autonomia.

Três níveis de avaliação independente, direitos diferentes

A Anthropic descreve três níveis: investigações delimitadas com publicação sujeita a aprovação; acesso ampliado com publicação sem aprovação; e acesso semelhante ao de funcionários, concedido à METR, com os direitos do segundo nível. Ainda cabem cortes predefinidos de informações sensíveis; a METR pode caracterizá-los publicamente e discordar deles.

Para o leitor, essa classificação é mais útil que um selo genérico de “avaliado por terceiros”. Dois relatórios podem carregar esse rótulo e responder a perguntas muito diferentes. Um teste contratado para verificar uma capacidade não equivale a uma investigação com liberdade para seguir um risco inesperado. E acesso profundo não substitui o direito de contar o que foi descoberto.

Na análise da MnzAI Labs, a decisão de compra deveria acompanhar essa diferença. Se um relatório sustenta a adoção de um agente com permissão para executar código, interessa saber se o avaliador podia investigar a escalada de privilégios, e não apenas o desempenho na tarefa combinada. Esse é um exemplo de diligência técnica, não um resultado divulgado pela METR.

A política da METR não é o contrato da Anthropic

Na política publicada em 14 de outubro, a METR prevê divulgar restrições e conflitos. Sua orientação geral admite veto sobre resultados específicos quando essa possibilidade pode ser revelada; também prevê um resumo público de ocultações. Isso não contradiz, por si, a afirmação da Anthropic sobre um acordo específico sem veto.

A distinção importa porque transparência e autonomia são garantias diferentes. Saber que uma publicação depende de aprovação ajuda a interpretar o trabalho, mas não remove a dependência. Da mesma forma, a declaração de um desenvolvedor sobre seu acordo precisa continuar identificada como declaração da empresa. Não temos aqui o contrato integral nem um histórico de aplicação que permita testar cada proteção anunciada.

O AI Evaluator Forum propõe controle editorial pelos avaliadores e limites para cortes ligados a segurança, privacidade e propriedade intelectual. Os princípios públicos da OpenAI também combinam independência editorial e confidencialidade. São referências para comparar compromissos, não evidência de que todo contrato já os cumpre.

O teste aparece quando uma conclusão incomoda

Imagine uma avaliação que encontre uma falha capaz de expor dados de clientes. Remover os dados e os passos de exploração pode ser necessário. Omitir também a existência do problema mudaria o que o público consegue concluir. Um resumo de cortes permite perguntar em qual dessas situações o relatório se encontra, sem exigir a divulgação do segredo.

Para equipes técnicas e de governança, vale pedir três informações junto do resultado:

  • Escopo: o que o avaliador podia investigar além da tarefa encomendada?
  • Publicação: quem pode interromper ou limitar a divulgação, com qual justificativa?
  • Contestação: como o leitor descobre que houve uma restrição e que o avaliador discordou?

O anúncio não apresenta uma nova conclusão da METR sobre a segurança de um modelo, nem constitui certificação regulatória. Ele melhora a descrição das condições de avaliação. A parceria de avaliação incorporada entre Anthropic e Accenture mostra por que essas condições precisam acompanhar cada trabalho, sem serem presumidas por associação.

O próximo sinal útil não será outra lista de princípios. Será um relatório que permita entender o que foi investigado, o que ficou oculto e quem teve a última palavra.