Imagine trocar o framework de um agente de atendimento. A nova versão responde mais rápido, mas será que continua consultando a ferramenta certa antes de responder? Se a troca também obriga a reconstruir os testes, fica difícil saber se uma diferença veio do agente ou da forma de avaliá-lo.

Em 11 de novembro, a AWS apresentou o Universal Agent Evaluation Framework (UAEF), uma biblioteca Python de código aberto sob licença Apache 2.0. A proposta é aplicar os mesmos critérios a agentes construídos com ferramentas como LangGraph, LangChain e Strands Agents, convertendo os registros de execução para um formato comum.

O registro muda de formato antes de virar nota

Um adaptador reúne mensagens, chamadas de ferramentas e repasses entre agentes em um registro chamado AgentTrace. A biblioteca pode importar registros já coletados ou executar um agente acessível por endpoint para capturar uma nova rodada de testes. O avaliador trabalha sobre o registro normalizado nos dois casos.

A AWS descreve 36 métricas distribuídas em sete dimensões. Uma equipe pode verificar, por exemplo, a ferramenta escolhida, os argumentos enviados e a qualidade da resposta final. Algumas métricas comparam o registro com uma resposta esperada de forma determinística. Outras usam um modelo no Amazon Bedrock como avaliador de critérios como relevância. Vale olhar cada métrica separadamente quando uma média esconde uma regressão. Um agente pode escrever uma resposta melhor mesmo quando passa a consultar dados de forma menos confiável.

Como comparar duas versões do mesmo agente

Um teste inicial pode usar as mesmas solicitações, respostas esperadas, métricas e configuração do avaliador antes e depois de uma mudança. No caso de um agente de atendimento, compare se ambas as versões localizam o pedido certo e se os argumentos enviados à ferramenta são válidos. Se a avaliação usa um modelo como juiz, revise uma amostra dos casos em que a nota mudou. A pontuação depende do que o adaptador captura e de como o critério foi definido.

O repositório da AWS Labs inclui a biblioteca, exemplos e infraestrutura para implantação opcional. Quando a persistência descrita pela AWS é ativada, os experimentos usam DynamoDB e S3. Como as avaliações podem lidar com mensagens e resultados de ferramentas, vale decidir quais registros podem ser armazenados antes de usar dados reais. A AWS diz que 12 organizações usaram o UAEF. Para decidir se ele serve ao seu projeto, a primeira evidência útil é ver se o mesmo conjunto de testes consegue explicar o que mudou entre duas versões suas.

Fontes em inglês. Anúncio técnico da AWS e repositório UAEF.