A Anthropic publicou em 17 de setembro uma proposta para acompanhar algo que costuma aparecer apenas em frases vagas: quanto do desenvolvimento de novos sistemas de IA já é feito pela própria IA. O trabalho apresenta três grupos de métricas para observar automação de P&D, supervisão de agentes e alocação de capacidade computacional, além de divulgar um primeiro retrato interno da empresa.
A proposta não mede apenas o que um modelo consegue fazer em um benchmark. Ela tenta medir o processo industrial que produz o próximo modelo. Esse deslocamento é importante: capacidades podem avançar rapidamente enquanto os mecanismos de controle, auditoria e transparência ficam presos numa planilha que ninguém abre.
Claude já lidera parte do P&D, mas não opera sozinho
Para estimar a participação da IA no próprio desenvolvimento, a empresa criou o Anthropic R&D Automation Index. O índice organiza tarefas de pesquisa e desenvolvimento em uma hierarquia e aplica uma escala que vai de nenhuma participação da IA até autonomia completa.
No recorte de agosto de 2026, a Anthropic informa que Claude “liderava” 26% das tarefas medidas de P&D, isto é, conseguia concluir a maior parte da atividade a partir de uma orientação de alto nível, ainda com supervisão humana. Mais de 90% do trabalho estava no nível de colaboração ou acima. Nenhuma categoria medida chegou à autonomia completa.
Os números merecem leitura cuidadosa. A classificação é produzida com apoio dos próprios modelos da Anthropic e usa tempo de trabalho como aproximação do peso de cada tarefa. A empresa reconhece as limitações e defende verificação por terceiros e metodologias comuns entre laboratórios. Sem isso, comparar índices de empresas diferentes seria como comparar cobertura de testes usando definições diferentes de “teste”.
Supervisão precisa ser medida como sistema
O segundo grupo acompanha cobertura de monitoramento, tempo de revisão e taxa de bloqueio ou escalonamento dos agentes. A Anthropic relata cerca de 30 mil agentes simultâneos em sua plataforma interna mais usada por pesquisa e engenharia. Todas as ações nessa plataforma passariam por monitoramento online e seriam ingeridas também por sistemas offline.
Em mais de um bilhão de decisões analisadas durante agosto, 0,002% foram bloqueadas pelo monitor online, aproximadamente uma em 47 mil. O monitor offline sinalizou uma ou duas transcrições a cada mil para análise adicional, com cerca de 50 casos prioritários por semana chegando à revisão humana.
Uma taxa pequena não significa risco pequeno quando o volume é enorme. Essa é talvez a parte mais útil da proposta para times de AI Engineering: cobertura, latência de revisão e escalonamento são métricas operacionais verificáveis. Elas dizem mais sobre governança real do que afirmar genericamente que existe “human in the loop”.
Compute entra na discussão de transparência
A terceira frente mede como a capacidade computacional é distribuída. Em uma semana analisada, cerca de 6% do compute destinado a P&D de IA foi classificado como trabalho de segurança. No subconjunto de P&D realizado com IA, a participação chegou a aproximadamente 12%.
A própria Anthropic chama essas estimativas de conservadoras e alerta que compute é uma aproximação imperfeita: uma pesquisa de segurança pode exigir muito trabalho humano e pouco processamento. Ainda assim, acompanhar a mesma definição ao longo do tempo permite enxergar prioridades e mudanças de direção.
O valor está na série histórica, não no retrato
A publicação traz números inéditos, mas sua contribuição mais interessante é propor uma linguagem auditável para acompanhar o ritmo da fronteira. Um índice isolado pode virar peça de marketing. Uma série histórica, com método público, validação independente e comparabilidade entre laboratórios, pode virar infraestrutura de governança.
Para empresas que estão colocando agentes em produção, a provocação é bem prática: além de medir produtividade, já medimos qual parcela do trabalho foi delegada, quantas ações foram observadas antes de executar e quanto tempo levamos para revisar um alerta sério? Se a resposta estiver espalhada em três dashboards e duas conversas de Slack, talvez a governança ainda seja mais aspiracional do que operacional.