Zhang e Li (2026): agentes Claude acertam 95% com os dados, mas só 41% acertam acompanhando a evidência

Ao retirar ou inverter a evidência nos arquivos de dados, o trabalho mostra que a resposta certa de um cientista de IA muitas vezes não vem dos dados fornecidos, e que a pontuação do benchmark e os juízes LLM premiam quem ignora a evidência alterada.

ZHANG, Kate; LI, Yuante. Are we measuring scientific intelligence? Rethinking the evaluation of AI scientists. arXiv, 2026. Depósito arXiv:2610.04915 [cs.AI], versão 1, de 4 out. 2026. Preprint do workshop Agentic AI for Biological Discovery, NeurIPS 2026. DOI: 10.48550/arXiv.2610.04915.

Os autores, da Carnegie Mellon University, testam a suposição implícita nos benchmarks de cientistas de IA de que a resposta correta foi derivada dos dados fornecidos. Para cada questão constroem versões dos arquivos de dados em que a evidência é mantida, retirada ou invertida, cada edição conferida por estatística de referência pré-registrada (p. 4-5), e rodam o mesmo agente em todas elas. Definem a acurácia ancorada na evidência (EGA), que só credita o acerto se a resposta também reage à retirada e acompanha a inversão (p. 5, Eq. 3). O protocolo é aplicado a 18 questões de célula única do BAISBench e a quatro problemas sintéticos do GeneBench-Pro, com três scaffolds e cinco modelos (p. 6). Nos agentes Claude, a acurácia é de 95% com os dados e de 83% sem dado algum, mas a EGA é de 41% (p. 1; Tabela 2, p. 7). Retirada a evidência, o benchmark ainda concede aos agentes Claude 77% do crédito; sob inversão, só 61% das execuções acompanham a evidência, e em 30% o agente mantém a resposta original e é premiado (p. 7). Ocultar os nomes dos genes eleva o acompanhamento da inversão de 58% para 93% e a EGA de 39% para 69% nas dez tarefas de genes (p. 8). A pontuação oficial e os juízes LLM também premiam quem ignora a evidência invertida, com AUC de inversão de 0,11 na pontuação oficial e de 0,12 no juiz Claude Opus 5.5; com instrução para avaliar ancoragem, os juízes passam de 0,7 (p. 9; Tabela 6, p. 18).

Para a minha pesquisa, o trabalho separa acerto de fundamento, distinção de que a tese precisa quando sustenta que acurácia agregada não implica idoneidade decisória. A Proposição 1 mostra que nenhum avaliador que veja apenas a execução original consegue certificar que a resposta decorre da evidência (p. 4). O par preservar, retirar e inverter a evidência pode ser transposto à verificação de citação, e essa transposição é interpretação minha, não dos autores: retirado ou invertido o precedente fornecido ao modelo, cabe medir se ele mantém a tese conhecida e a citação de memória. Na advocacia, o ponto toca o dever de fundamentação, pois peça ou decisão cujo dispositivo coincide com o gabarito pode não ter nascido dos autos. A opção expressa de «dados insuficientes», que os autores recomendam (p. 9, Fig. 6b; p. 14), é aproveitável em qualquer instrumento que eu venha a desenhar. Os limites são os declarados: 18 questões e quatro problemas sintéticos, três réplicas por modelo (uma só no Biomni), anonimização em dez tarefas, ausência de modelos de pesos abertos e de validação humana dos juízes (p. 14). Os autores observam ainda que as rotas de recordação e de eliminação são padrões de comportamento e não observações do mecanismo (p. 14), e que a anonimização sustenta a hipótese do conhecimento prévio sem provar que seja a única explicação (p. 8). O domínio é a biologia computacional, sem dado jurídico, e a transposição ao direito brasileiro alcança o método e não os resultados.

Texto integral: arXiv:2610.04915, na fonte

Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.