Sun (2026): as configurações de maior acurácia comunicam menos a incerteza, e uma cláusula de prompt eleva o escalonamento em geral à custa de acurácia
SUN, Kaiser et al. Accurate but not humble: evaluating epistemic humility in LLM agents under knowledge conflict. arXiv, 2026. Depósito arXiv:2610.12360 [cs.AI], versão 1, de 8 out. 2026. DOI: 10.48550/arXiv.2610.12360.
Os autores propõem medir a humildade epistêmica de agentes de modelos de linguagem, entendida como a disposição de reconhecer, agir sobre e comunicar a incerteza durante a tarefa, e não apenas o acerto da resposta final (p. 1). Operacionalizam-na em três dimensões lidas na trajetória e julgadas por GPT-5: Identify, o reconhecimento do conflito nas etapas intermediárias; Solve, a nova chamada de ferramenta depois do reconhecimento; e Escalate, a comunicação da incerteza numa resposta final errada (p. 4-5). O conflito é provocado de duas formas, controlada (ConflictQA e WikiContradict) e surgida na execução (GAIA, MoNaCo e BrowseComp), cada uma com um controle sem conflito (p. 2-3). Foram avaliadas cinco configurações em quatro harnesses, entre elas Claude Code com Claude Sonnet 4.6 (p. 5). No conflito controlado, todas as configurações com resultado perdem mais de 30 pontos percentuais de acurácia em relação ao controle (p. 5-6, Tabela 1). As células (agente, conjunto de dados) de maior acurácia são as de menor Solve e Escalate: a curva ajustada cai de cerca de 45% para menos de 10% em Solve e de cerca de 38% para menos de 10% em Escalate (p. 6). O Claude Code alcança F1 de Identify de 90,0% no BrowseComp, mas suas respostas finais erradas muitas vezes não reconhecem a incerteza não resolvida (p. 6). As menções ao conflito concentram-se nos primeiros 10% da trajetória (p. 7). Uma cláusula no prompt de sistema elevou o Escalate do GPT-5 no MoNaCo de 1,6 para 60,7, com queda de acurácia de 30,1 para 23,2 (p. 8).
Para a minha pesquisa, a contribuição está em separar o acerto do comportamento diante da incerteza. A tese de que acurácia agregada não implica idoneidade decisória encontra aqui um caso próximo, pois nas células de maior acurácia o Solve e o Escalate são menores. A transposição ao direito é interpretação minha, e não dos autores: um agente de pesquisa jurídica que recuperasse precedente ou dispositivo contrário ao que o modelo supõe saber poderia reconhecer o conflito no meio do caminho e não o comunicar ao advogado, que em regra lê apenas a resposta final, e os autores observam que humanos costumam inspecionar só a resposta final de uma trajetória longa (p. 2). A cláusula de humildade elevou o escalonamento na maioria das configurações, em geral com perda de acurácia, sem melhorar de modo consistente as duas medidas ao mesmo tempo (p. 8). Os limites são declarados: modelo e harness estão acoplados, sem combinação fatorial, por orçamento; a medida cobre uma só faceta da humildade, sem resistência à pressão do usuário nem confiança calibrada; o conflito de conhecimento é um único canal de elicitação; e a comparação entre conflito natural e controle é observacional, porque as perguntas diferem (p. 4; p. 9-10). Os dados são perguntas factuais gerais e tarefas de busca na web, sem conteúdo jurídico, e as três dimensões são julgadas por modelo, com conferência por outros dois juízes e por anotadores humanos, que concordaram entre si em 76,0% dos turnos de Identify e em 85,3% das respostas de Escalate (p. 5).
Texto integral: arXiv:2610.12360, na fonte
Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.