Yun (2026): acertar a fonte citada pelo agente não basta para sustentar o achado nos registros entregues ao perito

Em 64 casos de execuções salvas de agentes, um leitor de modelo localizou todas as ocorrências literais e, sem a tabela que liga o identificador ao registro, fez 26 afirmações de fonte sem suporte em 28 casos, 22 delas coincidentes com a referência completa.

YUN, Taehyeon; KIM, Dongho; KIM, Geonwoo; SEO, Juyoung; HUR, Minseok; MIN, Moohong. Correct answers, unsupported findings: evidence binding in forensic reconstruction of LLM agent logs. arXiv, 2026. Depósito arXiv:2610.09581 [cs.CR], versão 1, de 7 out. 2026. DOI: 10.48550/arXiv.2610.09581.

Os autores examinam se as afirmações de um agente de modelo de linguagem sobre a fonte que ele citou podem ser conferidas nos registros entregues a quem faz a perícia. Usam 64 casos aplicáveis, selecionados por regra fixa entre 96 episódios salvos do AgentDojo Banking, ambiente simulado, produzidos por três agentes (pp. 1-4). Dois leitores de modelo, gpt-5.6-luna e claude-sonnet-4-6, e um comparador determinístico reconstroem as relações de fonte a partir de pacotes de evidência (p. 6). A distinção central separa localizar um valor nos registros (Q2) de demonstrar qual registro o identificador citado designa (Q3), o que exige a tabela que liga o identificador ao registro. Sem essa tabela, o Sonnet recuperou corretamente os 64 conjuntos de localização literal, mas fez 26 afirmações de fonte sem suporte nos 28 casos que exigiam o vínculo ausente, e 22 delas coincidiam com a referência completa (p. 7, Tabela 5). Com a tabela, os achados definidos e sustentados pelo pacote chegaram a 21 de 28 (Luna) e 24 de 28 (Sonnet), enquanto a concordância com a referência, nos 64 casos, mudou apenas de 43 para 49 e de 46 para 49 (p. 7, Tabela 6). Trocar os identificadores por rótulos opacos, sem a tabela, não trouxe remédio consistente (p. 8). O comparador determinístico acertou ou se absteve corretamente em todos os casos (p. 6, Tabela 3), e, mesmo com a tabela completa, cada leitor produziu entre 12 e 16 respostas de Q3 sem correção fundamentada (p. 9).

Para a minha tese, o trabalho entrega formalizada a distinção entre acertar a fonte e ter o acerto sustentado pelo material que o leitor recebeu. A transposição é interpretação minha, porque o artigo trata de perícia digital e não de direito: em peça ou parecer redigido com auxílio de IA, parte das citações que conferem com o gabarito pode ser palpite sem suporte quando o vínculo entre a citação e o documento (número do processo, inteiro teor, página) não consta do material fornecido ao modelo. A taxonomia dos autores, que separa achado definido com suporte, conjunto vazio, ausência observada, abstenção justificada e afirmação sem suporte (pp. 4-5, 9), e a recomendação de registrar o estado de suporte ao lado da resposta (p. 9) são reaproveitáveis na verificação de citações. Na minha leitura, o resultado de que a concordância entre dois leitores não repara a omissão do vínculo reforça a objeção a avaliar a leitura de um modelo apenas pela concordância entre leitores. Os limites declarados pesam: 64 casos de um único ambiente bancário simulado, nenhuma avaliação por investigadores humanos, estudos retrospectivos com intervalos exploratórios e uma resposta por condição (p. 10). Os autores também ressalvam que a citação registrada não estabelece autorização semântica, intenção nociva nem dependência causal interna (p. 10). O bom desempenho do comparador vale para relações resolvidas por correspondência literal e junção de tabela, e qualquer afirmação sobre autos brasileiros dependeria de teste próprio.

Texto integral: arXiv:2610.09581, na fonte

Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.