Xu (2026): trocar a citação por outra célula de mesmo valor mostra o que o verificador probabilístico não distingue
XU, Chuhong; SU, Bo; CHEN, Ziyao; XU, Ruiyang; DAI, Shimeng; QIU, Xinyu. Same-number citation swaps: stress-testing Jev as a financial evidence judge. arXiv, 2026. Depósito arXiv:2610.08675 [cs.CL], versão 1, de 6 out. 2026. DOI: 10.48550/arXiv.2610.08675.
Os autores usam o Jev como verificador de suporte da fonte para cálculos do GPT-4.1-mini sobre 96 questões de operação única do FinQA, o que dá 192 registros naturais (p. 2). Em 27 deles o resultado executado coincide com o gabarito, mas as citações apontam papéis financeiros sem suporte, e a conferência literal da citação detecta os 27 (p. 3). Nesse conjunto o Jev discrimina bem, com Brier de 0,03378 e AUROC de 0,98587 (p. 3). No corte de 0,8, porém, registra 142 aprovações conjuntas contra 141 de uma regra sem modelo, que apenas exige o número assinado na célula citada, e a diferença líquida soma dois ganhos na questão 218 e uma perda na 583 (p. 3, Tabela II, p. 4). Para isolar o reconhecimento do papel financeiro, os autores fixam operandos e aritmética e movem a citação para outra célula de mesmo valor, mantendo controles equivalentes. Nos 15 contrastes, quatro de seis citações de papel errado continuam aceitas, algumas perto de 0,95, e duas de seis citações equivalentes ficam com média abaixo de 0,8 (p. 5, Fig. 1, p. 6). Repetir o cabeçalho da coluna derruba os quatro contrastes selecionados para menos de 0,8, mas as médias dos dois controles equivalentes, de 0,850 e 0,805 na apresentação original, caem para 0,785 (p. 5, Fig. 2, p. 6). No banco novo de 36 páginas, rotulado por um revisor não autor, as duas aceitações indevidas desaparecem, e as citações originais válidas não aceitas passam de 5 para 6 em 15 (pp. 6-7, Fig. 3, p. 8).
Interessa-me à pesquisa sobre verificação de citação e sobre a tese de que acurácia agregada não implica idoneidade decisória: no conjunto natural o AUROC é de 0,98587, e nos contrastes construídos o mesmo verificador aceita citações de papel errado (p. 5). A ponte com o direito brasileiro é interpretação minha, não dos autores. O desenho de troca com valor idêntico e controle de fato equivalente corresponde, no foro, ao mesmo trecho de ementa atribuído a julgado, órgão ou data diversos, de um lado, e a acórdão distinto que exprime a mesma tese, de outro. Isso permitiria testar se um juiz-LLM confere a coincidência textual ou a atribuição. A transposição é apenas metodológica: os dados são financeiros e não há material jurídico. Os próprios autores registram que o banco se limita a cálculos de uma operação, que os rótulos naturais vêm de revisão assistida não cega, que o follow-up tem um único revisor, sem medida de concordância entre humanos, e que as extensões foram especificadas depois de inspecionar os dados (pp. 2, 3, 9). Há um só identificador do Jev, typesafe/jev-1.13-20260917, e os artefatos de inspeção permanecem privados, com acesso público pendente (p. 9). Excluído o caso 444, que admite leitura de equivalência contextual, o ganho líquido do cabeçalho explícito desaparece, e a separação fica em 8/14 nas duas apresentações (p. 7).
Texto integral: arXiv:2610.08675, na página do arXiv
Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.