Andrew (2026): verificador que se abstém pode estar apenas reagindo ao aviso de que falta a fonte

Em corpus clínico sintético, dois verificadores de evidência deixam de responder quando a nota anuncia a omissão, mas só um deles, e parcialmente, nota a falta quando a evidência é suprimida em silêncio.

ANDREW, Judith Jeyafreeda. Auditable clinical timeline reconstruction with provenance-aware evidence graphs. arXiv, 2026. Depósito arXiv:2610.06177 [cs.AI], versão 1, de 5 out. 2026. DOI: 10.48550/arXiv.2610.06177.

A autora, do Hospital Universitário de Bordeaux (CHU Bordeaux), testa, em corpus inteiramente sintético (1.000 pacientes, 3.353 notas, 2.220 fatos clínicos, 220 arestas de revisão), três propriedades de um sistema auditável de reconstrução de linha do tempo clínica: manter as menções que sustentam cada resposta, registrar as revisões e abster-se quando a evidência não está no texto (p. 1-2). Dois operadores de compressão com proveniência reduziram o grafo a 67% e 63% dos nós e arestas, preservando todas as respostas e vínculos em 6.813 pontos de consulta, todos respondíveis por recência, enquanto a linha de base de janela fixa não devolveu valor em 53,4% dos pontos, sem sinalização (p. 12-13). Na abstenção, os controles com marcador explícito de omissão mostraram que dois verificadores, um BioClinicalBERT e um modelo de linguagem zero-shot, responderam sobretudo ao marcador: acrescentar um aviso de omissão a uma nota intacta reduziu as respostas de 100% para 3,4% no BERT e de 58,9% para 0% no LLM (p. 17). Nos controles sem marcador, o BERT absteve-se em 0 de 81 notas cuja evidência temporal foi suprimida em silêncio, e sua acurácia nelas caiu de 93,8% para 59,3% (p. 18-19, Tabela 7). O LLM mostrou sensibilidade parcial, com cobertura de 75,6% para 27,7% no estrato estrito (p. 20), estrato que o próprio modelo, atuando como juiz, ajudou a selecionar (p. 23). Os trechos que o LLM citou como evidência atingiram revocação de 0,850 e precisão de 0,864 nas notas respondidas (p. 15, Tabela 4).

O que me interessa é a demonstração empírica de que um verificador que «se abstém» pode estar apenas detectando o anúncio da falta de fonte e não a falta em si: controles que carregam marcador não permitem concluir que a abstenção decorre da falta de evidência (p. 24). É interpretação minha, e não da autora, que o par formado por remoção silenciosa e reescrita que preserva a evidência, com métricas separadas de cobertura limpa, revocação de abstenção e taxa de resposta insegura (p. 10), se transpõe ao teste de um verificador de jurisprudência que deveria recusar a tese quando o trecho que a sustenta é suprimido sem aviso. Na advocacia, isso toca o dever de não apresentar como fundamentada a conclusão que a fonte não sustenta. Os limites são amplos e a autora os lista: corpus sintético, sem anotação clínica revisada nem auditoria da preservação dos fatos na paráfrase; o mesmo modelo como editor, juiz e verificador avaliado, sem segundo juiz independente e com a auditoria humana ainda não concluída; subconjuntos aceitos possivelmente enviesados para notas longas; e um atalho sem aprendizado que alcança 0,651 de acurácia na tarefa de relação limpa (p. 24-26). Ela declara que todos os resultados descrevem comportamento de implementação em dados sintéticos e não desempenho clínico (p. 1-2), e que a comparação entre BERT e LLM não é um ranqueamento, porque diferem supervisão, tamanho amostral e representação da evidência (p. 23). O domínio é clínico, e a ponte ao direito brasileiro é de método.

Texto integral: arXiv:2610.06177, na fonte

Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.