Zhang (2026): a maioria dos modelos responde mesmo quando o contexto não traz a informação, e o treino pode fixar o atalho errado
ZHANG, Zizhuo; PENG, Xiong; SUN, Jingwei; YAO, Rong; JIANG, Borui; HAN, Bo. Rethinking faithfulness in LLMs: a pairwise context-sensitive perspective. arXiv, 2026. Depósito arXiv:2610.07894 [cs.CL], versão 1, de 6 out. 2026. DOI: 10.48550/arXiv.2610.07894.
Os autores propõem o PFaithBench, que avalia se um modelo sabe trocar de comportamento diante da mesma pergunta: responder quando o contexto traz a informação-chave e abster-se quando ela falta (p. 1, Fig. 2, p. 3). O contexto insuficiente nasce de alteração mínima do suficiente, seja pela troca de um fato de apoio por fato irrelevante em HotpotQA e 2WikiMultiHopQA, seja por reescrita feita por modelo de linguagem em SQuAD e ConFiQA, com verificação manual por dois pós-graduandos. Os quatro subconjuntos têm 1.000, 762, 791 e 791 itens (pp. 6-7). Entre 39 modelos de sete famílias, de 0,6 a 70 bilhões de parâmetros, 35 mostram sobre-resposta (OverAns) substancialmente maior que sobre-abstenção (p. 7). Na média dos subconjuntos, a sobre-resposta vai de 12,23% no Olmo-3-7B-Instruct a 84,67% no Qwen3-1.7B com raciocínio, e o Llama-3.3-70B fica em 32,56%, com sobre-abstenção de 7,74% (Tabela 1, p. 3). Todos os modelos exibem algum vazamento de conhecimento interno, isto é, acertam a resposta mesmo sem contexto suficiente, e na maioria das famílias o vazamento cresce com o porte (p. 7, Fig. 3, p. 4). No treino com GRPO, misturar fontes de contextos suficientes e insuficientes induz atalhos: com contextos suficientes do single-hop e insuficientes do multi-hop, o Llama-3.1-8B chega a 95,60% de sobre-abstenção no multi-hop e a 83,20% de sobre-resposta no single-hop, e o arranjo inverso produz 63,40% de sobre-resposta no multi-hop e 61,68% de sobre-abstenção no single-hop. Manter os pares eleva a DFAcc multi-hop de 37,70, no modelo-base, para 71,50 (pp. 8-9, Tabela 4, p. 7).
O que me interessa é o par mínimo, isto é, o mesmo quesito com e sem o dado decisivo, que se transpõe ao uso jurídico de recuperação aumentada: fornecer ao modelo a ementa ou o inteiro teor de um julgado, ou um dispositivo legal, com e sem o trecho que sustenta a tese. A hipótese é minha, não dos autores: retirado o precedente do contexto, o modelo completa a resposta com memória paramétrica, que é o mecanismo da citação inventada, e o vazamento medido aqui é a evidência mais próxima disso. A observação de que a acurácia marginal não se converte em comportamento fiel em pares (p. 8) dialoga com a tese de que acurácia agregada não implica idoneidade decisória. Os limites pesam. O artigo não tem seção de limitações. Os dados são perguntas factuais de conjuntos públicos, sem material jurídico. O juiz que classifica as respostas é o Qwen3-30B-A3B-Instruct-2507, e o texto não relata concordância dele com humanos (p. 16). A explicação do viés pelo pós-treino com recompensas verificáveis é apresentada apenas como razão possível (p. 7). A Tabela 5 traz valor visivelmente anômalo, 70,42 em AIME25 para o Llama-3.2-3B treinado em pares (p. 9), que os autores não comentam. A transposição ao direito brasileiro é, portanto, metodológica e não empírica.
Texto integral: arXiv:2610.07894, na página do arXiv
Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.