Valjakka (2026): o rótulo de alucinação dado por um juiz de linguagem depende em grande medida do critério escrito no prompt

Em perguntas e respostas de domínio aberto, juízes de linguagem instruídos a verificar a fidelidade à referência classificam como alucinação respostas corretas que apenas acrescentam informação, e, na maioria dos pares juiz-gerador, trocar o critério pelo da correção factual aproxima o rótulo do humano.

VALJAKKA, Jorma; KIVIMÄKI, Juhani; MYLLÄRI, Juha; NURMINEN, Jukka K. The labeling problem in hallucination detection benchmarks: an empirical evaluation. arXiv, 2026. Depósito arXiv:2610.08026 [cs.CL], versão 1, de 6 out. 2026. DOI: 10.48550/arXiv.2610.08026.

Os autores, da Universidade de Helsinque, perguntam se os rótulos automáticos de alucinação usados para avaliar detectores em perguntas e respostas de domínio aberto medem o que se pretende medir. Distinguem a fidelidade à referência, em que basta uma afirmação não sustentada pela referência para haver alucinação, da correção factual, em que só contradição ou afirmação específica falsa a configura (pp. 3-4). Montam 900 pares pergunta-resposta, de 300 perguntas do TriviaQA, do HotpotQA e do TruthfulQA respondidas por três modelos abertos, rotulados por um anotador humano sob o critério factual; um segundo anotador, em 300 pares, dá κ de Cohen de 0,808 (pp. 4-5). Contra esse gabarito, o prompt de fidelidade produz falsos positivos em quantidade dominante. No GPT-5-mini, trocá-lo pelo de correção factual eleva o κ de 0,530 para 0,756 sobre as respostas do Llama, de 0,498 para 0,770 sobre as do Gemma e de 0,194 para 0,626 sobre as do Mistral, com McNemar p < 0,0001 (pp. 6-7, Tabela 1). O ganho não é universal: o Llama-3-8B como juiz tem κ menor sob o prompt factual em dois dos três conjuntos e passa a errar sobretudo por falso negativo (p. 7, Tabela 1). Na ablação fatorial com o GPT-5-mini, a troca de critério eleva o Δκ em +0,305 e +0,434 (p. 22, Tabela 9). A mudança apenas da estrutura do prompt, mantido o critério factual, rende +0,025, com intervalo de +0,000 a +0,053 (mesma tabela). Retirar a elaboração de 138 respostas reduz a taxa de falsos positivos de 52,9% para 23,2% (pp. 9, 26).

Interessa-me à pesquisa sobre verificação de citação e alucinação de citação porque o trabalho mostra que o rótulo atribuído por um juiz-LLM depende do critério escrito, e não só da capacidade do modelo. O protocolo, que mede o κ contra amostra humana e decompõe o erro em falsos positivos e falsos negativos, serve de modelo para validar um juiz antes de usá-lo como gabarito; os autores observam que uma estatística única de concordância pode ocultar o sentido do erro (p. 6). A recomendação deles, porém, não se transpõe tal qual. Eles próprios ressalvam que, em tarefas ancoradas em evidência, como RAG e sumarização, a fidelidade costuma ser o alvo (pp. 2, 9). Na checagem de citação jurisprudencial o alvo é justamente a fidelidade à fonte primária. Essa ponte é interpretação minha: o que se aproveita é a exigência de declarar o critério e de medir a direção do erro. Os limites declarados são relevantes: inglês, referências curtas, três geradores pequenos, rótulos do anotador principal e não adjudicados por consenso, sem registro de quantas vezes se consultaram fontes externas e sem gravidade do erro (p. 10). Os números vêm de perguntas gerais em inglês e não se transportam ao acórdão em português.

Texto integral: arXiv:2610.08026, na página do arXiv

Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.