Vaugrante e Hagendorff (2026): juízes LLM acertam 96,5% em média na classificação binária, mas a leniência muda com o prompt e o modelo

Dez modelos de raciocínio usados como juízes são confiáveis em média, mas a escala, o detalhe do prompt e sobretudo a identidade do modelo deslocam o viés e a leniência, e dois juízes igualmente acurados podem errar em direções opostas.

VAUGRANTE, Laurène; HAGENDORFF, Thilo. How much do LLM-as-a-judge design choices matter? A systematic comparison of prompt designs, rating scales, and models. arXiv, 2026. Depósito arXiv:2610.05094 [cs.CL], versão 1, de 4 out. 2026. DOI: 10.48550/arXiv.2610.05094.

Os autores, do grupo de segurança de IA da Universidade de Stuttgart, avaliam dez modelos de raciocínio atuando como juízes em duas tarefas: nota escalar de sentimento e de toxicidade de frases, comparada à anotação humana (α de Krippendorff de 0,86 e 0,68), e classificação binária da correção de 600 pares pergunta-resposta do Humanity’s Last Exam (p. 3-4). Cruzam o detalhe do prompt (três níveis), a escala (quatro, só nas notas), o esforço de raciocínio (dois, só na binária) e o modelo, o que dá 120 desenhos por benchmark de nota e 60 na binária (p. 4-5). Em média os juízes são confiáveis: nas notas o desvio é de 0,11 ponto na escala de 1 a 7, e na binária a acurácia média é de 96,5% (p. 6, 8). A escala sozinha desloca o viés em até 0,93 ponto na toxicidade (p. 7). Com acurácia comparável, a leniência, que é a fração dos erros constituída por falsos positivos, cai de 81,3% com o prompt base para 52,4% com o prompt longo e, nos itens de quase consenso, varia de 0% a 100% conforme o modelo (p. 8). A identidade do modelo é a principal fonte de variância: cinco modelos ocupam o primeiro lugar nos desenhos de sentimento e seis nos de toxicidade (p. 6), e dois desenhos que diferem só no modelo divergem em 36,5% dos itens ambíguos (p. 8). Reduzir o esforço de raciocínio não afeta acurácia nem leniência (p. 8). Agregar três juízes de modelos distintos reduziu o desvio em 35% a 37% (p. 6).

Interessa-me que a acurácia agregada do juiz esconde a direção do erro. Num verificador LLM de citações jurisprudenciais, o erro grave é o falso positivo, isto é, a citação inexistente ou deturpada aceita como correta, e é a leniência que mede essa propensão; o trabalho mostra que ela muda com o modelo e com o detalhamento do prompt. Como interpretação minha, e não dos autores, a divergência observada nos itens ambíguos (p. 8) sugere a hipótese de que ela cresça nos casos juridicamente controvertidos. A recomendação de relatar métricas além da acurácia, como leniência e direção do erro, e de agregar dois ou três modelos (p. 9) pode ser incorporada ao protocolo de verificação que descrevo na pesquisa. Os autores declaram os limites: apenas duas tarefas de nota e uma de classificação, um conjunto restrito de escolhas de desenho e poucos classificadores de comparação; o gabarito humano tem incerteza própria; o gabarito da tarefa binária deriva em parte do consenso dos próprios juízes avaliados, o que enfraquece as conclusões ligadas à acurácia; e os limiares adotados, como |viés| > 0,2, são auxílios descritivos e não padrões (p. 9). Registram também que a leniência elevada do Gemini 3.7 Flash pode refletir um viés adjacente à autopreferência, hipótese que apresentam como possível (p. 8-9). As tarefas são de sentimento, toxicidade e correção de respostas com gabarito, sem conteúdo jurídico, e a transposição ao direito brasileiro se faz por analogia de método.

Texto integral: arXiv:2610.05094, na fonte

Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.