Sousa et al. (2026): quatro de nove modelos visão-linguagem combinam acurácia de 79% ou mais com 39% ou mais de acertos sem raciocínio fiel
SOUSA, Rafael Teixeira et al. SpatialChain: a benchmark for auditing spatial reasoning faithfulness in VLMs. arXiv, 2026. Depósito arXiv:2610.06413 [cs.CV], versão 1, de 5 out. 2026. Aceito no 2nd Workshop on Embodied Spatial Reasoning (ESR), NeurIPS 2026, segundo o comentário da página do arXiv. DOI: 10.48550/arXiv.2610.06413.
Os autores, da Universidade Federal de Mato Grosso, da Universidade Federal de Goiás e do AKCIT, constroem o SpatialChain, conjunto de 28.350 exemplos de treino e 899 de teste que pareia perguntas espaciais do GQA com cadeias de raciocínio ancoradas em grafos de cena, retidas só quando a resposta gerada coincide com o gabarito simbólico (p. 1-3). A avaliação tem dois eixos: métricas de sobreposição com a cadeia de referência e um juiz LLM (Claude Sonnet 4.6) que recebe pergunta, gabarito, grafo de cena, resposta e cadeia e atribui correção, fidelidade e completude do raciocínio em [0, 1] (p. 4). Atalho é a fração dos acertos cuja fidelidade é de no máximo 0,5 (p. 7). Em nove modelos, quatro alcançam acurácia de 79% ou mais com taxa de atalho de 39% ou mais: o Claude Sonnet 4.6 tem 79,9% e 39%, e o InternVL3.5-4B, 81,3% e 58% (Tabela 4, p. 7). A extensão não equivale a fidelidade, pois o InternVL3.5-8B produz cadeias 7,07 vezes mais longas que a referência e tem atalho de 47% (Tabelas 2 e 4, p. 5 e 7). A qualidade da cadeia, medida pelo ROUGE-1, distingue acertos de erros em sete dos nove modelos (Tabela 3, p. 6). O ajuste fino do Qwen3-VL-8B eleva a acurácia em 6,2 pontos e reduz o atalho a 22% (p. 5, 7), mas o Qwen3-VL-4B ajustado piora no ERQA, de 0,453 para 0,380, efeito que os autores atribuem à especialização de estilo (p. 7).
Aproveito o trabalho como modelo de validação de um juiz LLM, o que interessa à parte da tese que trata de verificação de citação e de decisão automatizada. O Apêndice L descreve o roteiro: 198 itens, 22 de cada modelo, anotados por seis anotadores, cada item por dois, sem acesso à identidade do modelo nem às notas do juiz; correlação de Spearman sem binarizar; segundo juiz de outro fornecedor (GPT-5.6), que preserva a ordenação por atalho (ρ = 0,88); e varredura do limiar (p. 27-28). Na fidelidade, a concordância entre juiz e anotador (ρ = 0,49) é ao menos tão alta quanto a concordância entre dois anotadores (ρ = 0,44) (p. 8; Tabela 14, p. 27). É interpretação minha, e não dos autores, que o conceito de atalho se transpõe a peça ou decisão gerada por modelo com dispositivo correto e fundamentação não ancorada nas fontes, e que uma «taxa de atalho jurídico» poderia ser medida contra referência estruturada, como ementa e dispositivo. Os limites vêm declarados: erros dos grafos de cena humanos podem propagar-se; o filtro confere a conclusão e não cada passo; o juiz é único e da mesma família do gerador e de um dos modelos avaliados; a tarefa é binária, com 58% de respostas «sim» no treino; e as relações são simbólicas e não métricas (p. 8). Os autores qualificam o julgamento de fidelidade como intrinsecamente subjetivo (p. 27). O domínio é visual e espacial, sem conteúdo jurídico, e a transposição é de método.
Texto integral: arXiv:2610.06413, na fonte
Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.