Al-Negheimish (2026): em provas dedutivas lineares, a acurácia da maioria dos modelos se aproxima do acaso além da profundidade 10
AL-NEGHEIMISH, Hadeel; ILIEVA, Jasna; KIM, Yoon. Probing for long-horizon deductive reasoning capabilities in language models with Prolog. arXiv, 2026. Depósito arXiv:2610.11592 [cs.CL], versão 1, de 8 out. 2026. DOI: 10.48550/arXiv.2610.11592.
Os autores constroem o PROLONG, com 2.400 amostras sintéticas em Prolog: são 100 programas para cada profundidade de prova, de 0 a 22 em números pares, e cada programa traz um par de consultas, uma demonstrável e a outra não, o que fixa o acaso em 0,5. Os rótulos foram conferidos no SWI-Prolog, e a mediana do contexto vai de 133 tokens na profundidade 0 a 62 mil na 22 (p. 3). A cadeia de prova é linear, sem recursão nem laços (pp. 2-3). Em oito modelos de raciocínio (p. 3), a acurácia cai de forma monotônica com a profundidade e vários se aproximam do acaso além da profundidade 10; o melhor, o GPT-5.5, chega a 67% na profundidade 20, embora os contextos estejam dentro dos limites anunciados pelos modelos (p. 2, p. 4). Muitos modelos desenvolvem um viés conservador (conservative bias): respondem “não demonstrável” com frequência crescente (p. 4). Na profundidade 22, os traços de raciocínio não acompanham a derivação real. Dos 84 verdadeiros negativos do GPT-5.5, analisados pelo resumo do raciocínio que o provedor divulga (análise feita por modelo e conferida manualmente em 10%), só 34 (40,5%) citaram o fato faltante plantado. A análise do DeepSeek-V4-Pro encontrou 97 das 100 consultas demonstráveis declaradas sem suporte por condições que existiam no contexto, e apenas 11% dos seus 91 verdadeiros negativos mencionaram aquele fato (p. 5). Com o contexto fixo, em 600 amostras e quatro modelos abertos, profundidade (β = −0,36) e comprimento (β = −0,54) prejudicam a acurácia de modo significativo e comparável (p < 0,001) (p. 5).
O que me interessa é o modo de falha descrito, que corresponde ao de um verificador de citações baseado em modelo de linguagem: afirmar que um elemento não existe no contexto quando ele existe, e justificar a resposta com uma derivação que não corresponde à real (p. 5). A ponte é interpretação minha, porque o trabalho não tem conteúdo jurídico e os autores escolheram Prolog, em vez de linguagem natural, justamente para afastar ambiguidade e efeitos de conteúdo (p. 2). A hipótese que dela extraio para a tese é que, na verificação de citações jurídicas por modelo, a taxa de falsos “não encontrado” cresce com a extensão dos autos e com o número de remissões encadeadas. O desenho é reaproveitável: consultas pareadas, demonstrável e não demonstrável, fato faltante plantado e contexto fixo com profundidade variável (pp. 3, 5). Na minha leitura, o resultado sobre a infidelidade dos traços também sustenta a exigência de verificação independente da justificativa escrita. Os limites declarados são programas sem recursão, laços ou negação, modelos fechados que oferecem só um resumo do raciocínio e um teto de 64 mil tokens de saída, 82 mil nos modelos Qwen, que pode ter limitado a acurácia nas profundidades maiores (p. 6). Os autores reconhecem ainda que, no conjunto original, profundidade e comprimento têm correlação de 0,97, o que torna instável a partição dos coeficientes (p. 5). O experimento de contexto fixo cobre quatro modelos abertos e profundidades até 10, e a análise dos traços, só a profundidade 22 (pp. 4-5).
Texto integral: arXiv:2610.11592, na fonte
Nota escrita a partir da leitura integral do trabalho, com assistência de modelo de linguagem na redação e revisão do autor.